Вы планируете тест с фиксированными alpha и power и решили уменьшить MDE с 5% до 2%. Что произойдет с требуемыми sample size и test duration при том же трафике?
AУменьшатся и
sample size, и test duration, потому что меньший MDE проще заметитьBВырастут и
sample size, и test duration, потому что меньший MDE труднее отличить от шумаCНе изменятся, потому что
MDE влияет только на alphaDСнизится
alpha автоматически, поэтому выборка не нужнаПравильный ответ. Чем меньше
MDE, тем больше нужны sample size и test duration, чтобы отличить эффект от variance при тех же alpha и power.Разбор
Меньший MDE означает, что вы пытаетесь заметить более слабый сигнал на фоне той же variance. При фиксированных alpha и power это требует большего sample size на группу. При неизменном трафике больший sample size напрямую приводит к большей test duration.
Проверь себя · 1/3разбор после ответа
У вас два кандидата на
primary metric: conversion rate и revenue per user. При прочих равных какая метрика чаще требует больший sample size и почему?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Вы повышаете требование к `power` с 80% до 90% при фиксированных `alpha` и `MDE`. Что ожидаемо случится с `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →