Команда говорит: хотим MDE 10% для conversion rate. Что важно уточнить перед расчетом sample size и test duration?
AНужно уточнить только цвет кнопки, потому что он влияет на
conversion rateBНужно уточнить только
alpha, остальные параметры не важныCНужно уточнить только
power, MDE сам по себе достаточенDНужно уточнить:
MDE относительный или абсолютный (в п.п.), и какой ожидаемый baseline rate.Правильный ответ. Перед расчётом важно зафиксировать, что именно значит
MDE (relative vs absolute) и какой baseline rate, иначе sample size будет неверным.Разбор
Фраза MDE 10% может означать как +10% относительно текущего уровня, так и +10 процентных пунктов, и это принципиально разные абсолютные изменения. Расчет sample size чувствителен к абсолютному сдвигу и baseline rate. Поэтому перед планированием важно зафиксировать формулировку MDE и ожидаемый baseline rate, иначе test duration может оказаться сильно недооцененной.
Проверь себя · 1/3разбор после ответа
Калькулятор дал требование
N_treat = 20000 и N_control = 20000 по user_id. В эксперимент ежедневно попадает 5000 новых user_id, разбиение 50/50. Какая минимальная test duration в днях, если трафик стабилен?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →