Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить MDE с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
AУменьшатся и размер выборки, и длительность теста, потому что меньший
MDE проще заметить на фиксированном трафике.BНе изменятся ни размер выборки, ни длительность теста, потому что
MDE влияет только на уровень значимости.CСнизится уровень значимости автоматически, поэтому увеличивать выборку и длительность теста уже не потребуется.
DВырастут и размер выборки, и длительность теста, потому что меньший
MDE труднее отличить от шума на тех же данных.Правильный ответ. Чем меньше
MDE, тем больше нужны sample size и test duration, чтобы отличить эффект от variance при тех же alpha и power.Разбор
Меньший MDE означает, что вы пытаетесь заметить более слабый сигнал на фоне той же дисперсии. При фиксированных уровне значимости и мощности это требует большего размера выборки на группу. При неизменном трафике больший размер выборки напрямую приводит к большей длительности теста.
Проверь себя · 1/3разбор после ответа
Эксперимент по всей аудитории рассчитан на длительность 14 дней при заданных уровне значимости, мощности и
MDE. Продакт хочет сделать столь же надёжный вывод по сегменту, который составляет 20% трафика. Что ожидаемо произойдёт с нужной длительностью для этого сегмента?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Вы повышаете требование к мощности теста с 80% до 90% при фиксированных уровне значимости и `MDE`. Что ожидаемо случится с размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →