Команда хочет детектить относительный MDE = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном MDE где обычно нужен больший размер выборки и почему?
AБольше наблюдений нужен при базовой конверсии 1%, потому что при том же относительном
MDE абсолютный сдвиг меньшеBБольше наблюдений нужен при базовой конверсии 10%, потому что относительный
MDE сильнее зависит от высокой базы событияCРазмеры выборок одинаковые, потому что относительный
MDE совпадает и зависимости от базовой конверсии тут нетDСравнить нельзя без явных значений
alpha и мощности, даже если они одинаковые в обоих расчётахПравильный ответ. При фиксированном относительном
MDE низкая базовая конверсия даёт очень маленький абсолютный эффект, поэтому требуется больший размер выборки.Разбор
Относительный MDE в 5% означает, что абсолютное изменение равно базовой конверсии, умноженной на 0,05. При базовой конверсии 1% это всего 0,05 процентного пункта, а при 10% — 0,5 процентного пункта. Меньший абсолютный сдвиг труднее отличить от шума, поэтому для базовой конверсии 1% обычно нужен больший размер выборки при тех же уровне значимости и мощности.
Проверь себя · 1/3разбор после ответа
Калькулятор размера выборки дал требование
N_treat = 20000 и N_control = 20000. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Вы повышаете требование к мощности теста с 80% до 90% при фиксированных уровне значимости и `MDE`. Что ожидаемо случится с размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →