Команда хочет детектить относительный MDE = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном MDE где обычно нужен больший размер выборки и почему?

AБольше наблюдений нужен при базовой конверсии 1%, потому что при том же относительном MDE абсолютный сдвиг меньше
BБольше наблюдений нужен при базовой конверсии 10%, потому что относительный MDE сильнее зависит от высокой базы события
CРазмеры выборок одинаковые, потому что относительный MDE совпадает и зависимости от базовой конверсии тут нет
DСравнить нельзя без явных значений alpha и мощности, даже если они одинаковые в обоих расчётах
Правильный ответ. При фиксированном относительном MDE низкая базовая конверсия даёт очень маленький абсолютный эффект, поэтому требуется больший размер выборки.

Разбор

Относительный MDE в 5% означает, что абсолютное изменение равно базовой конверсии, умноженной на 0,05. При базовой конверсии 1% это всего 0,05 процентного пункта, а при 10% — 0,5 процентного пункта. Меньший абсолютный сдвиг труднее отличить от шума, поэтому для базовой конверсии 1% обычно нужен больший размер выборки при тех же уровне значимости и мощности.

Проверь себя · 1/3разбор после ответа
Калькулятор размера выборки дал требование N_treat = 20000 и N_control = 20000. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
Тренировать A/B в Telegram

Ещё вопросы по теме «Размер выборки и мощность теста»