Какой принцип наиболее здравый при выборе MDE перед запуском эксперимента?
AСтавить
MDE как можно меньше, чтобы тест точно поймал любые мелкие изменения метрики на доступном трафикеBЗапустить тест на полный трафик и подобрать
MDE постфактум по той разнице, которую покажут промежуточные результатыCВыбирать
MDE как минимально значимый для бизнеса эффект и проверять реалистичность размера выборки и длительностиDСтавить
MDE равным нулю, чтобы тест не пропустил ни одного эффекта даже на короткой выборке и узком окнеПравильный ответ. Практичный
MDE — это минимально важный для бизнеса эффект, который можно реально поймать с приемлемыми размером выборки и длительностью теста.Разбор
Слишком маленький MDE может сделать эксперимент непрактичным: потребуется огромный размер выборки и очень длинная длительность теста. Слишком большой MDE рискует пропустить важные улучшения. Поэтому обычно выбирают бизнес-значимый порог и сверяют его с доступным трафиком и целевой мощностью.
Проверь себя · 1/3разбор после ответа
Калькулятор размера выборки дал требование
N_treat = 20000 и N_control = 20000. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →