Вы планируете ramp-up: первые 3 дня treat получает 10% трафика, затем разбиение становится 50/50. Как это влияет на планирование test duration?
AНужно учитывать, что в первые дни медленнее набирается
N_treat, поэтому test duration обычно увеличится или отсчет стоит начинать после выхода на 50/50B
ramp-up уменьшит test duration, потому что ранние дни дают больше стабильностиC
ramp-up не влияет на test duration, потому что sample size считается только в концеD
ramp-up автоматически повышает power без изменения sample sizeПравильный ответ.
Ramp-up замедляет набор N_treat в начале, поэтому в планировании учитывают эффективный трафик по группам или начинают отсчёт после выхода на 50/50.Разбор
Если treat получает 10% трафика, N_treat растет в пять раз медленнее, чем при 50/50, и первые дни дают меньше полезных наблюдений. Это означает, что для достижения целевого sample size может потребоваться больше календарного времени. Часто в планировании считают эффективную скорость набора по группам или начинают отсчет после выхода на 50/50, фиксируя это правило заранее.
Проверь себя · 1/3разбор после ответа
Вы планируете тест с фиксированными
alpha и power и решили уменьшить MDE с 5% до 2%. Что произойдет с требуемыми sample size и test duration при том же трафике?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →