Вы планируете постепенный запуск (ramp-up): первые 3 дня тестовая группа получает 10% трафика, затем разбиение становится 50/50. Как это влияет на планирование длительности теста?
AПостепенный запуск повышает мощность теста без необходимости пересчитывать размер выборки и календарную длительность
BПостепенный запуск сокращает длительность: ранние дни при доле 10% дают более стабильные оценки эффекта
CТестовая группа в первые дни получает 10% трафика: набор замедляется, длительность увеличится или отсчёт начинают после выхода на 50/50
DПостепенный запуск нейтрален к длительности: итоговый размер выборки фиксируется в конце и не зависит от ранней доли
Правильный ответ. Постепенный запуск замедляет набор тестовой группы в начале, поэтому в планировании учитывают эффективный трафик по группам или начинают отсчёт после выхода на 50/50.
Разбор
Если тестовая группа получает 10% трафика, наблюдения копятся в пять раз медленнее, чем при разбиении 50/50, и первые дни дают меньше полезных данных. Это означает, что для достижения целевого размера выборки потребуется больше календарного времени. Часто в планировании считают эффективную скорость набора по группам или начинают отсчёт после выхода на 50/50, фиксируя это правило заранее. Иначе мощность теста окажется ниже ожидаемой и решение придётся откладывать.
Проверь себя · 1/3разбор после ответа
Что означает параметр бета (β) в планировании A/B-теста?
Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →