Эксперимент по всей аудитории рассчитан на длительность 14 дней при заданных уровне значимости, мощности и MDE. Продакт хочет сделать столь же надёжный вывод по сегменту, который составляет 20% трафика. Что ожидаемо произойдёт с нужной длительностью для этого сегмента?
AОстанется около 14 дней: размер сегмента не влияет на скорость набора выборки внутри сегмента
BСократится примерно в 2 раза за счёт большей однородности поведения внутри сегмента и меньшей дисперсии
CУвеличится примерно в 5 раз: сегмент составляет 20% трафика и набирает наблюдения в 5 раз медленнее
DУвеличится примерно в 10 раз из-за более высокой дисперсии и пропорционального снижения
MDE в сегментеПравильный ответ. При анализе сегмента с меньшей долей трафика падает скорость набора выборки, поэтому нужная длительность увеличивается обратно пропорционально доле.
Разбор
Если сегмент — 20% трафика, то при прочих равных вы набираете в нём наблюдения примерно в 5 раз медленнее. Чтобы получить тот же размер выборки на группу при тех же уровне значимости, мощности и MDE, нужно примерно в 5 раз больше времени. Поэтому сегментный вывод стоит планировать заранее и оценивать по доступному трафику, иначе он окажется недомощным. Сокращение времени или ссылка на «однородность» сегмента не выдерживают проверки расчётом.
Проверь себя · 1/3разбор после ответа
Что означает параметр бета (β) в планировании A/B-теста?
Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →