Эксперимент по всей аудитории рассчитан на длительность 14 дней при заданных уровне значимости, мощности и MDE. Продакт хочет сделать столь же надёжный вывод по сегменту, который составляет 20% трафика. Что ожидаемо произойдёт с нужной длительностью для этого сегмента?

AОстанется около 14 дней: размер сегмента не влияет на скорость набора выборки внутри сегмента
BСократится примерно в 2 раза за счёт большей однородности поведения внутри сегмента и меньшей дисперсии
CУвеличится примерно в 5 раз: сегмент составляет 20% трафика и набирает наблюдения в 5 раз медленнее
DУвеличится примерно в 10 раз из-за более высокой дисперсии и пропорционального снижения MDE в сегменте
Правильный ответ. При анализе сегмента с меньшей долей трафика падает скорость набора выборки, поэтому нужная длительность увеличивается обратно пропорционально доле.

Разбор

Если сегмент — 20% трафика, то при прочих равных вы набираете в нём наблюдения примерно в 5 раз медленнее. Чтобы получить тот же размер выборки на группу при тех же уровне значимости, мощности и MDE, нужно примерно в 5 раз больше времени. Поэтому сегментный вывод стоит планировать заранее и оценивать по доступному трафику, иначе он окажется недомощным. Сокращение времени или ссылка на «однородность» сегмента не выдерживают проверки расчётом.

Проверь себя · 1/3разбор после ответа
Что означает параметр бета (β) в планировании A/B-теста?
Тренировать A/B в Telegram

Ещё вопросы по теме «Размер выборки и мощность теста»