Эксперимент по всей аудитории рассчитан на test duration 14 дней при заданных alpha, power и MDE. Продакт хочет сделать столь же надежный вывод по segment, который составляет 20% трафика. Что ожидаемо произойдет с нужной длительностью для этого segment?
AОстанется 14 дней, потому что
segment — это просто разрез отчетаBСократится в 2 раза, потому что сегмент меньше и однороднее
CУвеличится примерно в 5 раз, потому что сегмент — 20% трафика и
sample size в нём набирается примерно в 5 раз медленнее.DУвеличится примерно в 5 раз, потому что скорость набора
sample size в segment в 5 раз ниже.Правильный ответ. При анализе
segment с меньшей долей трафика падает скорость набора sample size, поэтому нужная test duration обычно увеличивается.Разбор
Если segment — это 20% трафика, то при прочих равных вы набираете наблюдения в нем примерно в 5 раз медленнее. Чтобы получить тот же sample size на группу для заданных alpha, power и MDE, нужно больше времени. Поэтому сегментный вывод стоит планировать заранее и оценивать по трафику, иначе он окажется недомощным.
Проверь себя · 1/3разбор после ответа
Вы держите
MDE и power фиксированными, но хотите снизить alpha с 5% до 1%. Что в среднем произойдет с требуемым sample size?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →