Калькулятор размера выборки дал требование N_treat = 20000 и N_control = 20000. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
A4 дня: расчёт по формуле
40000 / 10000 без учёта разбиения трафика на две группыB5 дней: расчёт по формуле
20000 / 4000 пользователей в день на одну группуC6 дней: расчёт по формуле
30000 / 5000 пользователей в день при объединённом потокеD8 дней: расчёт по формуле
20000 / 2500 пользователей в день на группу при 50/50Правильный ответ. Длительность теста ≈ требуемый размер выборки на группу, делённый на ежедневный поток в эту группу.
Разбор
При разбиении 50/50 из 5000 пользователей в день каждая группа получает примерно 2500 человек в день. Чтобы набрать N_treat = 20000, нужно 20000 / 2500 = 8 дней. Аналогично для N_control, поэтому минимальная длительность теста около 8 дней при стабильном трафике. Ошибочные оценки 4–6 дней получаются, если делить общий поток на размер одной группы или пропустить разбиение пополам.
Проверь себя · 1/3разбор после ответа
Что означает параметр бета (β) в планировании A/B-теста?
Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Вы повышаете требование к мощности теста с 80% до 90% при фиксированных уровне значимости и `MDE`. Что ожидаемо случится с размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →