Калькулятор дал требование N_treat = 20000 и N_control = 20000 по user_id. В эксперимент ежедневно попадает 5000 новых user_id, разбиение 50/50. Какая минимальная test duration в днях, если трафик стабилен?
A4 дня
B5 дней
C6 дней
D8 дней
Правильный ответ.
test duration примерно равна требуемому sample size на группу, деленному на ежедневный поток в группу.Разбор
При 50/50 из 5000 user_id в день каждая группа получает примерно 2500 user_id в день. Чтобы набрать N_treat = 20000, нужно 20000 / 2500 = 8 дней. Аналогично для N_control, поэтому минимальная test duration около 8 дней при стабильном трафике.
Проверь себя · 1/3разбор после ответа
Команда говорит: хотим
MDE 10% для conversion rate. Что важно уточнить перед расчетом sample size и test duration?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Вы повышаете требование к `power` с 80% до 90% при фиксированных `alpha` и `MDE`. Что ожидаемо случится с `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →