Вы хотите сравнить варианты A/B/C вместо классического A/B при том же общем трафике и тех же alpha, power и MDE на каждое сравнение. Что будет с test duration для набора нужного sample size в каждой группе?
A
test duration сократится, потому что больше вариантов ускоряют получение результатаB
test duration вырастет, потому что при A/B/C трафик делится на 3 группы и медленнее набирается sample size в каждойC
test duration не изменится, потому что общий трафик тот жеD
test duration станет меньше, потому что alpha автоматически делится на 3Правильный ответ. При
A/B/C трафик на каждую группу меньше, поэтому для того же sample size обычно нужна большая test duration.Разбор
Если общий поток пользователей фиксирован, то при трех группах каждая получает около одной трети трафика вместо половины. Чтобы набрать тот же sample size на группу, потребуется больше времени. Дополнительно стоит помнить, что множественные сравнения могут потребовать контроля alpha на уровне набора гипотез.
Проверь себя · 1/3разбор после ответа
Калькулятор дал требование
N_treat = 20000 и N_control = 20000 по user_id. В эксперимент ежедневно попадает 5000 новых user_id, разбиение 50/50. Какая минимальная test duration в днях, если трафик стабилен?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →