Вы хотите сравнить три варианта A/B/C вместо классического A/B при том же общем трафике и тех же alpha, мощности и MDE на каждое сравнение. Что будет с длительностью теста для набора нужного размера выборки в каждой группе?
AДлительность теста сократится, потому что больше вариантов ускоряют сбор данных и набор статистической мощности на каждое сравнение
BДлительность теста не изменится, потому что общий поток трафика остаётся прежним и в сумме мы видим столько же пользователей за период
CДлительность теста вырастет, потому что трафик делится на 3 группы и нужный размер выборки в каждой набирается медленнее, чем при двух группах
DДлительность теста станет меньше, потому что уровень значимости
alpha автоматически делится на 3 при увеличении числа вариантов в тестеПравильный ответ. При трёх вариантах трафик на группу меньше, поэтому для того же размера выборки обычно нужна большая длительность теста.
Разбор
Если общий поток пользователей фиксирован, то при трёх группах каждая получает около одной трети трафика вместо половины. Чтобы набрать тот же размер выборки на группу, потребуется больше времени. Дополнительно множественные сравнения могут потребовать контроля alpha на уровне набора гипотез — но сам по себе этот контроль длительность не сокращает. Идея, что больше вариантов ускоряют тест или что alpha сама делится на 3 в нашу пользу, — частые ошибки.
Проверь себя · 1/3разбор после ответа
Калькулятор размера выборки дал требование
N_treat = 20000 и N_control = 20000. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →