Вы запускаете A/B/n-эксперимент: контроль и 3 варианта интерфейса. Что принципиально меняется по сравнению с A/B в части риска ложноположительных результатов, если проверять каждое сравнение на alpha 0.05 без коррекции?

AНичего не меняется: можно тестировать каждую пару на том же alpha и трактовать результаты ровно так же, как в обычном A/B
BВозникает проблема множественных сравнений: общий шанс получить хотя бы один ложноположительный результат растёт, поэтому нужен план сравнений и коррекция
CРиск ложноположительных результатов снижается, потому что трафик делится на большее число вариантов и в каждом меньше пользователей
DСравнивать варианты нужно только между собой попарно, а контрольную группу полностью исключить из анализа итоговых сравнений
Правильный ответ. В A/B/n число проверок обычно больше, поэтому без коррекции растёт вероятность ложноположительных результатов из-за множественных сравнений.

Разбор

В A/B часто проверяют одну основную гипотезу, а в A/B/n появляется несколько сравнений, например каждый вариант против контроля. Если каждое сравнение делать на одном и том же alpha, общий шанс случайно увидеть значимость хотя бы где-то становится выше. Поэтому важно заранее определить, какие сравнения входят в одну семью, и применять подходящую коррекцию.

Проверь себя · 1/3разбор после ответа
Команда сравнивает 8 вариантов с контролем и для каждого теста использует порог alpha = 0.05 без коррекции. Что происходит с вероятностью получить хотя бы одно ложное срабатывание среди всех сравнений?
Тренировать A/B в Telegram

Ещё вопросы по теме «Множественное тестирование»