В эксперименте A/B/n у вас контроль A и варианты B и C, и вы готовы запустить любой вариант, который статистически лучше контроля по одной основной метрике. Какие проверки логично считать одной семьёй для поправки на множественные сравнения?

AТолько сравнение варианта, который оказался лучшим по приросту метрики, против контроля без учёта остальных вариантов
BСравнения варианта B против A и варианта C против A, потому что любое из них может привести к решению о запуске нового варианта
CТолько сравнение варианта B против варианта C, потому что внутри эксперимента варианты конкурируют между собой за запуск
DПоправка на множественные сравнения здесь не нужна, потому что измеряется одна и та же основная метрика во всех сравнениях
Правильный ответ. Семья гипотез определяется решениями, которые вы планируете принимать, и в A/B/n обычно включает все плановые сравнения с контролем.

Разбор

Если вы готовы запустить любой вариант, который обгонит контроль, то фактически у вас несколько шансов «победить» контроль. Поэтому сравнения B против A и C против A нужно учитывать совместно. Иначе вы будете недооценивать риск ложноположительных решений на уровне всего эксперимента и принимать невыгодные запуски чаще, чем подразумевает заявленный уровень значимости.

Проверь себя · 1/3разбор после ответа
Что описывает контроль FDR в процедурах вроде Benjamini–Hochberg?
Тренировать A/B в Telegram

Ещё вопросы по теме «Множественное тестирование»