В A/B/n (A — контроль, B и C — варианты) вы применили Holm на сравнения B против A и C против A по основной метрике. После коррекции значимым осталось только сравнение C против A. Как корректно сформулировать вывод?

AМожно утверждать, что C лучше всех, включая B, даже если B и C не сравнивали напрямую.
BМожно утверждать, что C статистически лучше контроля по основной метрике при контроле family-wise error, но нельзя делать выводы про различие B и C без отдельного корректного сравнения.
CМожно утверждать, что B и C одинаковы, раз B незначим.
DКоррекция Holm делает любые дальнейшие выводы невозможными.
Правильный ответ. После Holm корректно делать только те выводы, которые соответствуют проверенным и скорректированным гипотезам.

Разбор

Коррекция контролирует family-wise error для набора сравнений, которые вы включили в процедуру. Если значимым осталось C против A, то именно это утверждение вы можете поддерживать статистически. Отсутствие значимости для B против A не доказывает равенство, а также не даёт права сравнивать B и C без отдельного теста. Для продуктового решения также важно дополнительно оценить практическую значимость и риски.

Проверь себя · 1/3разбор после ответа
Какое утверждение обычно верно для Benjamini–Hochberg по сравнению с Bonferroni при большом числе проверок?
Тренировать A/B в Telegram

Ещё вопросы по теме «Множественное тестирование»