Команда запускает A/B-тест и каждый день смотрит p-value; как только видит p-value < alpha, сразу завершает тест и объявляет победу. В чём главный риск такого подсматривания?

AМощность теста снижается, потому что любое число промежуточных проверок гарантированно делает тест слабее независимо от плана анализа
BРандомизация перестаёт работать, поэтому группы становятся несопоставимыми и сравнение метрик теряет смысл при ранней остановке теста
CНаблюдаемый эффект автоматически становится отрицательным из-за частых проверок, и победитель всегда оказывается ложно проигравшим
DРастёт риск ошибки I рода (ложноположительного результата): правило остановки зависит от данных, и нет коррекции уровня значимости
Правильный ответ. Подсматривание с остановкой по p-value без коррекции повышает риск ложноположительного результата.

Разбор

Обычная интерпретация p-value при уровне alpha предполагает заранее зафиксированный план анализа. Если многократно проверять результат и останавливаться при первом p-value < alpha, фактически делается несколько попыток «поймать» значимость. Это увеличивает ошибку I рода, поэтому нужен фиксированный горизонт или последовательный тест с распределением alpha. Мощность сама по себе тут не падает, рандомизация остаётся валидной, а знак эффекта от подсматривания не переворачивается.

Проверь себя · 1/2разбор после ответа
В эксперименте вы делали ежедневные проверки. На 3-й день получили p-value < alpha и остановили тест, но позже выяснилось, что при продолжении до 14 дней результат стал бы незначимым. Какое объяснение наиболее вероятно?
Тренировать A/B в Telegram

Ещё вопросы по теме «Секвенциальное тестирование»