Команда хочет иметь возможность останавливать эксперимент раньше, если эффект явно плохой или явно хороший. Что лучше всего сделать, чтобы снизить риск подглядывания?

AОстанавливать тест в момент, когда менеджер субъективно решает, что данных уже достаточно для уверенного вывода по эффекту
BВсегда смотреть метрики каждый час и останавливать на пике, чтобы зафиксировать максимальный наблюдаемый эффект как итоговый
CЗаранее зафиксировать правила ранней остановки и применять согласованный критерий (например, последовательный подход) по основной и страховочным метрикам
DЗапускать тест только в выходные, чтобы быстрее увидеть эффект и принять решение об остановке по высокому всплеску активности
Правильный ответ. Если нужна ранняя остановка, правила должны быть заранее определены, иначе многократные проверки делают выводы ненадёжными.

Разбор

Ранняя остановка возможна, но она должна быть частью заранее согласованного процесса. Иначе вы многократно проверяете гипотезу и рискуете остановиться на случайном колебании. Правильная практика — зафиксировать, при каких условиях эксперимент останавливается по основной метрике и страховочным метрикам, и придерживаться этих условий. Решения «по ощущениям менеджера», ежечасный мониторинг или запуск только в выходные не контролируют ошибку и подменяют процесс импровизацией.

Проверь себя · 1/3разбор после ответа
Команда хочет оценивать успех по 6 метрикам сразу и «выбирать лучшую после теста». Как корректнее поступить до старта A/B-теста?
Тренировать продукт в Telegram

Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»