Вы смотрите результаты A/B test каждый день и останавливаете эксперимент, как только primary metric стала «значимо лучше». Какой риск вы повышаете в первую очередь?

AРиск SRM, потому что частый просмотр меняет сплит
BРиск seasonality, потому что статистика зависит от дня недели
CРиск ложноположительного вывода из-за peeking (подглядывания) и остановки на случайном пике
DРиск, что control увидит treatment
Правильный ответ. peeking часто приводит к остановке на шуме и повышает шанс принять случайность за эффект.

Разбор

Если многократно смотреть на метрику и принимать решение по первому удачному моменту, вероятность ошибочно «найти победителя» растёт. Это не обязательно связано с SRM или seasonality, а именно с процедурой принятия решения. Чтобы снизить риск, заранее фиксируют правило остановки или используют корректный последовательный подход к остановке.

Проверь себя · 1/3разбор после ответа
Вы планировали сплит 50/50 между control и treatment, но стабильно видите 62/38 по пользователям. Что это наиболее вероятно и что делать?
Тренировать продукт в Telegram

Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»