Вы смотрите результаты A/B-теста каждый день и останавливаете эксперимент, как только основная метрика стала «значимо лучше». Какой риск вы повышаете в первую очередь?
AРиск нарушения соотношения групп
SRM, потому что частый просмотр результатов меняет фактический сплит между вариантамиBРиск сезонности, потому что значимость основной метрики сильно зависит от того, в какой день недели вы смотрите результаты эксперимента
CРиск утечки воздействия из тестовой группы в контрольную, потому что регулярный просмотр данных делает разделение групп менее чистым
DРиск ложноположительного вывода из-за подглядывания и остановки эксперимента на случайном пике основной метрики
Правильный ответ. Подглядывание часто приводит к остановке на шуме и повышает шанс принять случайность за реальный эффект.
Разбор
Если многократно смотреть на метрику и принимать решение по первому удачному моменту, вероятность ошибочно «найти победителя» растёт. Это не обязательно связано с нарушением соотношения групп или сезонностью, а именно с процедурой принятия решения. Чтобы снизить риск, заранее фиксируют правило остановки или используют корректный последовательный подход к остановке.
Проверь себя · 1/3разбор после ответа
Команда хочет оценивать успех по 6 метрикам сразу и «выбирать лучшую после теста». Как корректнее поступить до старта A/B-теста?
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →