Какой подход к остановке эксперимента лучше всего снижает риск peeking (подглядывания) и спорных выводов?
AСмотреть результаты каждый час и останавливать, как только стало лучше
BЗаранее зафиксировать длительность или правило остановки по
primary metric и guardrail metric и следовать емуCОстановить сразу, если в первый день метрика немного выросла
DОстановить, когда руководителю станет комфортно принять решение
Правильный ответ. Чтобы снизить риск
peeking, заранее фиксируют правило остановки и придерживаются его.Разбор
Если постоянно подглядывать и останавливать по удобному моменту, возрастает шанс принять случайный шум за эффект. Поэтому командно договариваются о длительности, критерии успеха по primary metric и ограничениях по guardrail metric. Такой процесс делает решение воспроизводимым и снижает вероятность самообмана.
Проверь себя · 1/3разбор после ответа
Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как
primary metric для решения о запуске?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →