Вы смотрите результаты A/B test каждый день и останавливаете эксперимент, как только primary metric стала «значимо лучше». Какой риск вы повышаете в первую очередь?
AРиск
SRM, потому что частый просмотр меняет сплитBРиск
seasonality, потому что статистика зависит от дня неделиCРиск ложноположительного вывода из-за
peeking (подглядывания) и остановки на случайном пикеDРиск, что
control увидит treatmentПравильный ответ.
peeking часто приводит к остановке на шуме и повышает шанс принять случайность за эффект.Разбор
Если многократно смотреть на метрику и принимать решение по первому удачному моменту, вероятность ошибочно «найти победителя» растёт. Это не обязательно связано с SRM или seasonality, а именно с процедурой принятия решения. Чтобы снизить риск, заранее фиксируют правило остановки или используют корректный последовательный подход к остановке.
Проверь себя · 1/3разбор после ответа
Вы планировали сплит 50/50 между
control и treatment, но стабильно видите 62/38 по пользователям. Что это наиболее вероятно и что делать?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →