Команда хочет оценивать успех по 6 метрикам сразу и «выбирать лучшую после теста». Как корректнее поступить до старта A/B test?
AСделать все 6 метрик
primary metric, чтобы не упустить победуBЗаранее выбрать одну
primary metric, остальные оформить как диагностические и/или guardrail metric с правилами интерпретацииCНе фиксировать метрики заранее, чтобы не ограничивать анализ
DСмотреть только на метрику с самым большим ростом, она и будет правильной
Правильный ответ. Одна
primary metric снижает риск «найти победу» случайно, а guardrail metric ограничивает риск.Разбор
Когда метрик успеха много, легко выбрать «понравившуюся» постфактум и получить неверное решение. Практика — заранее определить primary metric, по которой принимается решение, и список диагностических показателей. guardrail metric фиксируют как ограничения: если они ухудшаются, даже рост primary metric может быть неприемлем.
Проверь себя · 1/3разбор после ответа
Вы планировали сплит 50/50 между
control и treatment, но стабильно видите 62/38 по пользователям. Что это наиболее вероятно и что делать?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →