Вы улучшаете рекомендации, и команда спорит, что считать успехом: CTR, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
AСделать 3
primary metric и выбрать победителя по любой улучшившейся метрикеBВыбрать один
OEC как primary metric, а остальные оставить как secondary metrics для диагностикиCНе выбирать метрики заранее и решить после теста, какая больше понравится
DВыбрать
CTR как primary metric, потому что он быстрее реагируетПравильный ответ. Один
OEC как primary metric снижает риск противоречивых выводов, а secondary metrics помогают понять механизм эффекта.Разбор
Когда метрик успеха много, легко «найти победу» случайно и принять неправильное решение. Практичнее заранее выбрать один primary metric (часто в виде OEC), который ближе всего к ценности продукта или бизнеса. Остальные метрики фиксируют как secondary metrics, чтобы объяснить изменения и проверить, не появились ли нежелательные побочные эффекты.
Проверь себя · 1/3разбор после ответа
Перед анализом результата вы проверяете
invariant metrics. Какая метрика чаще всего является invariant metrics в онлайн A/B тесте?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Вы меняете текст про доставку на чекауте; `primary metric` — конверсия в заказ. Какую метрику логичнее поставить как `guardrail metrics`, чтобы контролировать риск для бизнеса?
- Все вопросы по «Метрики и guardrail-метрики» →