Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
AСчитать победой рост любой метрики из списка, чтобы быстрее принять решение
BВыбрать метрику, где получилась самая маленькая p-value, и назвать её
primary metricCОтказаться от
primary metric и сравнить всё, что есть, без заранее заданных ролейDВыбрать один
primary metric или OEC для решения, а остальные явно оформить как secondary metrics и/или guardrail metricsПравильный ответ. Чёткое разделение на
primary metric, secondary metrics и guardrail metrics помогает принимать решение без «метрического хаоса».Разбор
Несколько primary metric часто дают конфликтующие сигналы и повышают шанс выбрать победителя случайно. Лучше заранее договориться об одном решающем показателе, близком к цели продукта, например OEC. Остальные метрики полезны, но их роль должна быть определена заранее: диагностика (secondary metrics) или ограничения рисков (guardrail metrics).
Проверь себя · 1/3разбор после ответа
Эксперимент длился 2 дня и пришёлся на выходные, а обычно в выходные конверсия выше. Как правильнее учитывать
seasonality при выводах?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Вы меняете текст про доставку на чекауте; `primary metric` — конверсия в заказ. Какую метрику логичнее поставить как `guardrail metrics`, чтобы контролировать риск для бизнеса?
- Все вопросы по «Метрики и guardrail-метрики» →