Во время эксперимента маркетинг привёл больше трафика, поэтому общая выручка выросла в обеих группах. Какая метрика лучше для сравнения вариантов с учётом normalization?
AОбщая выручка за период в каждой группе
BВыручка на пользователя или на сессию (нормализованная метрика)
CКоличество показов страниц за период
DКоличество дней, которые длился эксперимент
Правильный ответ.
normalization помогает сравнивать варианты при разном объёме трафика, переводя метрики в формат «на пользователя» или «на сессию».Разбор
Абсолютная выручка сильно зависит от того, сколько пользователей пришло в каждую группу. При изменениях трафика корректнее использовать метрики на единицу наблюдения, например выручку на пользователя, чтобы сравнить поведение и ценность. Это также облегчает сравнение период-к-периоду и снижает риск принять решение из-за внешнего притока трафика.
Проверь себя · 1/3разбор после ответа
Команда выбрала
primary metric — CTR по рекомендательным карточкам. В тесте CTR вырос, но продажи и выручка упали. Какой вывод наиболее вероятен?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Все вопросы по «Метрики и guardrail-метрики» →