Во время эксперимента маркетинг привёл больше трафика, поэтому общая выручка выросла в обеих группах. Какая метрика лучше подойдёт для сравнения вариантов с поправкой на разный объём трафика?

AОбщая выручка за период в каждой группе без поправки на объём пришедшего трафика
BВыручка на пользователя или на сессию, нормированная на единицу наблюдения
CКоличество показов страниц за период в каждой из групп без учёта числа пользователей
DДлительность эксперимента в днях, скорректированная на размер привлечённого трафика
Правильный ответ. Нормировка метрик на пользователя или сессию помогает сравнивать варианты при разном объёме трафика.

Разбор

Абсолютная выручка сильно зависит от того, сколько пользователей пришло в каждую группу. При изменениях трафика корректнее использовать метрики на единицу наблюдения, например выручку на пользователя, чтобы сравнить поведение и ценность. Это также облегчает сравнение период-к-периоду и снижает риск принять решение из-за внешнего притока трафика.

Проверь себя · 1/3разбор после ответа
Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
Тренировать A/B в Telegram

Ещё вопросы по теме «Метрики и guardrail-метрики»