Вариант B увеличил число сессий на пользователя, поэтому общее время в приложении выросло. Почему сравнение общего времени без normalization может вводить в заблуждение?
AОбщее время всегда корректно и не нуждается в корректировках
BВремя в приложении нельзя использовать в A/B тестах
CНужно заменить метрику на количество кликов, потому что оно проще
DПотому что рост может быть вызван изменением объёма активности, и лучше считать время на активного пользователя или на сессию как
normalizationПравильный ответ. Без
normalization агрегаты могут расти из-за изменения количества наблюдений, а не из-за изменения поведения.Разбор
Если пользователи стали заходить чаще, то суммарное время неизбежно вырастет даже при том же качестве сессии. Чтобы понять, стало ли использование «лучше» или просто «больше», применяют normalization, например время на пользователя или на сессию. Это помогает отделить эффект изменения продукта от эффекта роста или падения активности.
Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как
primary metric для решения «выкатывать или нет»?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Все вопросы по «Метрики и guardrail-метрики» →