Вариант B увеличил число сессий на пользователя, поэтому общее время в приложении выросло. Почему сравнение общего времени без нормирования может вводить в заблуждение?
AРост может быть вызван увеличением числа сессий, поэтому корректнее считать время на пользователя или на сессию
BОбщее время в приложении само по себе уже учитывает интенсивность активности и не требует нормирования по сессиям
CМетрику общего времени стоит заменить на медианную длительность сессии, чтобы устранить влияние редких длинных сессий
DСравнение по абсолютной разнице минут даёт ту же картину, что и нормирование, и упрощает интерпретацию итогов
Правильный ответ. Без нормирования агрегаты могут расти из-за изменения количества наблюдений, а не из-за изменения поведения.
Разбор
Если пользователи стали заходить чаще, суммарное время неизбежно вырастет даже при том же качестве сессии. Чтобы понять, стало ли использование «лучше» или просто «больше», применяют нормирование — например, время на пользователя или на сессию. Это помогает отделить эффект изменения продукта от эффекта роста или падения активности. Без нормирования агрегаты могут расти из-за изменения количества наблюдений, а не из-за изменения поведения.
Проверь себя · 1/3разбор после ответа
В тесте средний чек вырос, но количество заказов и доля повторных покупок снизились. Почему так могло случиться и что сделать первым делом?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →