В тесте новый онбординг улучшил primary metric (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать secondary metrics в такой ситуации?

AИгнорировать secondary metrics, если primary metric значимо вырос
BЗаменить primary metric на повторные визиты и пересчитать тест «как будто так и было»
CИспользовать secondary metrics для диагностики и оценки компромиссов, прежде чем принимать решение о запуске
DСчитать secondary metrics как invariant metrics, потому что они не должны меняться
Правильный ответ. secondary metrics нужны, чтобы понимать последствия и механизмы, даже если primary metric показывает рост.

Разбор

Рост primary metric не гарантирует, что пользовательский опыт и долгосрочная ценность не ухудшились. secondary metrics помогают увидеть, где именно возникает проблема, и оценить, приемлем ли компромисс. Часто по ним принимают решение о доработке, ограниченном запуске или выборе другого дизайна эксперимента.

Проверь себя · 1/3разбор после ответа
Перед анализом результата вы проверяете invariant metrics. Какая метрика чаще всего является invariant metrics в онлайн A/B тесте?
Тренировать A/B в Telegram

Ещё вопросы по теме «Метрики и guardrail-метрики»