В тесте вы заметили, что в варианте B существенно больше iOS-пользователей, хотя фича не должна менять платформу. Что это скорее всего означает?
AНарушены
invariant metrics: возможна ошибка рандомизации или таргетинга, и результаты нельзя интерпретировать напрямуюBФича «привлекла» iOS-пользователей и это нормальный эффект
CЭто неважно, если
primary metric выросDЭто всегда исправляется простым увеличением длительности эксперимента
Правильный ответ. Сильные различия по
invariant metrics обычно сигнализируют проблему назначения или сбора данных.Разбор
Если эксперимент не должен влиять на платформу, страна и другие базовые признаки, то их различия между группами подозрительны. Это может быть следствием некорректного таргетинга, перекоса трафика или ошибки в логировании назначения варианта. В такой ситуации важно сначала восстановить валидность теста, а уже потом обсуждать эффект по метрикам результата.
Проверь себя · 1/3разбор после ответа
Перед анализом результата вы проверяете
invariant metrics. Какая метрика чаще всего является invariant metrics в онлайн A/B тесте?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Все вопросы по «Метрики и guardrail-метрики» →