В тесте вы заметили, что в варианте B существенно больше пользователей iOS, хотя функция не должна менять платформу. Что это скорее всего означает?
AПризнак Sample Ratio Mismatch: вероятна ошибка рандомизации или таргетинга, результаты надо проверять до интерпретации
BОжидаемый эффект варианта B: iOS оказались чувствительнее к функции и охотнее попадают в выборку этой группы
CСлучайное расхождение по платформе, на которое можно не смотреть, если основная метрика показывает значимый рост
DАртефакт ранней стадии: баланс долей платформ обычно восстанавливается по мере роста выборки и числа сессий
Правильный ответ. Сильные различия по инвариантным метрикам обычно сигнализируют о проблеме назначения вариантов или сбора данных.
Разбор
Если эксперимент не должен влиять на платформу, страну и другие базовые признаки, то их различия между группами подозрительны. Это может быть следствием некорректного таргетинга, перекоса трафика или ошибки в логировании назначения варианта. В такой ситуации важно сначала восстановить валидность теста, а уже потом обсуждать эффект по основным метрикам.
Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →