Вы планировали сплит 50/50, но стабильно видите 57/43 по пользователям в A/B. Какое объяснение и действие наиболее корректные?
AЭто нормально, если
primary metric улучшился, можно выкатыватьBТакое бывает из-за
seasonality, поэтому просто подождите ещё пару днейCНужно заменить
primary metric, потому что она «ломает» распределениеDЭто похоже на
SRM (Sample Ratio Mismatch), что видно по invariant metrics, поэтому сначала нужно расследовать назначение и сбор данныхПравильный ответ.
SRM (Sample Ratio Mismatch) — это сигнал проблем со сплитом, который часто обнаруживают через invariant metrics ещё до анализа эффекта.Разбор
Существенный и стабильный перекос в долях групп часто означает, что часть трафика не случайно распределяется или где-то ломается логика назначения. В таком случае статистические выводы по primary metric могут быть ненадёжными. Правильный шаг — остановиться и проверить пайплайн: экспериментальные флаги, таргетинг, логирование, фильтры и дедупликацию пользователей.
Проверь себя · 1/3разбор после ответа
Какое утверждение лучше всего описывает правильную работу с
guardrail metrics?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Все вопросы по «Метрики и guardrail-метрики» →