Вы планировали сплит 50/50, но стабильно видите 57/43 по пользователям в A/B-тесте. Какое объяснение и действие наиболее корректные?
AЭто похоже на
SRM (Sample Ratio Mismatch), что видно по защитным метрикам, поэтому сначала нужно расследовать назначение и сбор данныхBЭто нормально, если основная метрика улучшилась на текущем срезе, можно сразу выкатывать эксперимент на 100% трафика без дополнительных проверок
CТакое расхождение бывает из-за сезонности и колебаний трафика по дням недели, поэтому достаточно подождать ещё пару дней до стабилизации
DНужно заменить основную метрику в эксперименте на другую, потому что она «ломает» распределение пользователей по группам и искажает сплит
Правильный ответ.
SRM (Sample Ratio Mismatch) — это сигнал проблем со сплитом, который часто обнаруживают через защитные метрики ещё до анализа эффекта.Разбор
Существенный и стабильный перекос в долях групп часто означает, что часть трафика не случайно распределяется или где-то ломается логика назначения. В таком случае статистические выводы по основной метрике могут быть ненадёжными. Правильный шаг — остановиться и проверить пайплайн: экспериментальные флаги, таргетинг, логирование, фильтры и дедупликацию пользователей.
Проверь себя · 1/3разбор после ответа
Какое утверждение лучше всего описывает правильную работу со страховочными метриками в A/B тесте?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →