Вы подозреваете SRM: в тестовой группе меньше пользователей, чем ожидалось, и перекошены платформы. Что уместнее всего проверить в первую очередь?
AПерерисовать графики метрики, чтобы тренд выглядел ровнее и не пугал стейкхолдеров на ближайшем демо
BСразу запустить раскатку на 100%, чтобы быстрее собрать данные и компенсировать перекос объёмом
CПроверить логику назначения групп, фильтры включения, дедупликацию идентификаторов и логирование варианта
DЗаменить основную метрику, потому что текущая «ломает» распределение и мешает увидеть реальный эффект
Правильный ответ. SRM чаще всего вызван проблемой назначения или сбора данных, поэтому начинать нужно с пайплайна групп.
Разбор
При SRM (Sample Ratio Mismatch) разница между группами появляется не из-за фичи, а из-за багов: часть пользователей не попадает в эксперимент, вариант не логируется или меняется между сессиями. Поэтому первое действие — проверить логику назначения, критерии включения и идентификаторы, по которым дедуплицируются пользователи. Только после устранения причины SRM можно доверять результатам A/B-теста. Раскатка или замена метрики проблему не решат.
Проверь себя · 1/3разбор после ответа
Вы подозреваете SRM: в тестовой группе меньше пользователей, чем ожидалось, и перекошены платформы. Что уместнее всего проверить в первую очередь?
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →