Вы подозреваете SRM: в treatment меньше пользователей, чем ожидалось, и перекошены платформы. Что из перечисленного наиболее уместно проверить в первую очередь?
AПерерисовать графики метрики, чтобы тренд выглядел ровнее
BСразу запускать полный
rollout, чтобы собрать больше данныхCПроверить логику назначения
control/treatment, фильтры включения, дедупликацию идентификаторов и корректность логирования вариантаDЗаменить
primary metric, потому что текущая метрика «ломает» распределениеПравильный ответ.
SRM чаще всего вызван проблемой назначения или сбора данных, поэтому начинать нужно с пайплайна control/treatment.Разбор
При SRM разница между группами может появиться не из-за фичи, а из-за багов: часть пользователей не попадает в эксперимент, вариант не логируется или меняется между сессиями. Поэтому первое действие — проверить assignment-логику, критерии включения и идентификаторы, по которым дедуплицируются пользователи. Только после устранения причины SRM можно доверять результатам A/B test.
Проверь себя · 1/3разбор после ответа
Что в
A/B test обычно означает разделение на control и treatment?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →