Вы планировали сплит 50/50 между control и treatment, но стабильно видите 62/38 по пользователям. Что это наиболее вероятно и что делать?
AЭто нормально: просто один вариант более популярный
BЭто признак
seasonality, нужно подождать выходныхCЭто означает, что
primary metric нужно заменитьDЭто похоже на
SRM; сначала проверьте назначение варианта и сбор данных, а потом интерпретируйте эффектПравильный ответ. Сильный перекос сплита часто указывает на
SRM и требует проверки пайплайна до анализа метрик.Разбор
SRM (sample ratio mismatch) обычно означает проблему с рандомизацией, таргетингом или логированием. При SRM группы могут стать несопоставимыми, и эффект по primary metric может быть неверным. Правильный шаг — проверить механизм назначения control/treatment, фильтры, дедупликацию пользователей и только затем продолжать анализ.
Проверь себя · 1/3разбор после ответа
Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как
primary metric для решения о запуске?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →