Почему SRM (расхождение долей трафика по группам) опасен, даже если целевая метрика выглядит хорошей?
A
SRM влияет только на оформление графиков мониторинга и не затрагивает статистику, поэтому выводы по эксперименту остаются корректнымиBПри обнаружении
SRM достаточно пересчитать p-value с поправкой на наблюдаемое разбиение, и проблема исчезнет без дальнейшей диагностики причинC
SRM всегда означает, что в эксперименте по факту выиграл вариант B, и это просто способ зафиксировать наблюдаемое смещение результатаD
SRM может означать несопоставимые группы и смещение оценки эффекта, поэтому выводы по эксперименту становятся ненадёжными до устранения причиныПравильный ответ.
SRM нарушает предпосылку корректного сравнения групп и может смещать оценку эффекта эксперимента.Разбор
Если фактические доли трафика по группам не соответствуют ожидаемому разбиению, это часто значит, что в эксперимент попали разные типы пользователей или часть трафика пропала. Тогда даже «красивый» эффект может быть артефактом. Поэтому при обнаружении SRM обычно сначала чинят причину и только потом доверяют результатам.
Проверь себя · 1/3разбор после ответа
Вы запустили A/A тест и получили статистически значимую разницу по ключевой метрике. Что правильнее всего сделать перед запуском A/B?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →