Почему SRM (Sample Ratio Mismatch) опасен, даже если целевая метрика выглядит хорошей?
A
SRM (Sample Ratio Mismatch) влияет только на графики, но не влияет на статистикуBПри
SRM (Sample Ratio Mismatch) можно просто пересчитать p-value, и проблема исчезнетC
SRM (Sample Ratio Mismatch) всегда означает, что эксперимент выиграл вариант BD
SRM (Sample Ratio Mismatch) может означать несопоставимые группы и смещение оценки эффекта, поэтому выводы по A/B становятся ненадёжнымиПравильный ответ.
SRM (Sample Ratio Mismatch) нарушает предпосылку корректного сравнения групп и может смещать оценку эффекта.Разбор
Если группы не соответствуют ожидаемому разбиению, это часто значит, что в эксперимент попали разные типы пользователей или часть трафика/событий пропала. Тогда даже «красивый» эффект может быть артефактом. Поэтому при обнаружении SRM (Sample Ratio Mismatch) обычно сначала чинят причину и только потом доверяют результатам.
Проверь себя · 1/3разбор после ответа
Команда смотрит результаты каждый день и останавливает эксперимент, как только видит p-value < 0.05. Какой основной риск такого подхода?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B‑эксперимент и хочет сначала запустить `A/A test`. Какова главная цель `A/A test`?
- Что такое `SRM` (Sample Ratio Mismatch) (`sample ratio mismatch`) в контексте экспериментов?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →