Вы обнаружили SRM (Sample Ratio Mismatch): фактическое распределение трафика 47/53 вместо ожидаемых 50/50, и тест на sample ratio mismatch показывает сильную значимость. Какой следующий шаг наиболее полезен для диагностики?
AРазбить счётчики по платформе, версии, источнику трафика и точкам assignment, чтобы локализовать место перекоса
BНемедленно выкатывать победивший вариант, потому что статистика уже «значима»
CЗаменить целевую метрику на другую и продолжить эксперимент без изменений
DИгнорировать
SRM (Sample Ratio Mismatch), если целевая метрика показывает ростПравильный ответ. При
SRM (Sample Ratio Mismatch) важно локализовать источник перекоса: разрезы + проверка всей цепочки assignment обычно дают самый быстрый сигнал.Разбор
Сам факт SRM (Sample Ratio Mismatch) говорит, что что-то пошло не так с трафиком или включением в эксперимент. Разрезы по платформам и версиям часто быстро показывают, где перекос сильнее всего, а значит — где искать причину. Параллельно важно проверить, что ключ assignment одинаков на всех шагах и что фильтры включения не зависят от варианта.
Проверь себя · 1/3разбор после ответа
В
A/A test вы заметили значимое отличие по invariant metrics, например по числу пользователей, попавших в эксперимент, или по распределению платформ. Что это чаще всего означает?Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B‑эксперимент и хочет сначала запустить `A/A test`. Какова главная цель `A/A test`?
- Что такое `SRM` (Sample Ratio Mismatch) (`sample ratio mismatch`) в контексте экспериментов?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →