Что такое SRM (Sample Ratio Mismatch) (sample ratio mismatch) в контексте экспериментов?
AСитуация, когда средние значения метрик в вариантах отличаются сильнее ожидаемого
BОтклонение фактических долей трафика по вариантам от ожидаемого распределения
CСезонный эффект, который делает результаты нерепрезентативными
DСлучай, когда p-value слишком маленький из-за большой выборки
Правильный ответ.
SRM (Sample Ratio Mismatch) означает, что в эксперимент попали не те доли пользователей, которые планировались.Разбор
Обычно в эксперименте ожидают распределение вроде 50/50 или 90/10, но фактически получают другое. Это может быть из-за ошибок в assignment, фильтров, сбоев трекинга или особенностей доставки фичи. SRM (Sample Ratio Mismatch) опасен тем, что группы могут стать несопоставимыми, и выводы по эффекту перестают быть надёжными.
Проверь себя · 1/3разбор после ответа
Вариант B показывает заметное падение числа покупок по событиям, но по базе транзакций покупок почти столько же, сколько в A. Что лучше всего сделать, чтобы подтвердить проблему трекинга?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B‑эксперимент и хочет сначала запустить `A/A test`. Какова главная цель `A/A test`?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- В `A/A test` вы заметили значимое отличие по `invariant metrics`, например по числу пользователей, попавших в эксперимент, или по распределению платформ. Что это чаще всего означает?
- Все вопросы по «QA, SRM и раскатка» →