Какой из вариантов является наиболее типичной причиной SRM (Sample Ratio Mismatch) в продакшн‑экспериментах?
AСлишком длительный эксперимент: при долгом сборе данных распределение трафика всегда смещается, и доли вариантов перестают совпадать сами по себе
BСлишком маленький ожидаемый эффект по основной метрике: если разница между вариантами небольшая, распределение пользователей становится несимметричным
CОшибка
assignment: часть пользователей не получает назначенный вариант из-за фильтров, платформы, кэша или разных ключей разбиения в разных сервисахDИспользование относительной метрики вместо абсолютной: при делении одной величины на другую доли пользователей по вариантам автоматически меняются
Правильный ответ.
SRM чаще всего возникает из-за ошибок в assignment и несогласованного разбиения по разным ключам в разных частях системы.Разбор
Например, часть трафика может отваливаться из эксперимента на одном из шагов: в фича‑флаге, на клиенте, в сервисе или в сборе событий. Также SRM (Sample Ratio Mismatch) появляется, если разбиение делается по разным ключам (user_id vs device_id) в разных местах. Поэтому при SRM (Sample Ratio Mismatch) важно проверять всю цепочку доставки варианта и критерии включения.
Проверь себя · 1/3разбор после ответа
Вы запустили A/A тест и получили статистически значимую разницу по ключевой метрике. Что правильнее всего сделать перед запуском A/B?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →