Вы обнаружили SRM (sample ratio mismatch — несоответствие долей выборки): фактическое распределение трафика 47/53 вместо ожидаемых 50/50, и тест на SRM показывает сильную значимость. Какой следующий шаг наиболее полезен для диагностики?
AРазбить счётчики по платформе, версии, источнику трафика и точкам распределения, чтобы локализовать место перекоса в назначении
BСразу выкатить вариант с лучшим значением целевой метрики на всех пользователей, не разбираясь с причиной перекоса распределения
CЗаменить целевую метрику на ту, по которой эффект между группами оказался крупнее, и продолжить эксперимент без пересчёта дизайна
DПринять текущий перекос как допустимый и интерпретировать оценку эффекта по основной метрике без проверки источника несоответствия
Правильный ответ. При
SRM важно локализовать источник перекоса: разрезы по сегментам и проверка всей цепочки распределения обычно дают самый быстрый сигнал.Разбор
Сам факт SRM говорит, что что-то пошло не так с трафиком или включением в эксперимент. Разрезы по платформам и версиям часто быстро показывают, где перекос сильнее всего, а значит — где искать причину. Параллельно важно проверить, что ключ распределения одинаков на всех шагах и что фильтры включения не зависят от варианта. Игнорировать перекос или менять метрику посреди теста — типичные ошибки, которые делают результат непригодным для решения.
Проверь себя · 1/3разбор после ответа
Вы запустили A/A тест и получили статистически значимую разницу по ключевой метрике. Что правильнее всего сделать перед запуском A/B?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →