В целом метрика в варианте B выросла, но в разрезе iOS и Android она падает в обоих сегментах. Что это чаще всего подсказывает и что стоит проверить?
AЭто доказывает баг в статистике; любые разрезы нельзя использовать
BЭто означает, что
SRM (Sample Ratio Mismatch) автоматически отсутствует, раз общий эффект положительныйCВозможен эффект смешения сегментов (например, разный состав трафика); нужно проверить распределение пользователей по сегментам и корректность агрегации
DНужно просто смотреть только общий эффект и никогда не открывать разрезы
Правильный ответ. Противоречие между общим эффектом и эффектами в сегментах часто означает смещение состава или некорректную агрегацию.
Разбор
Если доли сегментов в вариантах отличаются, общий результат может быть «искусственным» за счёт перераспределения аудитории. В таких случаях важно проверить распределение платформ, источников трафика и других ключевых признаков, а также убедиться, что метрики агрегируются одинаково. Иногда помогает стратификация или анализ по заранее заданным сегментам. Это может быть проявлением эффекта смешения (например, парадокса Симпсона).
Проверь себя · 1/3разбор после ответа
После успешного эксперимента вы делаете full rollout, но оставляете небольшой
holdout (группа, удержанная от изменений). Зачем это обычно делают?Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B‑эксперимент и хочет сначала запустить `A/A test`. Какова главная цель `A/A test`?
- Что такое `SRM` (Sample Ratio Mismatch) (`sample ratio mismatch`) в контексте экспериментов?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →