Команда готовит крупный A/B‑эксперимент и хочет сначала запустить A/A test. Какова главная цель A/A test?
AПроверить, что разбиение, сбор метрик и аналитический пайплайн не создают ложных различий между одинаковыми вариантами
BПовысить конверсию за счёт того, что пользователи видят новую фичу дважды
CСразу выбрать победителя без статистики и доверительных интервалов
DУменьшить
SRM (Sample Ratio Mismatch), добавив третий вариантПравильный ответ.
A/A test используют, чтобы проверить корректность рандомизации, сбора событий и расчёта метрик до запуска настоящего A/B.Разбор
В A/A test оба варианта логически одинаковые, поэтому существенных различий в метриках быть не должно. Если различия появляются, это часто указывает на проблемы с разбиением трафика, сегментацией или подсчётом метрик. Такой тест помогает поймать ошибки до запуска настоящего A/B, где иначе можно принять баг за эффект.
Проверь себя · 1/3разбор после ответа
В
A/A test вы заметили значимое отличие по invariant metrics, например по числу пользователей, попавших в эксперимент, или по распределению платформ. Что это чаще всего означает?Ещё вопросы по теме «QA, SRM и раскатка»
- Что такое `SRM` (Sample Ratio Mismatch) (`sample ratio mismatch`) в контексте экспериментов?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- В `A/A test` вы заметили значимое отличие по `invariant metrics`, например по числу пользователей, попавших в эксперимент, или по распределению платформ. Что это чаще всего означает?
- Все вопросы по «QA, SRM и раскатка» →