В A/A test вы заметили значимое отличие по invariant metrics, например по числу пользователей, попавших в эксперимент, или по распределению платформ. Что это чаще всего означает?
AАудитория «улучшилась» сама по себе, значит фича работает
BЕсть проблема в разбиении или измерениях: варианты неэквивалентны, тест невалиден.
CЭто нормально, потому что
invariant metrics не влияют на выводыDНужно просто увеличить выборку, и различие обязательно исчезнет
Правильный ответ. Отклонение
invariant metrics в A/A test обычно сигнализирует о проблеме в данных или рандомизации.Разбор
Invariant metrics должны оставаться одинаковыми, потому что продукт и логика одинаковы в обоих вариантах. Если они различаются, значит, в группы попали разные типы пользователей или часть данных теряется несимметрично. В этом случае лучше остановиться и починить разбиение/трекинг до запуска настоящего A/B.
Проверь себя · 1/3разбор после ответа
Какое поведение p-value вы ожидаете увидеть в корректном
A/A test, если проводить много независимых прогонов?Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B‑эксперимент и хочет сначала запустить `A/A test`. Какова главная цель `A/A test`?
- Что такое `SRM` (Sample Ratio Mismatch) (`sample ratio mismatch`) в контексте экспериментов?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →