Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
AПроверить, что разбиение трафика, сбор метрик и пайплайн анализа не создают ложных различий между одинаковыми вариантами
BЗаранее оценить эффект будущей фичи на основной метрике и сократить требуемый размер выборки на основном A/B-тесте
CПроверить устойчивость метрики к разным определениям активного пользователя по числу сессий и продолжительности окна
DСэкономить трафик на основном тесте за счёт переиспользования наблюдений из подготовительной фазы при анализе
Правильный ответ. A/A-тест используют, чтобы проверить корректность рандомизации, сбора событий и расчёта метрик до запуска настоящего A/B.
Разбор
В A/A-тесте оба варианта логически одинаковые, поэтому существенных различий в метриках быть не должно. Если различия появляются, это часто указывает на проблемы с разбиением трафика, сегментацией или подсчётом метрик. Такой тест помогает поймать ошибки до запуска настоящего A/B, где иначе можно принять баг за реальный эффект. Утверждения про «выбрать победителя без статистики» или «уменьшить дисбаланс выборок третьим вариантом» — типичные ошибки в постановке.
Проверь себя · 1/3разбор после ответа
Команда смотрит результаты каждый день и останавливает эксперимент, как только видит p-value < 0.05. Какой основной риск такого подхода?
Ещё вопросы по теме «QA, SRM и раскатка»
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- В A/A-тесте вы заметили значимое отличие по инвариантным метрикам — например, по числу пользователей в эксперименте или по распределению платформ. Что это чаще всего означает?
- Все вопросы по «QA, SRM и раскатка» →