Вы запустили A/A test и получили статистически значимую разницу по ключевой метрике. Что правильнее всего сделать перед запуском A/B?
AСразу запускать A/B: разница доказывает, что система работает
BИгнорировать результат: в
A/A test значимость бывает всегдаCОстановить и искать причину (рандомизация,
logging, сегментация), потому что пайплайн даёт ложные эффектыDСменить целевую метрику на любую другую и продолжить без проверок
Правильный ответ. Значимый эффект в
A/A test — красный флаг: пайплайн может создавать ложные эффекты.Разбор
В A/A test эффект должен быть близок к нулю, а значимость должна появляться редко и случайно. Стабильное или большое различие обычно означает проблему: разные аудитории в вариантах, потерю событий, дубли, неверные фильтры включения. Если не исправить это, A/B может показать «победителя» из-за бага, а не из-за продукта.
Проверь себя · 1/3разбор после ответа
После релиза вы увидели неожиданный рост конверсии, но подозреваете, что событие конверсии отправляется дважды. Какой признак лучше всего проверяет гипотезу о дублях?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B‑эксперимент и хочет сначала запустить `A/A test`. Какова главная цель `A/A test`?
- Что такое `SRM` (Sample Ratio Mismatch) (`sample ratio mismatch`) в контексте экспериментов?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →