В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
AРост в первый день уже надёжный сигнал успеха: стоит сразу выкатывать вариант на 100% без проверки устойчивости эффекта
BЭто явный признак SRM (несбалансированный сплит): нужно пересчитать тест, исключить группу A и считать заново
CЭксперимент сломался: данные после первого дня нужно выбросить и не учитывать в итоговой оценке выкатки
DЭто похоже на эффект новизны: смотреть результаты на длинном горизонте и проверять устойчивость по когортам
Правильный ответ. Краткосрочный всплеск может быть из-за эффекта новизны и календарных факторов, поэтому важно проверять устойчивость эффекта на длинном горизонте.
Разбор
Пользователи могут активно взаимодействовать с новой фичей из любопытства, но затем возвращаются к прежнему поведению. Поэтому важно смотреть не только быстрый рост, но и устойчивость эффекта на неделе или дольше, а также разрезы по новым и старым пользователям. Если долгосрочного эффекта нет, выкатка может не принести реальной пользы. SRM здесь почти ни при чём — это про несбалансированный сплит трафика, а не про затухание эффекта во времени.
Проверь себя · 1/3разбор после ответа
Какое поведение p-value вы ожидаете увидеть в корректном A/A‑тесте, если проводить много независимых прогонов?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В A/A-тесте вы заметили значимое отличие по инвариантным метрикам — например, по числу пользователей в эксперименте или по распределению платформ. Что это чаще всего означает?
- Все вопросы по «QA, SRM и раскатка» →