Эксперимент показал сильный рост метрики в выходные, но в будние дни эффект почти исчезает. Какой вывод и следующий шаг наиболее корректны?
AЭто доказывает, что фича работает только по выходным, поэтому можно выкатывать без дополнительных проверок
BЭто значит, что метрика сломана, и эксперимент нужно выбросить целиком без анализа
CЭто всегда
SRM, потому что выходные отличаются от буднейDНужно учесть сезонность и возможный
novelty effect (эффект новизны): дождаться полного цикла (например, недели) и проверить устойчивость эффекта по времени и сегментам.Правильный ответ. Краткосрочные всплески могут быть вызваны сезонностью или
novelty effect (эффект новизны), поэтому важно проверять эффект на полном цикле.Разбор
Поведение пользователей меняется по дням недели, праздникам и маркетинговым активностям, и это может выглядеть как эффект фичи. Также первый контакт с новинкой может дать временный рост, который не сохраняется. Поэтому корректнее собрать данные минимум на один полный цикл и проверить устойчивость эффекта по времени и сегментам перед решением о rollout.
Проверь себя · 1/3разбор после ответа
Вы запустили
A/A test и получили статистически значимую разницу по ключевой метрике. Что правильнее всего сделать перед запуском A/B?Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B‑эксперимент и хочет сначала запустить `A/A test`. Какова главная цель `A/A test`?
- Что такое `SRM` (Sample Ratio Mismatch) (`sample ratio mismatch`) в контексте экспериментов?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →