Вы тестируете ценовой баннер, но на неделе эксперимента прошла распродажа, сильно влияющая на конверсию. Что поможет корректнее оценить эффект с учётом сезонности и нормализации?
AСравнивать только абсолютные значения конверсии в варианте B без контрольной группы, ориентируясь на динамику продаж в период распродажи
BСравнивать вариант с контролем в те же даты, использовать нормализованные метрики (например, на пользователя) и проверять стабильность эффекта по дням
CУбрать дни распродажи только из экспериментальной группы, чтобы «очистить» эффект и оставить контрольной группе исходные данные за неделю
DИгнорировать распродажу полностью, если основная метрика эксперимента значимо выросла относительно контрольной группы за неделю
Правильный ответ. Контроль по тем же датам и нормализация помогают отделить эффект фичи от внешних событий и сезонности.
Разбор
Распродажа меняет поведение пользователей и базовый уровень конверсии, поэтому важно сравнивать варианты синхронно, а не с разными периодами. Нормализованные метрики снижают влияние колебаний трафика и активности. Дополнительно полезно смотреть динамику по дням, чтобы понять, не «рисует» ли эффект один особый день. Удаление дней только из тестовой группы или игнорирование распродажи приведёт к смещённой оценке.
Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →