Эксперимент длился 2 дня и пришёлся на выходные, а обычно в выходные конверсия выше. Как правильнее учитывать seasonality при выводах?
AЗапускать тест так, чтобы покрыть полный недельный цикл, или сравнивать одинаковые дни недели между группами
BИгнорировать
seasonality, потому что есть контрольная группаCСравнивать только один день с самым большим трафиком
DСчитать, что
seasonality относится только к выручке, а не к конверсииПравильный ответ.
seasonality может менять базовый уровень метрик по дням недели и событиям, поэтому дизайн и интерпретация должны это учитывать.Разбор
Даже при наличии контроля короткий тест на «особые» дни может давать нестабильные выводы, потому что поведение в разные дни различается. Практика — запускать эксперимент на период, покрывающий типичный цикл спроса, например неделю, или анализировать сопоставимые дни недели. Так меньше риск принять решение из-за календарного эффекта, а не из-за изменения продукта.
Проверь себя · 1/3разбор после ответа
Вы меняете текст про доставку на чекауте;
primary metric — конверсия в заказ. Какую метрику логичнее поставить как guardrail metrics, чтобы контролировать риск для бизнеса?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Все вопросы по «Метрики и guardrail-метрики» →