Эксперимент длился 2 дня и пришёлся только на выходные, а в будни поведение заметно другое. Какой риск наиболее важен?
AРиск
SRM, потому что в выходные всегда другой сплит группBРиск
peeking, потому что два дня — это слишком малоCРиск
seasonality: результат может не переноситься на обычную неделю и может быть смещён календарным эффектомDРиск
rollout, потому что выкатывать можно только по понедельникамПравильный ответ. Короткий тест на «особые» дни может быть искажен
seasonality и плохо переноситься на другие периоды.Разбор
В выходные меняется состав трафика и сценарии использования, поэтому эффект может отличаться от будней. Это и есть риск seasonality: вы измеряете не только влияние фичи, но и календарный контекст. Обычно эксперимент планируют так, чтобы покрыть типичный цикл (например, неделю) или как минимум сопоставимые дни недели.
Проверь себя · 1/3разбор после ответа
В тесте
primary metric растёт, но guardrail metric по ошибкам и крэшам ухудшается. Какое действие наиболее корректно?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →