Эксперимент длился 2 дня и пришёлся только на выходные, а в будни поведение пользователей заметно другое. Какой риск наиболее важен?
AРиск нарушения сплита: выходные якобы всегда дают неравное распределение пользователей по группам
BРиск преждевременного просмотра промежуточных результатов из-за слишком короткого периода наблюдений
CРиск сезонности: эффект может не переноситься на обычную неделю и быть смещён календарным контекстом
DРиск раскатки фичи: считается, что выкатывать новые версии можно только в начале рабочей недели
Правильный ответ. Короткий тест на «особые» дни недели может быть искажён сезонностью и плохо переноситься на обычные периоды.
Разбор
В выходные меняется состав трафика и сценарии использования, поэтому эффект может отличаться от будней. Это и есть риск сезонности: вы измеряете не только влияние фичи, но и календарный контекст. Обычно эксперимент планируют так, чтобы покрыть типичный цикл (например, целую неделю) или хотя бы сопоставимые дни недели в обеих группах. Нарушение сплита, преждевременные выводы и правила раскатки — это другие проблемы, не связанные напрямую с днём недели.
Проверь себя · 1/3разбор после ответа
Вы подозреваете SRM: в тестовой группе меньше пользователей, чем ожидалось, и перекошены платформы. Что уместнее всего проверить в первую очередь?
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →