Эксперимент длился 2 дня и пришёлся только на выходные, а в будни поведение пользователей заметно другое. Какой риск наиболее важен?

AРиск нарушения сплита: выходные якобы всегда дают неравное распределение пользователей по группам
BРиск преждевременного просмотра промежуточных результатов из-за слишком короткого периода наблюдений
CРиск сезонности: эффект может не переноситься на обычную неделю и быть смещён календарным контекстом
DРиск раскатки фичи: считается, что выкатывать новые версии можно только в начале рабочей недели
Правильный ответ. Короткий тест на «особые» дни недели может быть искажён сезонностью и плохо переноситься на обычные периоды.

Разбор

В выходные меняется состав трафика и сценарии использования, поэтому эффект может отличаться от будней. Это и есть риск сезонности: вы измеряете не только влияние фичи, но и календарный контекст. Обычно эксперимент планируют так, чтобы покрыть типичный цикл (например, целую неделю) или хотя бы сопоставимые дни недели в обеих группах. Нарушение сплита, преждевременные выводы и правила раскатки — это другие проблемы, не связанные напрямую с днём недели.

Проверь себя · 1/3разбор после ответа
Вы подозреваете SRM: в тестовой группе меньше пользователей, чем ожидалось, и перекошены платформы. Что уместнее всего проверить в первую очередь?
Тренировать продукт в Telegram

Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»