Тест запущен в понедельник и к пятнице набрал нужный размер выборки. Конверсия теста на 8% выше контроля, p-value = 0.01. Аналитик предлагает продлить тест до следующего понедельника. Зачем?
AНужный размер выборки набран, поэтому тест можно остановить и зафиксировать результат
BПяти дней достаточно для любого теста, потому что конверсия стабилизируется после первых 48 часов
CТест нужно продлить минимум до полного бизнес-цикла, потому что поведение в будни и выходные различается
DНужно перезапустить тест, потому что данные за пять рабочих дней содержат систематическую ошибку
Правильный ответ. Тест должен охватывать минимум один полный бизнес-цикл, потому что поведение пользователей различается по дням недели.
Разбор
Покупательское поведение в будни и выходные может сильно отличаться: разный трафик, разная конверсия, разная аудитория. Если тест длился только рабочие дни, результат не учитывает выходных. Эффект, значимый в будни, может исчезнуть в выходные — или наоборот. Минимальная длительность теста — один полный недельный цикл, а для продуктов с месячной периодичностью — один месяц.
Проверь себя · 1/3разбор после ответа
ARPU в контрольной группе равен 200, в тестовой — 210. Как корректно описать абсолютный и относительный эффект?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →