Команда запустила новый дизайн карточки товара в A/B-тесте. В первые три дня конверсия в тестовой группе на 15% выше, но к концу второй недели разница упала до 2%. Как грамотно учесть эффект новизны?
AПодождать две-три недели и сравнить метрики за период после привыкания с первой неделей
BЗафиксировать результат за первые два дня и принять решение на этих данных
CУвеличить выборку в три раза, чтобы эффект новизны не влиял на статистическую значимость
DПерезапустить тест с новыми пользователями, которые никогда не видели старый дизайн
Правильный ответ. Эффект новизны — временный рост метрик из-за любопытства пользователей к новому интерфейсу.
Разбор
Эффект новизны (novelty effect) возникает, когда пользователи активнее взаимодействуют с изменением просто потому, что оно новое. Через одну-две недели поведение стабилизируется. Грамотный подход — дождаться этой стабилизации и анализировать данные за устойчивый период. Принимать решение по первым дням опасно: эффект может полностью исчезнуть.
Проверь себя · 1/3разбор после ответа
Вместо случайной рандомизации команда отправила новую версию всем пользователям iOS, а старую оставила на Android. Через месяц конверсия iOS-группы на 30% выше. Можно ли доверять этому результату?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →