Команда запустила новый дизайн карточки товара в A/B-тесте. В первые три дня конверсия в тестовой группе на 15% выше, но к концу второй недели разница упала до 2%. Как грамотно учесть эффект новизны?
AПодождать две-три недели и сравнить метрики за период после привыкания с первой неделей
BЗафиксировать результат за первые два дня и принять решение на этих данных
CУвеличить выборку в три раза, чтобы эффект новизны не влиял на статистическую значимость
DПерезапустить тест с новыми пользователями, которые никогда не видели старый дизайн
Правильный ответ. Эффект новизны — временный рост метрик из-за любопытства пользователей к новому интерфейсу.
Разбор
Эффект новизны (novelty effect) возникает, когда пользователи активнее взаимодействуют с изменением просто потому, что оно новое. Через одну-две недели поведение стабилизируется. Грамотный подход — дождаться этой стабилизации и анализировать данные за устойчивый период. Принимать решение по первым дням опасно: эффект может полностью исчезнуть.
Проверь себя · 1/3разбор после ответа
Команда провела AA-тест на 100 000 пользователей. Конверсия в группе A — 4.8%, в группе B — 5.0%, p-value = 0.04. Обе группы видели одну и ту же версию. Как интерпретировать результат?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →