Команда переместила кнопку оформления заказа в новое место на странице. В первую неделю конверсия в тестовой группе упала на 8%, но через месяц стала на 3% выше контроля. Что лучше всего объясняет динамику метрик?
AМетрики отражают реальное ухудшение продукта, и от нового расположения нужно отказаться
BЧасть падения объясняется эффектом привыкания: пользователи привыкли к старому расположению и ищут кнопку на прежнем месте
CПадение метрик означает баг в реализации нового расположения кнопки в тестовой группе
DСтатистическая значимость низкая, потому что прошла только одна неделя тестирования
Правильный ответ. Эффект привыкания (primacy effect) — временное падение метрик, когда пользователи привыкли к старому интерфейсу.
Разбор
Эффект привыкания (primacy effect) — противоположность эффекта новизны. Пользователи привыкли к определённому расположению элементов и при изменении теряются. Метрики временно падают, но по мере привыкания к новому дизайну восстанавливаются и могут даже вырасти. Поэтому тест нужно держать достаточно долго, чтобы оба эффекта затухли.
Проверь себя · 1/3разбор после ответа
Что в первую очередь даёт
randomization в A/B test?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →