Команда переместила кнопку оформления заказа в новое место на странице. В первую неделю конверсия в тестовой группе упала на 8%, но через месяц стала на 3% выше контроля. Что лучше всего объясняет динамику метрик?
AМетрики отражают реальное ухудшение продукта: от нового расположения кнопки нужно отказаться
BЧасть падения объясняется неприятием изменений: пользователи привыкли к старой позиции кнопки
CПадение метрик означает баг в реализации нового расположения кнопки в тестовой группе
DСтатистическая значимость низкая: прошла только одна неделя, и эффект ещё не проявился
Правильный ответ. Неприятие изменений (change aversion) — временное падение метрик, когда пользователи привыкли к старому интерфейсу.
Разбор
Неприятие изменений (change aversion) — временный негативный эффект от смены интерфейса. Пользователи привыкли к определённому расположению элементов и при изменении теряются. Метрики временно падают, но по мере привыкания к новому дизайну восстанавливаются и могут даже вырасти. Поэтому тест нужно держать достаточно долго, чтобы и неприятие изменений, и эффект новизны затухли.
Проверь себя · 1/3разбор после ответа
Тест нового онбординга: через месяц средний чек оставшихся пользователей тестовой группы на 25% выше контроля. Но retention в тестовой группе на 10% ниже — больше пользователей ушли. Что не так с выводом о росте среднего чека?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →