Компания тестирует новый дашборд для менеджеров по продажам. Тестовой группе сообщили, что они участвуют в эксперименте по повышению эффективности. Продажи в тестовой группе выросли на 12%. Что может искажать результат?
AНовый дашборд действительно мотивирует менеджеров работать эффективнее на постоянной основе
BМенеджеры стали работать лучше, потому что знают об участии в эксперименте, а не из-за самого дашборда
CРост продаж объясняется сезонностью, совпавшей с периодом проведения эксперимента
DРазмер тестовой группы слишком мал, и результат статистически незначим для таких выводов
Правильный ответ. Хоторнский эффект: люди меняют поведение, когда знают, что за ними наблюдают.
Разбор
Хоторнский эффект (Hawthorne effect) — изменение поведения участников из-за осознания того, что они находятся под наблюдением. Менеджеры могли стараться сильнее не благодаря дашборду, а потому что знали об эксперименте. В идеале участники не должны знать о своём участии в тесте. Если это невозможно — контрольной группе тоже сообщают об «эксперименте» (плацебо-контроль).
Проверь себя · 1/3разбор после ответа
Вместо случайной рандомизации команда отправила новую версию всем пользователям iOS, а старую оставила на Android. Через месяц конверсия iOS-группы на 30% выше. Можно ли доверять этому результату?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →