Компания тестирует новый дашборд для менеджеров по продажам. Тестовой группе сообщили, что они участвуют в эксперименте по повышению эффективности. Продажи в тестовой группе выросли на 12%. Что может искажать результат?
AНовый дашборд действительно мотивирует менеджеров работать эффективнее на постоянной основе
BМенеджеры стали работать лучше, потому что знают об участии в эксперименте, а не из-за самого дашборда
CРост продаж объясняется сезонностью, совпавшей с периодом проведения эксперимента
DРазмер тестовой группы слишком мал, и результат статистически незначим для таких выводов
Правильный ответ. Хоторнский эффект: люди меняют поведение, когда знают, что за ними наблюдают.
Разбор
Хоторнский эффект (Hawthorne effect) — изменение поведения участников из-за осознания того, что они находятся под наблюдением. Менеджеры могли стараться сильнее не благодаря дашборду, а потому что знали об эксперименте. В идеале участники не должны знать о своём участии в тесте. Если это невозможно — контрольной группе тоже сообщают об «эксперименте» (плацебо-контроль).
Проверь себя · 1/3разбор после ответа
Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения
control и treatment?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →