Команда социальной сети тестирует новый алгоритм рекомендаций. Пользователи рандомизированы индивидуально. Тестовая группа делает на 20% больше репостов, но и в контрольной группе репосты выросли на 8%. Что наиболее вероятно произошло?
AДействия пользователей тестовой группы влияют на пользователей контрольной через общую ленту рекомендаций
BВыборка слишком маленькая для обнаружения статистически значимого эффекта в социальной сети
CРандомизация прошла некорректно и в тестовую группу попали более активные пользователи
DМетрика конверсии не подходит для оценки алгоритма рекомендаций в социальной сети
Правильный ответ. Сетевой эффект: действия одной группы влияют на другую через общий контент, лайки и репосты.
Разбор
Когда пользователи взаимодействуют друг с другом (соцсети, маркетплейсы, мессенджеры), индивидуальная рандомизация нарушает предположение о независимости групп. Репосты пользователей тестовой группы попадают в ленты контрольной — метрики контроля загрязняются. Решение — рандомизация кластерами: город, регион или социальный граф.
Проверь себя · 1/3разбор после ответа
Компания тестирует новый дашборд для менеджеров по продажам. Тестовой группе сообщили, что они участвуют в эксперименте по повышению эффективности. Продажи в тестовой группе выросли на 12%. Что может искажать результат?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →