Вы оцениваете вероятность клика по карточке товара, используя только показы, которые алгоритм рекомендаций решил показать пользователю. Почему такая оценка может быть смещена?
AПотому что это всегда
survivorship bias и он не зависит от алгоритмаBПотому что
measurement error неизбежен в кликахCПотому что есть
selection bias: попадание в sample показов зависит от признаков и ожиданий алгоритма, связанных с кликомDПотому что
population показов равна только показам из алгоритмаПравильный ответ. Если механизм отбора в
sample зависит от исхода, возникает selection bias, и причинные выводы могут стать некорректными.Разбор
Алгоритм чаще показывает то, что считает релевантным, а значит sample показов не случайный. Тогда оценка кликабельности будет отражать не только качество карточки, но и правила отбора, и может быть завышена. Для корректного сравнения нужен эксперимент или данные со случайными показами. Типичная ошибка — считать, что наблюдаемые показы представляют всю population возможных показов.
Проверь себя · 1/3разбор после ответа
Вы измеряете удовлетворённость поддержкой и отправляете опрос только пользователям, у которых тикет закрыт статусом 'resolved'. Какой bias наиболее вероятен?
Ещё вопросы по теме «Выборка и смещение»
- Вы хотите оценить средний чек за неделю для всех пользователей продукта. У вас есть данные по 5% пользователей, отобранных случайно. Что в этой задаче является `population`?
- Вы измерили NPS только у iOS-пользователей через in-app опрос и хотите распространить результат на всех пользователей. Какой риск здесь ключевой?
- Вы выложили ссылку на опрос в соцсетях и получили ответы в основном от людей с сильным недовольством продуктом. Какое смещение наиболее вероятно?
- Аналитик посчитал средний доход на пользователя только среди тех, кто остался активным до 30-го дня, и сделал вывод о среднем доходе всех новичков. Какой bias здесь наиболее характерен?
- В опросе пользователи систематически занижают свой доход. Как лучше всего описать проблему в терминах качества данных?
- Все вопросы по «Выборка и смещение» →