Аналитик оценивает удержание по списку подписчиков на рассылку и делает выводы про всех пользователей продукта. В чём основная проблема такого подхода?
AОшибка измерения: адреса в подписной базе указаны с опечатками, метрика удержания получается искажённой
BЭффект выживших: подписчики активнее обычных пользователей, метрика по ним систематически завышена
CДостаточный размер выборки выше десятка тысяч человек снимает разницу между подписчиками и остальными
DОграничение покрытия: рамка отбора из подписной базы не совпадает с генеральной совокупностью продукта
Правильный ответ. Если рамка отбора не покрывает всю генеральную совокупность, возникает систематическая ошибка отбора из-за неполного покрытия.
Разбор
Подписчики на рассылку — это подмножество пользователей, и они отличаются по вовлечённости и мотивации. Поэтому метрики по ним могут систематически отличаться от метрик по всей базе. Типичная ловушка — путать доступный список для отбора с реальной генеральной совокупностью. Это не ошибка измерения и не эффект выживших, и проблему не решает большой размер списка: если рамка отбора не покрывает всю популяцию, смещение остаётся при любом объёме.
Проверь себя · 1/3разбор после ответа
Аналитик оценивает удержание по списку подписчиков на рассылку и делает выводы про всех пользователей продукта. В чём основная проблема такого подхода?
Ещё вопросы по теме «Выборка и смещение»
- Вы хотите оценить средний чек за неделю для всех пользователей продукта. У вас есть данные по 5% пользователей, отобранных случайно. Что в этой задаче является генеральной совокупностью?
- Вы измерили NPS только у iOS-пользователей через опрос внутри приложения и хотите распространить результат на всех пользователей. Какой риск здесь ключевой?
- Вы выложили ссылку на опрос в соцсетях и получили ответы в основном от людей с сильным недовольством продуктом. Какое смещение наиболее вероятно?
- Аналитик посчитал средний доход на пользователя только среди тех, кто остался активным до 30-го дня, и сделал вывод о среднем доходе всех новичков. Какое смещение здесь наиболее характерно?
- В опросе пользователи систематически занижают свой доход. Как лучше всего описать проблему в терминах качества данных?
- Все вопросы по «Выборка и смещение» →