В email-опросе ответили 8% пользователей, и среди ответивших сильно больше VIP-клиентов, чем во всей аудитории. Какой шаг наиболее уместен, чтобы снизить смещение отбора по известным признакам?
AУвеличить уровень значимости и признать выводы значимыми: иначе тест выходит слишком консервативным
BСчитать результат валидным как есть: 8% ответов это много, и смещением состава можно пренебречь без последствий
CПрименить стратификацию или взвешивание ответов: доли VIP и не-VIP в оценке соответствуют структуре аудитории
DУдалить из выборки все ответы VIP-клиентов: они мешают оценке среднего ответа по остальной аудитории
Правильный ответ. Взвешивание и стратификация помогают приблизить выборку к структуре всей аудитории по известным признакам.
Разбор
Если вы знаете, что конкретный признак (например VIP) пере- или недопредставлен, можно использовать пост-стратификационные веса и восстановить доли как во всей аудитории. Это снижает смещение по этому признаку, хотя не гарантирует устранение всех причин смещения отбора. Типичная ошибка — игнорировать перекос состава и интерпретировать ответы как репрезентативные по всей базе.
Проверь себя · 1/3разбор после ответа
Аналитик оценивает удержание по списку подписчиков на рассылку и делает выводы про всех пользователей продукта. В чём основная проблема такого подхода?
Ещё вопросы по теме «Выборка и смещение»
- Вы хотите оценить средний чек за неделю для всех пользователей продукта. У вас есть данные по 5% пользователей, отобранных случайно. Что в этой задаче является генеральной совокупностью?
- Вы измерили NPS только у iOS-пользователей через опрос внутри приложения и хотите распространить результат на всех пользователей. Какой риск здесь ключевой?
- Вы выложили ссылку на опрос в соцсетях и получили ответы в основном от людей с сильным недовольством продуктом. Какое смещение наиболее вероятно?
- Аналитик посчитал средний доход на пользователя только среди тех, кто остался активным до 30-го дня, и сделал вывод о среднем доходе всех новичков. Какое смещение здесь наиболее характерно?
- В опросе пользователи систематически занижают свой доход. Как лучше всего описать проблему в терминах качества данных?
- Все вопросы по «Выборка и смещение» →