Аналитик посчитал средний доход на пользователя только среди тех, кто остался активным до 30-го дня, и сделал вывод о среднем доходе всех новичков. Какое смещение здесь наиболее характерно?
AЭто ошибка выжившего: из анализа исключены пользователи, которые ушли до 30-го дня, а они систематически отличаются от оставшихся
BЭто ошибка отбора: пользователей выбрали случайно, поэтому смещения по среднему доходу здесь не возникает
CЭто ошибка измерения: доход всегда измеряется с шумом, и из-за этого средняя оценка по выборке оказывается смещённой
DЭто ошибка определения генеральной совокупности, но смещения оценки среднего дохода в этом случае не возникает
Правильный ответ. Ошибка выжившего возникает, когда анализируют только «выживших» пользователей и игнорируют тех, кто выбыл из выборки.
Разбор
Пользователи, дожившие до 30-го дня, обычно отличаются от тех, кто ушёл раньше: они могут быть более вовлечёнными и платежеспособными. Поэтому средний доход по «выжившим» завышает оценку для всей генеральной совокупности новичков. Типичная ловушка — строить метрики на условной подвыборке и выдавать их как общие.
Проверь себя · 1/3разбор после ответа
Вы случайно отбираете для анализа не пользователей, а сессии (каждая сессия равновероятна попасть в выборку). Какой риск возникает для оценки среднего числа сессий на пользователя?
Ещё вопросы по теме «Выборка и смещение»
- Вы хотите оценить средний чек за неделю для всех пользователей продукта. У вас есть данные по 5% пользователей, отобранных случайно. Что в этой задаче является генеральной совокупностью?
- Вы измерили NPS только у iOS-пользователей через опрос внутри приложения и хотите распространить результат на всех пользователей. Какой риск здесь ключевой?
- Вы выложили ссылку на опрос в соцсетях и получили ответы в основном от людей с сильным недовольством продуктом. Какое смещение наиболее вероятно?
- В опросе пользователи систематически занижают свой доход. Как лучше всего описать проблему в терминах качества данных?
- В email-опросе ответили 8% пользователей, и среди ответивших сильно больше VIP-клиентов, чем во всей аудитории. Какой шаг наиболее уместен, чтобы снизить смещение отбора по известным признакам?
- Все вопросы по «Выборка и смещение» →