Вы хотите оценить средний чек за неделю для всех пользователей продукта. У вас есть данные по 5% пользователей, отобранных случайно. Что в этой задаче является генеральной совокупностью?
Систематическая ошибка выборки, survivorship bias, selection bias — источники смещения, которые превращают любой анализ в мусор. На собеседовании дают кейс и просят найти, где может возникнуть смещение. Понимание этой темы показывает, способен ли аналитик критически мыслить о данных, а не просто считать метрики.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1Вы хотите оценить средний чек за неделю для всех пользователей продукта. У вас есть данные по 5% пользователей, отобранных случайно. Что в этой задаче является генеральной совокупностью?
AВсе пользователи продукта за неделю, для которых вы хотите сделать вывод о среднем чеке
BТолько 5% пользователей, которые случайно попали в выборку и по которым считают оценку
CТолько пользователи, которые совершили хотя бы одну покупку за рассматриваемую неделю
DТолько пользователи, которые заходили в приложение каждый день из рассматриваемой недели
Ответ: Генеральная совокупность — это вся группа, про которую вы делаете вывод, а выборка — наблюдаемая часть.
Если цель — понять средний чек всех пользователей, то генеральная совокупность — это именно все пользователи, а не только те, кто попал в выборку. Выборка — это 5% случайно выбранных пользователей, по которым вы оцениваете параметр совокупности. Подмножества «только покупатели» или «только активные каждый день» — это уже другие совокупности и другие задачи. Типичная ошибка — считать выборку и генеральную совокупность одним и тем же и забывать про ограничения покрытия.
2Вы измерили NPS только у iOS-пользователей через опрос внутри приложения и хотите распространить результат на всех пользователей. Какой риск здесь ключевой?
AЭто ошибка выживших: пользователи `iOS` дольше остаются в продукте, поэтому их ответы более показательны для всех
BЭто чистая ошибка измерения: метрика `NPS` по своей природе шумит из-за шкалы и формулировок вопросов опроса
CРиска нет: аудитории `iOS` и `Android` обычно совпадают по поведению и доходу, поэтому экстраполяция допустима
DНарушена репрезентативность: выборка по `iOS` может не отражать поведение всей аудитории на других платформах
Ответ: Если выборка покрывает только часть аудитории, страдает репрезентативность относительно всей генеральной совокупности.
Опрос внутри `iOS`-приложения охватывает только пользователей одной платформы, и если их состав по доходу, возрасту, странам или продуктовому поведению отличается от `Android`-пользователей, выборка не репрезентативна для всей аудитории. Распространять `NPS` на всех — систематическая ошибка обобщения. Это не survivorship bias (нет «выживших» и «не выживших»). Утверждение, что аудитории `iOS` и `Android` совпадают по поведению и доходу, эмпирически неверно для большинства продуктов. Шкала `NPS` сама по себе не идеальна, но это отдельная тема.
3Вы выложили ссылку на опрос в соцсетях и получили ответы в основном от людей с сильным недовольством продуктом. Какое смещение наиболее вероятно?
AЭто ошибка выживших: отвечают только те, кто остался активным пользователем продукта
BЭто ошибка измерения: ответы субъективны и зависят от формулировок вопросов опроса
CЭто репрезентативная случайная выборка: ответы реальные и отражают мнение всех пользователей
DЭто ошибка отбора: участие добровольное и зависит от мотивации, выборка смещена самоотбором
Ответ: При добровольных опросах часто возникает ошибка отбора из-за самоотбора недовольных пользователей.
Когда вероятность попасть в выборку зависит от отношения к продукту, она становится смещённой. Недовольные пользователи чаще тратят время на ответ, и итоговые оценки могут систематически занижать удовлетворённость в генеральной совокупности. Типичная ошибка — интерпретировать такой опрос как «мнение всех пользователей» без поправок на самоотбор.
4Аналитик посчитал средний доход на пользователя только среди тех, кто остался активным до 30-го дня, и сделал вывод о среднем доходе всех новичков. Какое смещение здесь наиболее характерно?
AЭто ошибка выжившего: из анализа исключены пользователи, которые ушли до 30-го дня, а они систематически отличаются от оставшихся
BЭто ошибка отбора: пользователей выбрали случайно, поэтому смещения по среднему доходу здесь не возникает
CЭто ошибка измерения: доход всегда измеряется с шумом, и из-за этого средняя оценка по выборке оказывается смещённой
DЭто ошибка определения генеральной совокупности, но смещения оценки среднего дохода в этом случае не возникает
Ответ: Ошибка выжившего возникает, когда анализируют только «выживших» пользователей и игнорируют тех, кто выбыл из выборки.
Пользователи, дожившие до 30-го дня, обычно отличаются от тех, кто ушёл раньше: они могут быть более вовлечёнными и платежеспособными. Поэтому средний доход по «выжившим» завышает оценку для всей генеральной совокупности новичков. Типичная ловушка — строить метрики на условной подвыборке и выдавать их как общие.
5В опросе пользователи систематически занижают свой доход. Как лучше всего описать проблему в терминах качества данных?
AЭто повышает репрезентативность ответов: односторонние ошибки разных пользователей взаимно компенсируются при усреднении
BЭто смещение выживших: бедные респонденты отвечают чаще остальных, и поэтому общее среднее по выборке смещается вниз
CЭто систематическая ошибка измерения, которая смещает оценку среднего вниз даже на хорошей и большой репрезентативной выборке
DЭто устраняет смещение из-за самоотбора: ответы становятся более одинаковыми, и распределение дохода в выборке выравнивается
Ответ: Систематический `measurement error` приводит к смещению оценки, а не только к шуму.
Если все пользователи в опросе систематически занижают доход (например, из-за желания казаться скромнее или страха налоговых вопросов), это measurement bias — систематическая ошибка измерения. Она смещает оценку даже на идеально репрезентативной выборке: выборочная статистика отклоняется от истинного значения в одну сторону. Survivorship bias предполагает разный отклик у бедных и богатых, что здесь не сказано. Ошибки измерения от разных пользователей не компенсируются, если они односторонние. И уж точно занижение дохода не устраняет smapling bias.