Выборка и смещение: вопросы для собеседования (часть 3)

Если закрытые фонды закрывались из-за плохих результатов, их исключение делает оставшуюся выборку более успешной, чем была вся совокупность фондов на старте. Это и есть ошибка выживших — частный случай смещения отбора. Типичная ловушка — принимать такие оценки как «истинные исторические результаты рынка» без учёта выбывших участников и их вклада в общую картину.

Survivorship bias возникает, когда анализ ведётся только по объектам, дожившим до момента наблюдения: успешные фонды, открытые компании, активные клиенты. Без закрытых и ушедших объектов средние и медианы метрик систематически завышены. Лекарство — собирать полную панель за период по единому правилу включения, фиксируя дату появления и ухода. Только активные или только лучшие — это сам survivorship bias в чистом виде. Только последний месяц — отдельная проблема (короткое окно), но не лекарство от ошибки выжившего.

Если вы знаете, что конкретный признак (например VIP) пере- или недопредставлен, можно использовать пост-стратификационные веса и восстановить доли как во всей аудитории. Это снижает смещение по этому признаку, хотя не гарантирует устранение всех причин смещения отбора. Типичная ошибка — игнорировать перекос состава и интерпретировать ответы как репрезентативные по всей базе.

Когда выборка перекошена по важной характеристике (платформа), оценки сводятся к группе с гипертрофированной долей. Стандартный приём — стратифицированный отбор или квоты при сборе, либо взвешивание `inverse probability` на этапе расчёта: вес каждого наблюдения обратно пропорционален вероятности его попадания в выборку, и средние возвращаются к долям популяции. Сужение до одной платформы и игнорирование платформ при разном поведении дают смещённые оценки. Поправка на доход или возраст без учёта платформы — поправка не на тот фактор.

Подписчики на рассылку — это подмножество пользователей, и они отличаются по вовлечённости и мотивации. Поэтому метрики по ним могут систематически отличаться от метрик по всей базе. Типичная ловушка — путать доступный список для отбора с реальной генеральной совокупностью. Это не ошибка измерения и не эффект выживших, и проблему не решает большой размер списка: если рамка отбора не покрывает всю популяцию, смещение остаётся при любом объёме.