Выборка и смещение: вопросы для собеседования (часть 2)

Даже при случайном отборе внутри базы вы не получите репрезентативность для тех, кого в базе нет. Это ограничение покрытия, которое может приводить к смещённым выводам. Типичная ловушка — воспринимать доступный список как полную генеральную совокупность и не замечать, кого он исключает. Это не ошибка измерения и не эффект выживших: проблема именно в неполноте рамки отбора (`sampling frame`).

Пользователи с большим числом сессий чаще попадают в выборку — это классическое смещение по единице наблюдения (size-biased sampling). Если цель оценки — среднее по пользователям, нужно отбирать пользователей или корректировать веса обратно пропорционально активности. Типичная ловушка — считать, что «случайная» выборка автоматически репрезентативна для любой метрики; репрезентативность всегда определяется относительно конкретной единицы и метрики. Систематическая ошибка выживания и ошибка измерения здесь ни при чём.

Если опрос отправляют только пользователям с тикетами в статусе `resolved`, в выборку не попадают те, у кого тикет завис в очереди, был эскалирован или закрыт без решения. Это selection bias: правило отбора систематически связано с предметом измерения (удовлетворённостью). Survivorship bias — частный случай selection bias, но в данной формулировке точнее именно selection: статус `resolved` — это критерий включения, а не «доживание до конца». Неточные формулировки — другой класс проблем. Гипотеза, что успешные реже отвечают, не подкреплена контекстом и противоречит обычному паттерну.

Если ошибка измерения симметрична и в среднем равна нулю, то среднее значение не смещается, но становится менее точным из-за большей дисперсии. На практике это ухудшает доверительные интервалы и снижает чувствительность анализов. Типичная ошибка — путать случайный шум и систематическую ошибку, которая действительно смещает оценки. Смещение отбора и репрезентативность выборки — это другие явления, не связанные с симметричной случайной ошибкой.

Рандомизация работает только тогда, когда обе группы имеют доступ к функции одинаково. Если функция доступна только обновившимся, а активные обновляются быстрее — в тестовой группе систематически больше активных пользователей, и разница в метриках частично объясняется составом, а не эффектом фичи. Первый шаг — сравнить состав групп по активности, поведенческим сегментам, версии приложения и другим срезам, чтобы понять масштаб смещения. Прыгать сразу к `p-value` бессмысленно при подозрении на disbalance. Удаление активных пользователей выкинет нужную аудиторию и не решит проблему.