Взвешенные средние и смешение: вопросы для собеседования (часть 4)
Взвешенное среднее, Simpson's paradox, некорректное усреднение средних — задачи, где интуиция обманывает. На собеседовании дают два сегмента, в каждом из которых новая версия лучше старой, но в сумме — хуже. Кандидат должен объяснить парадокс и предложить корректный способ сравнения.
Вопросы 16–20 из 20
16У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в ловушку «среднего средних»?
AУсреднить дневные средние поровну, считая каждый день одинаково важным независимо от количества сессий в этот день
BСделать взвешенное среднее дневных средних, где вес каждого дня равен числу сессий в этот день
CСделать взвешенное среднее дневных средних, где вес каждого дня равен общему числу дней в неделе
DВзять максимальное дневное значение средней длительности и зафиксировать его как итоговый показатель за неделю
Ответ: Когда вы агрегируете средние между днями, важно учитывать уровень агрегации и использовать веса, иначе получаете «среднее средних».
Дневная средняя считается на уровне сессии, поэтому правильный общий показатель должен взвешивать дни по числу сессий. Иначе день с малым трафиком будет влиять так же, как день с большим, что и есть ошибка «среднего средних». Эквивалентный способ — посчитать суммарное время всех сессий и разделить на суммарное число сессий. Взвешивание по числу дней недели смысла не несёт (все веса равны), а максимум по дню — это уже совсем другая характеристика.
Подробный разбор → 17Вы хотите метрику «какая доля показов заканчивается кликом». У вас по каждому пользователю есть клики и показы. Какой расчёт соответствует нужному уровню агрегации?
AПосчитать простое среднее пользовательских CTR без весов, чтобы каждый пользователь вносил одинаковый вклад в итог
BВзять медиану пользовательских CTR, чтобы устойчиво описать типичного пользователя и не зависеть от выбросов трафика
CПосчитать общий CTR как сумма кликов делённая на сумму показов, что эквивалентно взвешенному среднему с весами равными показам
DПосчитать сумму кликов делённую на число пользователей, потому что это даёт интерпретацию «на пользователя»
Ответ: Если цель — доля кликов на показ, правильный уровень агрегации — показ, а объединение по пользователям требует взвешенного среднего с весами равными показам.
Среднее пользовательских CTR без весов даёт одинаковый вклад пользователям с одним показом и с тысячью показов. Это создаёт смещение и превращает метрику в «средний пользовательский CTR», что может не совпадать с продуктовым вопросом. Для общей доли кликов нужно суммировать клики и показы и взять отношение, что эквивалентно взвешенному среднему с весами равными показам. Медиана и деление на число пользователей отвечают на другие вопросы и тоже искажают долю кликов на показ.
Подробный разбор → 18У вас есть удержание D7 по недельным когортам и размер каждой когорты. Как корректно получить удержание D7 за месяц на уровне агрегации «пользователь»?
AВзвешенное среднее когортного удержания с весами по размеру когорты на уровне «пользователь»
BПростое среднее когортных значений удержания при равном вкладе каждой недели в итоговое значение
CУдержание самой большой когорты в качестве «главного» значения за месяц на основе её представительности
DСумма значений удержания по всем когортам как итоговый суммарный показатель за месяц
Ответ: Общая метрика удержания должна быть взвешенным средним когортных значений с весами, равными размеру когорты, на выбранном уровне агрегации.
Если просто усреднить когортные проценты, маленькая когорта будет влиять так же, как большая — это «среднее средних». Удержание обычно задаётся на уровне пользователя, поэтому весом является число пользователей в когорте. Эквивалентно можно сложить вернувшихся пользователей по всем когортам и разделить на общий размер когорт — это и есть взвешенное среднее.
Подробный разбор → 19В A/B тесте конверсия в iOS и в Android выше у варианта B, но общая конверсия по всем пользователям ниже у B. Как это корректнее всего назвать?
AЭто просто сдвиг микса аудитории по платформам, и он не несёт риска переворота вывода об эффекте варианта в общей метрике
BСегментный анализ всегда неверен на iOS и Android, потому что платформы пересекаются, и поэтому общий результат корректнее любого сегмента
CПри корректных данных такая ситуация невозможна, поэтому результат можно игнорировать и принимать решение по общей конверсии без оговорок
DЭто классический парадокс Симпсона из-за сдвига состава аудитории и разных весов сегментов в общей конверсии по обоим вариантам
Ответ: Если в каждом сегменте B лучше, но в целом хуже, это классический парадокс Симпсона, возникающий из-за сдвига состава аудитории и разных весов сегментов.
Общий результат — это взвешенное среднее сегментных метрик, и при изменении долей сегментов итог может перевернуть знак. Такое часто случается, когда в одном варианте больше трафика из сегмента с низкой базовой конверсией. Решение — сравнить сегменты отдельно или стандартизировать общий показатель с фиксированными весами.
Подробный разбор → 20В A/B тесте вариант B лучше по конверсии внутри каждого региона, но общая конверсия по всем регионам хуже у B. Какое объяснение наиболее правдоподобно?
AЭто означает, что взвешенное среднее всегда даёт неверный знак, поэтому надо смотреть только простое среднее по всем регионам
BЭто парадокс Симпсона: из-за сдвига состава по регионам взвешенное среднее с другими весами может перевернуть знак общего эффекта
CСегменты можно игнорировать и принимать решение по общей метрике, потому что итоговый результат всегда важнее, чем поведение по сегментам
DЭто всегда означает ошибку логирования в одном из регионов, и достаточно перепроверить только этот регион, не трогая остальные данные
Ответ: Когда общий эффект противоречит эффектам в каждом сегменте, это типичный парадокс Симпсона, связанный со сдвигом состава.
Такое возможно, если доли регионов в группах A и B разные и веса сегментов изменились. Тогда общий результат — это взвешенное среднее сегментов с другими весами, и знак эффекта может перевернуться. Первый шаг: убедиться, что сравнение идёт на одном уровне агрегации и нет перекоса в составе. Затем интерпретировать эффект по сегментам или стандартизировать с фиксированными весами.
Подробный разбор →