Взвешенные средние и смешение: вопросы для собеседования (часть 2)
Взвешенное среднее, Simpson's paradox, некорректное усреднение средних — задачи, где интуиция обманывает. На собеседовании дают два сегмента, в каждом из которых новая версия лучше старой, но в сумме — хуже. Кандидат должен объяснить парадокс и предложить корректный способ сравнения.
Вопросы 6–10 из 20
6Какое описание наиболее точно передаёт интуицию парадокса Симпсона?
AЭто ситуация, когда среднее по сегментам всегда оказывается строго больше настоящего общего среднего
BЭто ситуация, когда взвешенное среднее всегда совпадает с простым средним и веса сегментов не имеют значения
CЭто ситуация, когда общий тренд может быть противоположным трендам внутри сегментов из-за сдвига состава и весов
DЭто ситуация, когда веса сегментов всегда одинаковы и поэтому разрезы по сегментам на результат не влияют
Ответ: Парадокс Симпсона — это когда агрегированный тренд отличается по направлению от трендов внутри сегментов из-за сдвига состава и весов.
На уровне сегментов вы можете видеть улучшение (или ухудшение), но при объединении сегментов меняются доли, и итог становится другим. Интуитивно это происходит потому, что общий результат — взвешенное среднее, а веса между группами отличаются. Поэтому анализ без разрезов может приводить к неверным продуктовым решениям.
Подробный разбор → 7У вас есть среднее время доставки по городам и число заказов в каждом городе. Как корректно получить среднее время доставки по всем заказам, избегая ошибки «среднее средних»?
AВзять простое среднее по всем городам, чтобы каждый город имел одинаковый вес независимо от объёма заказов
BВзять показатель города с самым большим числом заказов, потому что он лучше всего отражает основной поток
CВзять медиану по городам, потому что медиана устойчивее к городам-выбросам с очень короткой или длинной доставкой
DПосчитать взвешенное среднее городских значений, где вес каждого города равен числу заказов в этом городе
Ответ: Чтобы получить общий показатель из городских средних, используйте взвешенное среднее с весами, равными объёму заказов на нужном уровне агрегации.
Если цель — среднее время доставки по всем заказам, то базовая единица — заказ. Тогда город с малым числом заказов не должен влиять так же, как город с большим объёмом. Взвешивание по числу заказов даёт корректный общий показатель и устраняет ошибку «среднее средних», когда мелкие сегменты тянут итоговое значение.
Подробный разбор → 8У вас есть показатель удовлетворённости по месяцам и число ответов в каждом месяце. Как корректно получить показатель за квартал, если объёмы ответов по месяцам сильно разные?
AВзять простое среднее месячных значений: каждый месяц вносит одинаковый вклад вне зависимости от размера базы ответов
BВзять значение последнего месяца как наиболее актуальное и считать его репрезентативным для всего квартала независимо от объёма ответов
CСложить месячные значения, чтобы получить квартальный показатель: суммирование автоматически учтёт разницу в объёмах ответов по месяцам
DСделать взвешенное среднее по месяцам с весами, равными числу ответов, или пересчитать показатель из суммарных счётчиков на уровне анкеты
Ответ: Если размеры месяцев различаются, квартальная оценка — это не простое среднее, а взвешенное среднее с весами по числу ответов или пересчёт из суммарных счётчиков.
Месяц с малым количеством анкет не должен иметь такой же вклад, как месяц с большим количеством ответов. Простое среднее месячных значений — это среднее средних, которое может сильно колебаться. Корректнее взвесить месяцы по числу ответов или, если есть данные, пересчитать показатель из суммарных счётчиков на уровне анкеты.
Подробный разбор → 9Вы сравниваете конверсию между двумя периодами, но микс каналов изменился. Какой подход лучше всего помогает убрать влияние сдвига микса и сравнить периоды «при одинаковом составе»?
AСравнивать только общую конверсию между периодами, потому что любая разбивка по сегментам усложняет картину и мешает выводу
BУсреднить конверсии по каналам с равными весами, чтобы крупные каналы не «перетягивали» итоговый результат на свою сторону
CПосчитать конверсию по каждому каналу и собрать общий показатель через взвешенное среднее с фиксированными весами из базового периода
DСравнивать периоды только по самому крупному каналу и игнорировать остальные, считая их вклад в общую динамику пренебрежимым
Ответ: Чтобы убрать влияние сдвига микса между периодами, собирайте общий показатель через взвешенное среднее с фиксированными весами и проверяйте риск парадокса Симпсона.
Если доли каналов изменились, общий показатель может вырасти или упасть даже при неизменных канальных конверсиях. Сначала посчитайте метрику по каждому каналу на одном уровне агрегации, затем объедините её с одинаковыми весами (например, веса из базового периода). Это позволяет сравнить периоды «при одинаковом составе» и отделить эффект продукта от состава. Такой подход снижает вероятность неправильных выводов в духе парадокса Симпсона. Усреднение с равными весами или сравнение по одному каналу искажают вклад крупных сегментов.
Подробный разбор → 10У вас есть прирост конверсии по странам, но страны сильно различаются по трафику. Как корректно получить общий эффект по всем странам, избегая «среднего средних»?
AПосчитать общую конверсию для A и B по всем странам сразу или взвесить прирост по странам с весами равными трафику страны
BУсреднить прирост по странам поровну, потому что страны считаются одинаковыми сущностями независимо от размера их трафика
CВыбрать страну с максимальным приростом и использовать её как приближение общего эффекта по всему продукту в данной кампании
DСложить приросты по странам и интерпретировать получившуюся сумму как общий эффект кампании на конверсию по продукту
Ответ: При разном трафике по сегментам общий эффект нужно считать на правильном уровне агрегации или как взвешенное среднее с релевантными весами.
Если страны разные по размеру, простое среднее приростов — это «среднее средних», где маленькая страна может переопределить вывод. Корректнее собрать данные по всем пользователям и посчитать метрику для A и B в целом. Альтернатива — взвесить сегментные приросты с весами, равными трафику, что эквивалентно вычислению на правильном уровне агрегации. Выбор лучшей страны или сумма приростов по странам не имеют статистического смысла и искажают итоговую оценку эффекта.
Подробный разбор →