Взвешенные средние и смешение: вопросы для собеседования (часть 2)
Взвешенное среднее, Simpson's paradox, некорректное усреднение средних — задачи, где интуиция обманывает. На собеседовании дают два сегмента, в каждом из которых новая версия лучше старой, но в сумме — хуже. Кандидат должен объяснить парадокс и предложить корректный способ сравнения.
Вопросы 6–10 из 20
6Какое описание наиболее точно передаёт интуицию `парадокс Симпсона`?
AЭто ситуация, когда `среднее средних` всегда больше настоящего среднего
BЭто ситуация, когда `взвешенное среднее` всегда равен простому среднему
CЭто ситуация, когда `веса` всегда одинаковы и поэтому сегменты не важны
DЭто ситуация, когда общий тренд может быть противоположным трендам внутри сегментов из-за `сдвиг микса` и `веса`
Ответ: `парадокс Симпсона` — это ситуация, когда агрегированный тренд отличается по направлению от трендов внутри сегментов из-за `сдвиг микса` и `веса`.
На уровне сегментов вы можете видеть улучшение (или ухудшение), но при объединении сегментов меняются доли, и итог становится другим. Интуитивно это происходит потому, что общий результат — `взвешенное среднее`, а `веса` между группами отличаются. Поэтому анализ без разрезов может приводить к неверным продуктовым решениям.
7У вас есть среднее время доставки по городам и число заказов в каждом городе. Как корректно получить среднее время доставки по всем заказам, избегая `среднее средних`?
AПосчитать `взвешенное среднее` городских средних с `веса` = число заказов
BВзять простое среднее по городам, чтобы каждый город был равен
CВзять показатель города с самым большим числом заказов
DВзять медиану по городам, потому что она устойчивее
Ответ: Чтобы получить общий показатель из городских средних, используйте `взвешенное среднее` с `веса`, равными объёму заказов на выбранном `уровень агрегации`.
Если цель — среднее время доставки по всем заказам, `уровень агрегации` — заказ. Тогда город с малым числом заказов не должен влиять так же, как город с большим объёмом. Взвешивание по числу заказов даёт корректный общий показатель и устраняет ошибку `среднее средних`.
8У вас есть показатель удовлетворённости по месяцам и число ответов в каждом месяце. Как корректно получить показатель за квартал, если объёмы ответов по месяцам сильно разные?
AВзять простое среднее месячных значений
BСделать `взвешенное среднее` по месяцам с `веса` = число ответов или пересчитать показатель на `уровень агрегации` анкеты из суммарных счётчиков
CВзять значение последнего месяца как наиболее актуальное
DСложить месячные значения, чтобы получить квартальное
Ответ: Если размеры месяцев различаются, квартальная оценка — это не простое среднее, а `взвешенное среднее` с `веса` = число ответов или пересчёт из суммарных счётчиков.
Месяц с малым количеством анкет не должен иметь такой же вклад, как месяц с большим количеством ответов. Простое среднее месячных значений — это `среднее средних`, которое может сильно колебаться. Корректнее взвесить месяцы по `веса` = число ответов или, если есть данные, пересчитать показатель на `уровень агрегации` анкеты.
9Вы сравниваете конверсию между двумя периодами, но микс каналов изменился. Какой подход лучше всего помогает убрать влияние `сдвиг микса` и сравнить периоды «при одинаковом составе»?
AСравнить только общую конверсию, потому что сегменты всегда усложняют картину
BУсреднить конверсии по каналам поровну, чтобы каналы не «перетягивали» результат
CПосчитать конверсию по каждому каналу и собрать общий показатель через `взвешенное среднее` с фиксированными `веса` (например, из базового периода), чтобы снизить риск `парадокс Симпсона`
DСравнивать периоды только по самому крупному каналу и игнорировать остальные
Ответ: Чтобы убрать влияние `сдвиг микса` между периодами, собирайте общий показатель через `взвешенное среднее` с фиксированными `веса` и проверяйте риск `парадокс Симпсона`.
Если доли каналов изменились, общий показатель может вырасти или упасть даже при неизменных канальных конверсиях. Сначала посчитайте метрику по каждому каналу на одном `уровень агрегации`, затем объедините её с одинаковыми `веса` (например, веса из базового периода). Это позволяет сравнить периоды «при одинаковом составе» и отделить эффект продукта от состава. Такой подход снижает вероятность неправильных выводов в духе `парадокс Симпсона`.
10У вас есть uplift конверсии по странам, но страны сильно различаются по трафику. Как корректно получить общий эффект по всем странам, избегая `среднее средних`?
AПосчитать итоговую конверсию для A и B по всем странам вместе или взвесить uplift по трафику как `взвешенное среднее` с `веса` = трафик
BУсреднить uplift стран поровну, потому что страны — одинаковые сущности
CВыбрать страну с максимальным uplift и использовать её как прокси общего эффекта
DСложить uplift по странам и интерпретировать сумму как общий uplift
Ответ: При разном трафике по сегментам общий эффект нужно считать на правильном `уровень агрегации` или как `взвешенное среднее` с релевантными `веса`.
Если страны разные по размеру, простое среднее uplift — это `среднее средних`, где маленькая страна может переопределить вывод. Корректнее собрать данные по всем пользователям/визитам и посчитать метрику для A и B в целом. Альтернатива — взвесить сегментные uplift по `веса` = трафик, что эквивалентно вычислению на правильном `уровень агрегации`.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram