Взвешенные средние и смешение: вопросы для собеседования (часть 3)
Взвешенное среднее, Simpson's paradox, некорректное усреднение средних — задачи, где интуиция обманывает. На собеседовании дают два сегмента, в каждом из которых новая версия лучше старой, но в сумме — хуже. Кандидат должен объяснить парадокс и предложить корректный способ сравнения.
Вопросы 11–15 из 20
11Вы посчитали средний чек по каждому продавцу, а затем усреднили эти значения по продавцам, чтобы получить «средний чек маркетплейса». Что здесь потенциально неверно?
AЭто и есть корректное взвешенное среднее по маркетплейсу, готовое к использованию в отчёте
BЭто среднее средних без весов: продавец с одним заказом влияет наравне с крупным, нужно взвешивать по числу заказов
CЭта схема ломает только сдвиг микса по категориям и не влияет на общий средний чек по маркетплейсу
DНужно усреднить по продавцам и затем умножить результат на число активных пользователей за тот же период
Ответ: Простое среднее средних по продавцам — это среднее средних, и оно искажает результат без весов по числу заказов.
Продавец с одним заказом и продавец с тысячью заказов получат одинаковый вклад, если просто усреднить их средние чеки. Чтобы получить честный чек по всем заказам маркетплейса, нужно взвешенное среднее с весом, равным количеству заказов продавца. Тогда каждый отдельный заказ имеет одинаковый вес и уровень агрегации совпадает с уровнем заказа. Иначе мелкие продавцы перекосят итог в свою сторону.
Подробный разбор → 12У вас есть p95 времени ответа по регионам и количество запросов в каждом регионе. Можно ли корректно получить общий p95 как взвешенное среднее региональных p95 с весами по числу запросов?
AНет: процентили не агрегируются взвешенным средним, нужен пересчёт на объединённой выборке или доступ к сырому распределению
BДа: достаточно сделать взвешенное среднее по числу запросов, и полученное число корректно даст общий p95 по всем регионам
CДа: можно взять простое среднее регионального p95 без учёта числа запросов, и результат будет общим p95 по системе
DДа: нужно взять максимальный региональный p95 среди всех регионов, и это значение и будет общим p95 для отчёта
Ответ: Процентили не агрегируются через среднее: их нельзя корректно получить из одних только сегментных значений и весов.
p95 зависит от формы распределения, а не только от среднего значения сегмента. Два сегмента с одинаковым p95 могут иметь разные «хвосты», и при объединении общий p95 может измениться непредсказуемо. Чтобы получить p95 на нужном уровне агрегации, нужно пересчитать его на объединённой выборке или иметь доступ к распределению или сырым логам. Взвешенное среднее, простое среднее или максимум по сегментам не дают корректного значения общего процентиля.
Подробный разбор → 13Вы считаете среднее время ответа поддержки по каналам (чат, email). В чате много тикетов, в email мало. Что неправильно в простом усреднении средних времён по каналам?
AЭто всегда корректное взвешенное среднее, потому что для усреднения каналов достаточно сложить средние и поделить на их количество
BЭто среднее средних без весов: маленький канал влияет непропорционально, нужно взвесить средние по числу тикетов или пересчитать из суммарного времени
CПроблема только в сдвиге состава тикетов между каналами, но на итоговое среднее время это никак не влияет, поэтому можно оставить расчёт как есть
DЧтобы быть консервативным, надо брать максимум из средних по каналам и сообщать его как итоговое среднее время ответа поддержки в отчёте
Ответ: Простое усреднение по каналам — это среднее средних, и оно неверно, если веса (число тикетов) сильно различаются.
Канал с малым количеством тикетов может слишком сильно повлиять на итоговую метрику, если получит такой же вес, как крупный канал. Если продуктовый вопрос звучит как «среднее время ответа по всем тикетам», уровень агрегации — тикет. Тогда нужно считать взвешенное среднее каналов с весами, равными количеству тикетов, или пересчитать из суммарного времени и общего числа тикетов. Брать максимум по каналам или утверждать, что состав не влияет, — обе крайности.
Подробный разбор → 14У вас есть ARPPU по регионам и число платящих пользователей в каждом регионе. Как корректно получить общий ARPPU по продукту?
AСуммарная выручка делится на суммарное число платящих по всем регионам и даёт корректное взвешенное среднее
BПростое среднее региональных значений ARPPU без весов, равное по вкладу для каждого региона в итоговый показатель
CВзвешенное среднее ARPPU с весом по общей численности пользователей региона, включая неплатящих в знаменатель
DВзвешенное среднее ARPPU с весом по числу визитов в регионе, отражающим активность аудитории на продукте
Ответ: Если метрика «на пользователя», общий показатель — это взвешенное среднее с весом по числу пользователей, иначе получается среднее средних.
ARPPU по региону — это выручка региона, делённая на число платящих в этом регионе, поэтому при объединении регионов весом должно быть число платящих, а не общая аудитория или визиты. Простое среднее региональных значений завысит вклад маленьких регионов и исказит итог. Правильно посчитать общую выручку и общее число платящих или эквивалентно применить взвешенное среднее с корректными весами на уровне платящего пользователя.
Подробный разбор → 15ARPU за период вырос, но в разрезе iOS и Android ARPU снизился в каждом сегменте. Что корректнее всего сделать перед выводом о росте продукта?
AПринять рост общей метрики ARPU как доказательство улучшения продукта без проверки разрезов по платформе и состава аудитории за период
BУсреднить сегментные значения ARPU по iOS и Android поровну, чтобы убрать шум из расчёта и получить «справедливое» среднее значение
CИгнорировать различие сегментов и продлить окно сравнения по времени, чтобы все колебания платформенного состава успели усредниться
DПроверить сдвиг состава аудитории по платформам и пересчитать общий ARPU с фиксированными весами по платформам как взвешенное среднее
Ответ: Когда итоговая метрика конфликтует с сегментами, проверьте сдвиг состава аудитории и стандартизируйте расчёт с фиксированными весами.
Рост общей метрики может быть вызван тем, что выросла доля платформы с более высоким базовым ARPU, даже если внутри платформ ARPU падает. Это эффект сдвига состава, а не обязательно улучшение продукта. Практика — сравнить метрики на одинаковом уровне агрегации внутри сегментов и собрать общий результат через взвешенное среднее с фиксированными весами по платформам.
Подробный разбор →