В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне визита?
Взвешенное среднее, Simpson's paradox, некорректное усреднение средних — задачи, где интуиция обманывает. На собеседовании дают два сегмента, в каждом из которых новая версия лучше старой, но в сумме — хуже. Кандидат должен объяснить парадокс и предложить корректный способ сравнения.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне визита?
AСумма покупок делится на сумму визитов: взвешенное среднее с весами по числу визитов в регионе
BПростое среднее региональных конверсий: каждый регион даёт равный вклад в итоговую цифру
CКонверсия региона с самым большим трафиком как репрезентативная для всего портфеля
DМедиана региональных конверсий: устраняется влияние выбросов в маленьких регионах
Ответ: Общая метрика на уровне визита считается как взвешенное среднее с весами, равными числу визитов в каждом регионе.
Если вы хотите конверсию по всем визитам, нужно суммировать покупки и визиты по регионам и только затем делить. Простое среднее конверсий регионов — это «среднее средних», оно переоценивает маленькие сегменты. Веса для такого объединения — это число визитов: больше трафика — больше вклад. Медиана и одна большая страна тоже искажают итог: они не отражают реальный объём.
2Вам дали ARPU отдельно для iOS и Android, а также количество пользователей в каждой платформе. Как корректно получить общий ARPU по продукту?
AПростое среднее ARPU iOS и Android при равных весах для двух платформ
BВзвешенное среднее ARPU с весами по выручке каждой платформы для усиления роли крупного сегмента
CВзвешенное среднее ARPU с весами по числу пользователей на каждой платформе
DСумма ARPU iOS и ARPU Android как агрегата двух частей одного продукта
Ответ: Чтобы объединить сегментные ARPU, считают взвешенное среднее с весами, равными числу пользователей.
ARPU — это выручка на пользователя, поэтому при объединении сегментов веса должны быть равны числу пользователей. Простое среднее двух платформ завышает вклад мелкой платформы, а взвешивание по выручке считает другую величину. Эквивалентный способ — сложить общую выручку и разделить на общее число пользователей. Сумма двух ARPU не имеет смысла: пользователи разные, складывать на пользователя нечего.
3Общая конверсия за месяц выросла, но в каждом канале (органика, платный, реферальный) конверсия почти не изменилась; при этом доли каналов заметно сместились. Какой термин лучше всего описывает ситуацию?
AПарадокс Симпсона: общая метрика меняется в направлении, противоположном поканальным изменениям метрики
BСреднее средних: итог считается как простое среднее по каналам без учёта весов объёма трафика канала
CОшибка уровня агрегации: выбран неверный уровень для расчёта общего показателя по нескольким каналам
DСдвиг микса: изменение долей каналов сдвигает общую метрику без изменения метрики внутри каждого канала
Ответ: Если итоговая метрика меняется из-за изменения состава сегментов, это `сдвиг микса`.
При `сдвиг микса` поведение внутри сегментов может быть стабильным, но итоговая цифра меняется, потому что изменились доли сегментов. Это часто видно, когда растёт доля канала или платформы с высокой базовой метрикой. Чтобы корректно сравнивать периоды, фиксируют `веса` или анализируют метрику на нужном `уровень агрегации` в разрезе.
4В каком случае простое среднее по магазинам без весов является корректной постановкой KPI?
AКогда вы хотите общий средний чек по всем заказам сети, без выделения отдельных магазинов как объектов сравнения
BКогда вы хотите общую долю заказов, доставленных в срок, по всем заказам сети целиком, не разделяя по магазинам
CКогда вы хотите общую конверсию по всем визитам пользователей, объединяя визиты из всех магазинов в одну выборку
DКогда вы хотите оценить «типичный магазин» на уровне магазина, где каждый магазин должен иметь равный вклад в итог
Ответ: Простое среднее подходит, когда целевой уровень агрегации — объект (например, магазин) и каждый объект должен иметь равный вклад без весов.
Если ваша цель — оценить «типичный магазин», вы сознательно выбираете уровень агрегации магазина, а не заказа или пользователя. Тогда маленький и большой магазин должны влиять одинаково, и простое среднее по магазинам корректно. Но если вопрос про «в среднем по заказам/пользователям», нужно взвешенное среднее с соответствующими весами.
5Конверсия по неделям упала, но в разрезе каналов конверсия почти не изменилась; при этом доля платного трафика выросла, а органики — упала. Как правильнее всего это интерпретировать?
AЭто сдвиг состава трафика: анализировать по разрезам каналов или сравнивать периоды с одинаковыми весами для разделения структуры и качества
BЭто прямое ухудшение продукта во всех каналах сразу: искать общую техническую причину или регресс в основном пользовательском пути
CЭто типичный случай среднего средних: интерпретировать такие данные нельзя до полной перезагрузки построения отчёта
DПолностью убрать платный канал из расчёта и считать общую конверсию по органическому трафику для устранения смешения
Ответ: Если внутри каналов метрика стабильна, а общая меняется, это обычно сдвиг состава, а не изменение качества в каждом сегменте.
Падение общей конверсии может быть вызвано ростом доли канала с низкой базовой конверсией, даже если внутри каналов ничего не ухудшилось. Чтобы корректно интерпретировать, разделите эффект на изменение внутри сегментов и изменение состава (сдвиг микса). Для сравнения периодов можно фиксировать веса каналов или анализировать метрику по каждому каналу отдельно на одном уровне агрегации.