Вы сравниваете конверсию между двумя периодами, но микс каналов изменился. Какой подход лучше всего помогает убрать влияние сдвига микса и сравнить периоды «при одинаковом составе»?
AСравнивать только общую конверсию между периодами, потому что любая разбивка по сегментам усложняет картину и мешает выводу
BУсреднить конверсии по каналам с равными весами, чтобы крупные каналы не «перетягивали» итоговый результат на свою сторону
CПосчитать конверсию по каждому каналу и собрать общий показатель через взвешенное среднее с фиксированными весами из базового периода
DСравнивать периоды только по самому крупному каналу и игнорировать остальные, считая их вклад в общую динамику пренебрежимым
Правильный ответ. Чтобы убрать влияние сдвига микса между периодами, собирайте общий показатель через взвешенное среднее с фиксированными весами и проверяйте риск парадокса Симпсона.
Разбор
Если доли каналов изменились, общий показатель может вырасти или упасть даже при неизменных канальных конверсиях. Сначала посчитайте метрику по каждому каналу на одном уровне агрегации, затем объедините её с одинаковыми весами (например, веса из базового периода). Это позволяет сравнить периоды «при одинаковом составе» и отделить эффект продукта от состава. Такой подход снижает вероятность неправильных выводов в духе парадокса Симпсона. Усреднение с равными весами или сравнение по одному каналу искажают вклад крупных сегментов.
Проверь себя · 1/3разбор после ответа
В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне визита?
Ещё вопросы по теме «Взвешенные средние и смешение»
- В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне визита?
- У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в ловушку «среднего средних»?
- Вам дали ARPU отдельно для iOS и Android, а также количество пользователей в каждой платформе. Как корректно получить общий ARPU по продукту?
- Общая конверсия за месяц выросла, но в каждом канале (органика, платный, реферальный) конверсия почти не изменилась; при этом доли каналов заметно сместились. Какой термин лучше всего описывает ситуацию?
- В A/B тесте вариант B лучше по конверсии внутри каждого региона, но общая конверсия по всем регионам хуже у B. Какое объяснение наиболее правдоподобно?
- Все вопросы по «Взвешенные средние и смешение» →