Вы сравниваете конверсию между двумя периодами, но микс каналов изменился. Какой подход лучше всего помогает убрать влияние сдвиг микса и сравнить периоды «при одинаковом составе»?
AСравнить только общую конверсию, потому что сегменты всегда усложняют картину
BУсреднить конверсии по каналам поровну, чтобы каналы не «перетягивали» результат
CПосчитать конверсию по каждому каналу и собрать общий показатель через
взвешенное среднее с фиксированными веса (например, из базового периода), чтобы снизить риск парадокс СимпсонаDСравнивать периоды только по самому крупному каналу и игнорировать остальные
Правильный ответ. Чтобы убрать влияние
сдвиг микса между периодами, собирайте общий показатель через взвешенное среднее с фиксированными веса и проверяйте риск парадокс Симпсона.Разбор
Если доли каналов изменились, общий показатель может вырасти или упасть даже при неизменных канальных конверсиях. Сначала посчитайте метрику по каждому каналу на одном уровень агрегации, затем объедините её с одинаковыми веса (например, веса из базового периода). Это позволяет сравнить периоды «при одинаковом составе» и отделить эффект продукта от состава. Такой подход снижает вероятность неправильных выводов в духе парадокс Симпсона.
Проверь себя · 1/3разбор после ответа
У вас есть D7 ретеншн по недельным когортам и размер каждой когорты. Как корректно получить D7 ретеншн за месяц на
уровень агрегации = пользователь?Ещё вопросы по теме «Взвешенные средние и смешение»
- В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне `уровень агрегации` = визит?
- У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в `среднее средних`?
- Вам дали ARPU отдельно для iOS и Android, а также количество пользователей в каждой платформе. Как корректно получить общий ARPU по продукту?
- Общая конверсия за месяц выросла, но в каждом канале (органика, платный, реферальный) конверсия почти не изменилась; при этом доли каналов заметно сместились. Какой термин лучше всего описывает ситуацию?
- В A/B тесте вариант B лучше по конверсии внутри каждого региона, но общая конверсия по всем регионам хуже в B. Какое объяснение наиболее правдоподобно?
- Все вопросы по «Взвешенные средние и смешение» →