У вас есть прирост конверсии по странам, но страны сильно различаются по трафику. Как корректно получить общий эффект по всем странам, избегая «среднего средних»?
AПосчитать общую конверсию для A и B по всем странам сразу или взвесить прирост по странам с весами равными трафику страны
BУсреднить прирост по странам поровну, потому что страны считаются одинаковыми сущностями независимо от размера их трафика
CВыбрать страну с максимальным приростом и использовать её как приближение общего эффекта по всему продукту в данной кампании
DСложить приросты по странам и интерпретировать получившуюся сумму как общий эффект кампании на конверсию по продукту
Правильный ответ. При разном трафике по сегментам общий эффект нужно считать на правильном уровне агрегации или как взвешенное среднее с релевантными весами.
Разбор
Если страны разные по размеру, простое среднее приростов — это «среднее средних», где маленькая страна может переопределить вывод. Корректнее собрать данные по всем пользователям и посчитать метрику для A и B в целом. Альтернатива — взвесить сегментные приросты с весами, равными трафику, что эквивалентно вычислению на правильном уровне агрегации. Выбор лучшей страны или сумма приростов по странам не имеют статистического смысла и искажают итоговую оценку эффекта.
Проверь себя · 1/3разбор после ответа
Вам дали ARPU отдельно для iOS и Android, а также количество пользователей в каждой платформе. Как корректно получить общий ARPU по продукту?
Ещё вопросы по теме «Взвешенные средние и смешение»
- В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне визита?
- У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в ловушку «среднего средних»?
- Вам дали ARPU отдельно для iOS и Android, а также количество пользователей в каждой платформе. Как корректно получить общий ARPU по продукту?
- Общая конверсия за месяц выросла, но в каждом канале (органика, платный, реферальный) конверсия почти не изменилась; при этом доли каналов заметно сместились. Какой термин лучше всего описывает ситуацию?
- В A/B тесте вариант B лучше по конверсии внутри каждого региона, но общая конверсия по всем регионам хуже у B. Какое объяснение наиболее правдоподобно?
- Все вопросы по «Взвешенные средние и смешение» →