В A/B тесте конверсия в iOS и в Android выше у варианта B, но общая конверсия по всем пользователям ниже у B. Как это корректнее всего назвать?
AЭто просто
сдвиг микса, но без риска переворота выводаBЭто
парадокс Симпсона из-за сдвиг микса и разных веса по платформамCЭто означает, что сегментный анализ всегда неверен
DЭто невозможно при корректных данных, значит можно игнорировать результат
Правильный ответ. Если в каждом сегменте B лучше, но в целом хуже, это классический
парадокс Симпсона, возникающий из-за сдвиг микса и разных веса.Разбор
Общий результат — это взвешенное среднее сегментных метрик, и при изменении долей сегментов итог может перевернуть знак. Такое часто случается, когда в одном варианте больше трафика из сегмента с низкой базовой конверсией. Решение — сравнить сегменты отдельно и/или стандартизировать общий показатель с фиксированными веса.
Проверь себя · 1/3разбор после ответа
У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в
среднее средних?Ещё вопросы по теме «Взвешенные средние и смешение»
- В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне `уровень агрегации` = визит?
- У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в `среднее средних`?
- Вам дали ARPU отдельно для iOS и Android, а также количество пользователей в каждой платформе. Как корректно получить общий ARPU по продукту?
- Общая конверсия за месяц выросла, но в каждом канале (органика, платный, реферальный) конверсия почти не изменилась; при этом доли каналов заметно сместились. Какой термин лучше всего описывает ситуацию?
- В A/B тесте вариант B лучше по конверсии внутри каждого региона, но общая конверсия по всем регионам хуже в B. Какое объяснение наиболее правдоподобно?
- Все вопросы по «Взвешенные средние и смешение» →