В A/B тесте вариант B лучше по конверсии внутри каждого региона, но общая конверсия по всем регионам хуже в B. Какое объяснение наиболее правдоподобно?
AЭто
парадокс Симпсона: из-за сдвиг микса общий результат как взвешенное среднее меняет знак при других весаBЭто означает, что
взвешенное среднее всегда неверен, поэтому надо брать простое среднееCСегменты нужно игнорировать: решение принимается только по общей метрике
DЭто обязательно означает ошибку логирования только в одном регионе, остальное можно не проверять
Правильный ответ. Когда общий эффект противоречит эффектам в каждом сегменте, это типичный
парадокс Симпсона, связанный с сдвиг микса.Разбор
Такое возможно, если доли регионов в вариантах разные и веса сегментов изменились. Тогда общий результат становится взвешенное среднее сегментов с другими веса, и знак может перевернуться. Первый шаг — убедиться, что сравнение идёт на одном уровень агрегации и нет перекоса в составе. Затем интерпретировать эффект по сегментам или стандартизировать с фиксированными веса.
Проверь себя · 1/3разбор после ответа
У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в
среднее средних?Ещё вопросы по теме «Взвешенные средние и смешение»
- В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне `уровень агрегации` = визит?
- У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в `среднее средних`?
- Вам дали ARPU отдельно для iOS и Android, а также количество пользователей в каждой платформе. Как корректно получить общий ARPU по продукту?
- Общая конверсия за месяц выросла, но в каждом канале (органика, платный, реферальный) конверсия почти не изменилась; при этом доли каналов заметно сместились. Какой термин лучше всего описывает ситуацию?
- У вас есть D7 ретеншн по недельным когортам и размер каждой когорты. Как корректно получить D7 ретеншн за месяц на `уровень агрегации` = пользователь?
- Все вопросы по «Взвешенные средние и смешение» →