В A/B тесте вариант B лучше по конверсии внутри каждого региона, но общая конверсия по всем регионам хуже у B. Какое объяснение наиболее правдоподобно?
AЭто означает, что взвешенное среднее всегда даёт неверный знак, поэтому надо смотреть только простое среднее по всем регионам
BЭто парадокс Симпсона: из-за сдвига состава по регионам взвешенное среднее с другими весами может перевернуть знак общего эффекта
CСегменты можно игнорировать и принимать решение по общей метрике, потому что итоговый результат всегда важнее, чем поведение по сегментам
DЭто всегда означает ошибку логирования в одном из регионов, и достаточно перепроверить только этот регион, не трогая остальные данные
Правильный ответ. Когда общий эффект противоречит эффектам в каждом сегменте, это типичный парадокс Симпсона, связанный со сдвигом состава.
Разбор
Такое возможно, если доли регионов в группах A и B разные и веса сегментов изменились. Тогда общий результат — это взвешенное среднее сегментов с другими весами, и знак эффекта может перевернуться. Первый шаг: убедиться, что сравнение идёт на одном уровне агрегации и нет перекоса в составе. Затем интерпретировать эффект по сегментам или стандартизировать с фиксированными весами.
Проверь себя · 1/3разбор после ответа
Общая конверсия за месяц выросла, но в каждом канале (органика, платный, реферальный) конверсия почти не изменилась; при этом доли каналов заметно сместились. Какой термин лучше всего описывает ситуацию?
Ещё вопросы по теме «Взвешенные средние и смешение»
- В отчёте по регионам у вас есть конверсия (покупки/визиты) и число визитов по каждому региону. Как корректно получить общую конверсию на уровне визита?
- У вас есть средняя длительность сессии по дням и число сессий по дням. Как корректно получить среднюю длительность сессии за неделю, чтобы не попасть в ловушку «среднего средних»?
- Вам дали ARPU отдельно для iOS и Android, а также количество пользователей в каждой платформе. Как корректно получить общий ARPU по продукту?
- Общая конверсия за месяц выросла, но в каждом канале (органика, платный, реферальный) конверсия почти не изменилась; при этом доли каналов заметно сместились. Какой термин лучше всего описывает ситуацию?
- У вас есть удержание D7 по недельным когортам и размер каждой когорты. Как корректно получить удержание D7 за месяц на уровне агрегации «пользователь»?
- Все вопросы по «Взвешенные средние и смешение» →