В продукте запустили опрос удовлетворённости. В сегменте десктопа отвечает заметно больше пользователей, чем в сегменте мобильных, и отвечают в основном самые активные. Какой риск для сравнения результатов между сегментами?
AЭто смещение из-за самоотбора: ответы не репрезентативны для всего сегмента, и сравнение между сегментами может быть искажено
BРиска нет: сам факт проведения опроса обеспечивает случайный отбор и автоматически устраняет искажения в сравнении сегментов
CЭто просто сдвиг структуры выборки, который повышает точность сравнения и не требует дополнительной проверки репрезентативности
DДостаточно заменить метрику удовлетворённости на конверсию в целевое действие, и проблема смещения из-за самоотбора исчезнет сама собой
Правильный ответ. Если отвечают неслучайные пользователи, возникает смещение из-за самоотбора и результаты по сегментам могут быть искажены.
Разбор
Опрос отражает не всю аудиторию, а подмножество, которое само решило ответить, то есть присутствует самоотбор. Если доля ответивших различается между сегментами, сравнение становится нечестным. Чтобы снизить проблему, полезно следить за репрезентативностью и анализировать само участие в опросе как контрольную переменную, а не считать его нейтральным.
Проверь себя · 1/2разбор после ответа
Вы сравниваете ARPU между каналом A и каналом B и видите, что в канале A ARPU выше. При этом в канале A больше пользователей на iOS, которые обычно тратят больше. Что является вероятным смешивающим фактором и что нужно контролировать?
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →