Релиз новой посадочной страницы был в пятницу, а сравнение сделали между субботой и четвергом и увидели падение конверсии. Какой вероятный смешивающий фактор делает сравнение нечестным?
AСмещение отбора из-за рандомизации трафика между новой и старой посадочными страницами в эксперименте
BСмешение состава пользователей из-за того, что знаменатель конверсии в один из дней оказался равен нулю
CЭффект новизны страницы: первые посетители реагируют на изменение интерфейса заметно сильнее, чем все последующие пользователи
DДень недели как смешивающий фактор: поведение пользователей в выходные и будни заметно различается
Правильный ответ. Разные дни недели могут быть сильным смешивающим фактором для продуктовых метрик.
Разбор
Даже без изменений продукта метрики часто отличаются между буднями и выходными. Если релиз совпал со сменой дня недели, вы не отделите эффект релиза от сезонности внутри недели. Корректнее сравнивать одинаковые дни или делать стратификацию по дню недели. Рандомизация и нулевой знаменатель — другие классы проблем и в этой ситуации не объясняют наблюдаемое падение.
Проверь себя · 1/2разбор после ответа
Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →