Новая функция доступна только пользователям, которые включили бета-режим. Команда сравнила их удержание с остальными пользователями и увидела рост. Какой следующий шаг наиболее корректен для анализа?
AСразу раскатить функцию на всех пользователей, потому что у бета-пользователей удержание выше, чем у остальных в выборке за последний месяц
BИгнорировать результат сравнения целиком, потому что сегмент бета-пользователей слишком маленький по сравнению с общей базой и шум данных перевешивает
CПризнать риск ошибки отбора и попытаться получить сравнение без самовыбора: например, через рандомизацию или сопоставление по ключевым характеристикам
DПостепенно увеличивать окно наблюдения по времени до тех пор, пока удержание у бета-пользователей не вернётся к среднему по продукту
Правильный ответ. Добровольный бета-режим почти всегда создаёт ошибку отбора, поэтому нужно сравнение без самовыбора пользователей.
Разбор
Пользователи, которые сами включают бету, обычно более мотивированы, и их базовая активность изначально выше. Поэтому рост удержания может отражать состав аудитории, а не эффект самой функции. Лучшее решение — провести рандомизацию или сделать сопоставимое сравнение like-for-like с контролем ключевых характеристик пользователей. Просто увеличивать окно или сразу раскатывать на всех — значит закрепить искажённый вывод.
Проверь себя · 1/2разбор после ответа
Вы сравниваете ARPU между каналом A и каналом B и видите, что в канале A ARPU выше. При этом в канале A больше пользователей на iOS, которые обычно тратят больше. Что является вероятным смешивающим фактором и что нужно контролировать?
Ещё вопросы по теме «Сегментация и конфаундинг»
- После релиза новой версии приложения общая конверсия упала. При этом выросла доля трафика на Android, у которого исторически ниже базовый уровень конверсии. Какое объяснение наиболее правдоподобно без дополнительных данных?
- Вы сравниваете конверсию между каналом «поиск» и каналом «соцсети». В канале «поиск» заметно больше пользователей из регионов с высокой платежеспособностью. Какой наиболее вероятный смешивающий фактор и что логично использовать как контрольную переменную?
- Новая функция включается кнопкой, и анализ показал, что у включивших выше удержание и конверсия. Какая основная проблема такого вывода?
- В сегменте iOS конверсия выросла, и в сегменте Android тоже выросла, но общая конверсия по всем пользователям снизилась. Какое объяснение наиболее вероятно?
- Вы сравниваете удержание между регионами A и B. В регионе A больше пользователей из более «старых» когорт, а в регионе B — больше новых. Что корректнее сделать, чтобы сравнение было справедливым?
- Все вопросы по «Сегментация и конфаундинг» →