Вы измерили NPS только у iOS-пользователей через опрос внутри приложения и хотите распространить результат на всех пользователей. Какой риск здесь ключевой?
AЭто ошибка выживших: пользователи
iOS дольше остаются в продукте, поэтому их ответы более показательны для всехBЭто чистая ошибка измерения: метрика
NPS по своей природе шумит из-за шкалы и формулировок вопросов опросаCРиска нет: аудитории
iOS и Android обычно совпадают по поведению и доходу, поэтому экстраполяция допустимаDНарушена репрезентативность: выборка по
iOS может не отражать поведение всей аудитории на других платформахПравильный ответ. Если выборка покрывает только часть аудитории, страдает репрезентативность относительно всей генеральной совокупности.
Разбор
Опрос внутри iOS-приложения охватывает только пользователей одной платформы, и если их состав по доходу, возрасту, странам или продуктовому поведению отличается от Android-пользователей, выборка не репрезентативна для всей аудитории. Распространять NPS на всех — систематическая ошибка обобщения. Это не survivorship bias (нет «выживших» и «не выживших»). Утверждение, что аудитории iOS и Android совпадают по поведению и доходу, эмпирически неверно для большинства продуктов. Шкала NPS сама по себе не идеальна, но это отдельная тема.
Проверь себя · 1/3разбор после ответа
Аналитик оценивает удержание по списку подписчиков на рассылку и делает выводы про всех пользователей продукта. В чём основная проблема такого подхода?
Ещё вопросы по теме «Выборка и смещение»
- Вы хотите оценить средний чек за неделю для всех пользователей продукта. У вас есть данные по 5% пользователей, отобранных случайно. Что в этой задаче является генеральной совокупностью?
- Вы выложили ссылку на опрос в соцсетях и получили ответы в основном от людей с сильным недовольством продуктом. Какое смещение наиболее вероятно?
- Аналитик посчитал средний доход на пользователя только среди тех, кто остался активным до 30-го дня, и сделал вывод о среднем доходе всех новичков. Какое смещение здесь наиболее характерно?
- В опросе пользователи систематически занижают свой доход. Как лучше всего описать проблему в терминах качества данных?
- В email-опросе ответили 8% пользователей, и среди ответивших сильно больше VIP-клиентов, чем во всей аудитории. Какой шаг наиболее уместен, чтобы снизить смещение отбора по известным признакам?
- Все вопросы по «Выборка и смещение» →