В A/B тесте фича работает только у пользователей с новой версией приложения, а обновляются быстрее более активные пользователи. Что лучше проверить первым, чтобы понять риск смещения?
AСравнить состав
sample по активности/сегментам между вариантами и понять, какая population фактически попала в тестBСравнить только
p-value, игнорируя состав аудиторииCУдалить из анализа всех активных пользователей, чтобы уравнять группы
DСчитать, что рандомизация автоматически устраняет любые проблемы покрытия
Правильный ответ. Если попадание в тест зависит от поведения, возможен
selection bias и нужно проверить состав выборки.Разбор
Когда фича доступна не всем, фактическая population теста сужается до обновившихся, и это может зависеть от активности. Даже при рандомизации внутри этой подгруппы выводы могут не переноситься на всех пользователей. Типичная ошибка — считать, что тест измеряет эффект на всей аудитории, хотя на самом деле измеряется эффект на подвыборке.
Проверь себя · 1/3разбор после ответа
Вы измеряете удовлетворённость поддержкой и отправляете опрос только пользователям, у которых тикет закрыт статусом 'resolved'. Какой bias наиболее вероятен?
Ещё вопросы по теме «Выборка и смещение»
- Вы хотите оценить средний чек за неделю для всех пользователей продукта. У вас есть данные по 5% пользователей, отобранных случайно. Что в этой задаче является `population`?
- Вы измерили NPS только у iOS-пользователей через in-app опрос и хотите распространить результат на всех пользователей. Какой риск здесь ключевой?
- Вы выложили ссылку на опрос в соцсетях и получили ответы в основном от людей с сильным недовольством продуктом. Какое смещение наиболее вероятно?
- Аналитик посчитал средний доход на пользователя только среди тех, кто остался активным до 30-го дня, и сделал вывод о среднем доходе всех новичков. Какой bias здесь наиболее характерен?
- В опросе пользователи систематически занижают свой доход. Как лучше всего описать проблему в терминах качества данных?
- Все вопросы по «Выборка и смещение» →