В тесте нового реферального механизма пользователь из treat отправляет приглашения друзьям, которые попадают в control и тоже меняют поведение. Какое допущение нарушается и почему это важно?
AНарушается
SRM (Sample Ratio Mismatch), потому что группы должны быть строго 50/50BНарушается требование одинаковых средних до старта, потому что у друзей разные интересы
CНарушается
SUTVA (Stable Unit Treatment Value Assumption), потому что исход пользователей из control зависит от назначения других пользователей через приглашенияDНарушается принцип случайности, потому что рефералы приходят только по выходным
Правильный ответ.
SUTVA (Stable Unit Treatment Value Assumption) требует отсутствия interference, то есть результат одного юнита не должен зависеть от назначения других.Разбор
Реферальные механики создают spillover: действия пользователей из treat меняют опыт тех, кто формально в control. В таком случае сравнение групп перестает измерять чистый эффект изменения, потому что контроль уже частично подвергся воздействию. Это может приводить к смещению оценки и сложной интерпретации причин. Часто помогают сетевые или кластерные дизайны, где минимизируют контакты между вариантами.
Проверь себя · 1/3разбор после ответа
Вы делаете
bucketing (разбивка пользователей на группы) как hash(user_id + day) % 2, где day — текущая дата. Что самое вероятное следствие для эксперимента?Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую `unit of randomization` (единица рандомизации) выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит `interference`?
- Вы делаете `bucketing` (разбивка пользователей на группы) как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Ожидаемое разбиение — 50/50. По логам экспозиций видно `N_treat / N_control = 1.30`. Какой вывод и следующий шаг наиболее корректны?
- Все вопросы по «Дизайн эксперимента и рандомизация» →