Вы тестируете новый алгоритм рекомендаций для части пользователей. В тестовой группе товар распродаётся быстрее, из-за чего пользователи из контрольной группы чаще видят сообщение «Нет в наличии». Как лучше всего описать эту проблему?
AЭто
SRM: итоговое распределение пользователей по группам отклонилось от ожидаемого 50/50, поэтому эффект искажён.BЭто обычный шум при ограниченной выборке, который скорее всего сгладится, если просто продлить тест на более долгий срок.
CЭто сбой
hash()-функции при разбиении: пользователи попали не в свои группы, а исчерпание инвентаря тут ни при чём.DЭто нарушение
SUTVA и взаимовлияние групп через общий инвентарь: исход в контроле зависит от назначения в тест.Правильный ответ. Когда поведение одной группы влияет на ресурсы другой, нарушается допущение
SUTVA и эффект чистого варианта оценить нельзя.Разбор
SUTVA (Stable Unit Treatment Value Assumption) предполагает, что исход у каждого пользователя зависит только от его собственного назначения. Если в тестовой группе быстрее распродаётся товар, контролю достаются худшие позиции — на исход контрольной группы напрямую повлияло то, что произошло в тесте. Это не SRM (там перекошены доли пользователей по группам), не «обычный шум» и не баг хеша: это структурное взаимовлияние через общий инвентарь, которое лечится изоляцией ресурсов между группами или специальными дизайнами эксперимента.
Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне
user_id. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →