Маркетплейс: тест меняет ранжирование для покупателей в тестовой группе, что увеличивает показы и продажи некоторых продавцов. Эти продавцы затем меняют цену или наличие, и это влияет на покупателей из контрольной группы. Какой вывод наиболее корректен?
AЭто чистый эффект,
SUTVA выполнено, потому что рандомизация по user_id корректна и группы покупателей разделены случайноBЭто
SRM (Sample Ratio Mismatch): продавцы меняют цены, а значит группы покупателей стали неравными по составуCЭто интерференция между сторонами рынка: возможно, потребуется другая единица рандомизации или дизайн, учитывающий двусторонние перетоки
DДостаточно увеличить выборку и продлить эксперимент: при большем объёме данных взаимное влияние сторон рынка нивелируется само собой
Правильный ответ. На двусторонних рынках часто нарушается
SUTVA, потому что воздействие на одну сторону меняет среду для другой.Разбор
Даже при корректной разбивке по user_id изменения у покупателей могут менять стимулы и поведение продавцов. Эти изменения затем возвращаются в виде другой среды и для пользователей из контрольной группы, создавая перетоки эффекта. В такой ситуации простое сравнение групп может не отражать изолированный эффект и требует осторожной интерпретации. Возможны альтернативы: рандомизация по рынку, категории или времени, а также дизайны, которые явно учитывают взаимодействие сторон. Главное — заранее признать риск интерференции и выбирать дизайн под структуру системы.
Проверь себя · 1/3разбор после ответа
Вы хотите сегментировать результаты по VIP, где VIP — пользователи с покупками за последние 30 дней. Но тест влияет на покупки, поэтому VIP-статус может измениться из-за самого теста. Как поступить, если цель — честная сегментация эффекта?
Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →