Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
AРандомизировать по
user_id по всей стране, чтобы каждый пользователь независимо попал в одну из двух групп экспериментаBРандомизировать на уровне отдельного заказа, чтобы получить максимум независимых наблюдений и быстрее набрать статистическую мощность
CРандомизировать по кластеру (например, по зоне или смене курьеров), чтобы взаимодействия через общий ресурс не смешивали варианты
DРандомизировать по
session_id пользователя, чтобы посетители видели одинаковый вариант алгоритма в течение одной сессии заказаПравильный ответ. При сильной взаимосвязи через общие ресурсы помогает рандомизация на уровне кластера, чтобы взаимодействия оставались внутри кластеров.
Разбор
Если один курьер одновременно обслуживает тестовую и контрольную группы, изменения в маршрутизации и очередях будут влиять на обе группы. Это приводит к перетеканию эффекта и нарушению предпосылок независимости. Рандомизация по кластеру, связанному с общим ресурсом (зона, смена, склад), уменьшает смешивание вариантов. Цена такого решения — меньшая статистическая мощность, потому что независимых наблюдений становится меньше.
Проверь себя · 1/3разбор после ответа
Вы хотите сегментировать результаты по VIP, где VIP — пользователи с покупками за последние 30 дней. Но тест влияет на покупки, поэтому VIP-статус может измениться из-за самого теста. Как поступить, если цель — честная сегментация эффекта?
Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Ожидаемое разбиение — 50/50. По логам экспозиций видно `N_treat / N_control = 1.30`. Какой вывод и следующий шаг наиболее корректны?
- Все вопросы по «Дизайн эксперимента и рандомизация» →