Вы рандомизируете по device_id, но метрика — доля пользователей, совершивших покупку за неделю, считается на уровне аккаунта user_id (часть пользователей имеет два устройства). Что корректнее?
AРандомизировать на уровне
user_id или учётной записи, чтобы один человек не оказался в обоих вариантах через разные устройства.BОставить рандомизацию по
device_id, а потом просто суммировать покупки в разрезе user_id при подсчёте итоговой метрики на аккаунт.CРандомизировать по
session_id, потому что сессия ближе к моменту покупки и метрика будет точнее отражать поведение в варианте.DРандомизировать по типу устройства (мобильное или десктоп), чтобы распределение пользователей между вариантами было сбалансированным.
Правильный ответ. Если у одного
user_id несколько устройств, рандомизация по устройству ведёт к смешению вариантов внутри пользователя.Разбор
Пользователь с двумя устройствами может одновременно попасть и в тестовую, и в контрольную группу, что размывает наблюдаемый эффект. Это особенно плохо для метрик, которые считаются на уровне аккаунта за период наблюдения. В таких задачах единицу рандомизации выбирают на уровне user_id или другой устойчивой учётной записи. Так каждый пользователь получает один и тот же вариант на всех своих устройствах.
Проверь себя · 1/3разбор после ответа
Вы делаете разбивку пользователей на группы как
hash(user_id + day) % 2, где day — текущая дата. Что самое вероятное следствие для эксперимента?Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →