Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне user_id. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
AРандомизировать по
session_id: больше наблюдений и точность оценки эффекта вырастетBРандомизировать по
device_id, чтобы корректно учитывать поведение пользователя на разных устройствахCРандомизировать по
user_id и анализировать на уровне user_id, чтобы один человек видел один вариантDРандомизировать по каждому показу страницы
pageview для ускорения набора статистикиПравильный ответ. Юнит рандомизации должен совпадать с юнитом метрики: для конверсии за 7 дней на пользователя — это
user_id.Разбор
Если метрика считается на уровне пользователя за 7 дней, рандомизация тоже должна быть по user_id, иначе один человек увидит оба варианта и эффект «размажется». При рандомизации по сессии или показу страницы один и тот же пользователь попадёт сразу в обе группы, и сравнение перестанет отвечать на вопрос «кто бы конвертировался, если бы ему всегда показывали B». device_id тоже плох, потому что один пользователь часто заходит с нескольких устройств, и опять смешает группы.
Проверь себя · 1/3разбор после ответа
Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн
2x2 вместо взаимного исключения аудиторий?Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Ожидаемое разбиение — 50/50. По логам экспозиций видно `N_treat / N_control = 1.30`. Какой вывод и следующий шаг наиболее корректны?
- Все вопросы по «Дизайн эксперимента и рандомизация» →