Эксперимент рандомизируется по store_id (каждый магазин — cluster), потому что сотрудники влияют на опыт всех клиентов в магазине. Метрика — средний чек клиентов. Какой unit of analysis чаще всего корректнее для вывода эффекта?
AКаждый чек как независимый, потому что чек отражает решение клиента
BАгрегировать метрику на уровне
store_id и сравнивать магазины или использовать кластерные ошибки по store_idCСчитать только первые 10 чеков в каждом магазине, тогда зависимость исчезнет
DСменить рандомизацию на
user_id, чтобы анализировать по пользователямПравильный ответ. При рандомизации по
cluster анализ должен учитывать кластерную структуру, иначе стандартные ошибки будут занижены.Разбор
Если рандомизируются магазины, то именно магазины являются независимыми единицами назначения. Считать каждый чек независимым значит игнорировать общие факторы внутри магазина, что обычно занижает дисперсию и делает выводы слишком оптимистичными. Типовой подход — считать метрику на уровне store_id или применять методы, учитывающие кластеризацию. Это согласует unit of analysis с unit of randomization (единица рандомизации).
Проверь себя · 1/3разбор после ответа
Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн
2x2 вместо взаимного исключения аудиторий?Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую `unit of randomization` (единица рандомизации) выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из `treat` отправляет приглашения друзьям, которые попадают в `control` и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит `interference`?
- Вы делаете `bucketing` (разбивка пользователей на группы) как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →