Эксперимент рандомизируется по store_id (каждый магазин — кластер), потому что сотрудники влияют на опыт всех клиентов в магазине. Метрика — средний чек клиентов. Какая единица анализа чаще всего корректнее для вывода эффекта?
AСчитать метрику на уровне
store_id и сравнивать магазины, либо использовать стандартные ошибки с поправкой на кластеры по store_id.BСчитать каждый чек по
receipt_id независимым наблюдением, потому что чек отражает решение клиента и не зависит от других чеков магазина.CБрать только первые 10 чеков в каждом
store_id за период наблюдения, чтобы предполагаемая зависимость между наблюдениями стала пренебрежимо мала.DСменить единицу рандомизации на
user_id и анализировать эффект по пользователям, не учитывая, что назначение шло на уровне магазинов.Правильный ответ. При рандомизации по
cluster анализ должен учитывать кластерную структуру, иначе стандартные ошибки будут занижены.Разбор
Если рандомизируются магазины, то именно магазины являются независимыми единицами назначения. Считать каждый чек независимым значит игнорировать общие факторы внутри магазина, что обычно занижает дисперсию и делает выводы слишком оптимистичными. Типовой подход — считать метрику на уровне store_id или применять методы, учитывающие кластеризацию. Это согласует единицу анализа с единицей рандомизации.
Проверь себя · 1/3разбор после ответа
Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн
2x2 вместо взаимного исключения аудиторий?Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →