Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн 2x2 вместо взаимного исключения аудиторий?
AВсегда, потому что
2x2 автоматически лучше любого другого дизайнаBТолько когда аудитории не пересекаются, иначе эксперимент станет некорректным
CТолько когда нельзя разделить пользователей по
bucketing (разбивка пользователей на группы)DКогда важно оценить взаимодействие факторов и есть достаточная мощность на все 4 комбинации вариантов
Правильный ответ. Факторный дизайн полезен, если вы сознательно допускаете пересечение и хотите оценить не только главные эффекты, но и взаимодействие.
Разбор
В 2x2 вы получаете четыре группы и можете оценить как эффект каждого фактора, так и их взаимодействие. Это удобно, если изменения потенциально влияют друг на друга и вы хотите это измерить. Однако каждая ячейка получает меньшую долю трафика, поэтому требуется больше времени или аудитории для достаточной точности. Если взаимодействие не важно, часто проще и безопаснее использовать взаимное исключение аудиторий.
Проверь себя · 1/3разбор после ответа
Вы делаете
bucketing (разбивка пользователей на группы) как hash(user_id + day) % 2, где day — текущая дата. Что самое вероятное следствие для эксперимента?Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую `unit of randomization` (единица рандомизации) выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из `treat` отправляет приглашения друзьям, которые попадают в `control` и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит `interference`?
- Вы делаете `bucketing` (разбивка пользователей на группы) как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →