Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн 2x2 вместо взаимного исключения аудиторий?
AВ любой ситуации: факторный дизайн
2x2 строго превосходит другие варианты запускаBТолько при непересекающихся аудиториях: иначе результаты обоих экспериментов искажаются
CТолько если разделить пользователей на сегменты по идентификатору технически невозможно
DКогда важно оценить взаимодействие факторов и есть мощность на все 4 комбинации
Правильный ответ. Факторный дизайн полезен, если вы сознательно допускаете пересечение и хотите оценить не только главные эффекты, но и взаимодействие.
Разбор
В дизайне 2x2 вы получаете четыре группы и можете оценить как эффект каждого фактора по отдельности, так и их взаимодействие. Это удобно, если изменения потенциально влияют друг на друга и важно это измерить. Однако каждая ячейка получает меньшую долю трафика, поэтому требуется больше времени или большая аудитория для достаточной точности. Если взаимодействие не интересует — проще и безопаснее запускать эксперименты со взаимным исключением аудиторий.
Проверь себя · 1/3разбор после ответа
Вы хотите сегментировать результаты по VIP, где VIP — пользователи с покупками за последние 30 дней. Но тест влияет на покупки, поэтому VIP-статус может измениться из-за самого теста. Как поступить, если цель — честная сегментация эффекта?
Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →