Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн 2x2 вместо взаимного исключения аудиторий?

AВсегда, потому что 2x2 автоматически лучше любого другого дизайна
BТолько когда аудитории не пересекаются, иначе эксперимент станет некорректным
CТолько когда нельзя разделить пользователей по bucketing (разбивка пользователей на группы)
DКогда важно оценить взаимодействие факторов и есть достаточная мощность на все 4 комбинации вариантов
Правильный ответ. Факторный дизайн полезен, если вы сознательно допускаете пересечение и хотите оценить не только главные эффекты, но и взаимодействие.

Разбор

В 2x2 вы получаете четыре группы и можете оценить как эффект каждого фактора, так и их взаимодействие. Это удобно, если изменения потенциально влияют друг на друга и вы хотите это измерить. Однако каждая ячейка получает меньшую долю трафика, поэтому требуется больше времени или аудитории для достаточной точности. Если взаимодействие не важно, часто проще и безопаснее использовать взаимное исключение аудиторий.

Проверь себя · 1/3разбор после ответа
Вы делаете bucketing (разбивка пользователей на группы) как hash(user_id + day) % 2, где day — текущая дата. Что самое вероятное следствие для эксперимента?
Тренировать A/B в Telegram

Ещё вопросы по теме «Дизайн эксперимента и рандомизация»