Два независимых эксперимента одновременно меняют одну и ту же страницу оформления заказа, оба рандомизируются по user_id. Аудитории пересекаются. Какое решение лучше всего, чтобы интерпретация результатов была надёжной?
AЗапустить оба эксперимента и интерпретировать каждый отдельно, считая взаимодействие пренебрежимо малым в среднем по выборке.
BИспользовать взаимоисключающие слои разбивки или заранее планировать факторный дизайн
2x2 с явным учётом взаимодействий.CПерейти на рандомизацию по
session_id вместо user_id, тогда пересечения аудиторий перестанут влиять на сравнение.DОстановить один из экспериментов и перенести его на спокойный участок воронки, где аудитории заведомо не пересекаются.
Правильный ответ. Если эксперименты делят одну страницу, нужны взаимоисключающие слои или явный факторный дизайн с учётом взаимодействий.
Разбор
Когда два теста меняют одну и ту же поверхность и аудитории пересекаются, эффект каждого зависит от того, в какой комбинации варианты увидел пользователь. Чтобы этого избежать, проектируют слои так, чтобы пользователь попадал ровно в один эксперимент, либо строят факторный дизайн 2x2, где явно оцениваются и основные эффекты, и взаимодействие. Простая «параллельная» интерпретация теряет точность, потому что эффекты переплетаются. Замена единицы рандомизации на сессию пересечения не убирает: те же пользователи продолжают переключаться между вариантами.
Проверь себя · 1/3разбор после ответа
Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн
2x2 вместо взаимного исключения аудиторий?Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →