Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне user_id. Какую unit of randomization (единица рандомизации) выбрать, чтобы минимизировать смешение вариантов?

AРандомизировать по user_id и анализировать на user_id
BРандомизировать по session_id, так будет больше наблюдений
CРандомизировать по device_id, чтобы учитывать устройство
DРандомизировать по каждому просмотру страницы, чтобы ускорить тест
Правильный ответ. Единица рандомизации должна быть стабильной для объекта, по которому вы измеряете эффект, иначе один и тот же объект может попасть в обе группы.

Разбор

Если рандомизировать по session_id, один и тот же user_id может увидеть оба варианта в разные визиты, и эффект размоется. Это создает contamination и ухудшает интерпретацию конверсии за 7 дней. Рандомизация по user_id делает назначение стабильным и согласует unit of randomization (единица рандомизации) с метрикой.

Проверь себя · 1/3разбор после ответа
Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн 2x2 вместо взаимного исключения аудиторий?
Тренировать A/B в Telegram

Ещё вопросы по теме «Дизайн эксперимента и рандомизация»