Часть пользователей не авторизована, и вы используете device_id для bucketing (разбивка пользователей на группы), а после логина появляется user_id. Что лучше сделать, чтобы один человек не увидел оба варианта при переходе в авторизованное состояние?

AНичего, смена варианта при логине не влияет на результат
BКаждый раз пересчитывать вариант от user_id и игнорировать прошлый вариант на device_id
CСвязать device_id и user_id и закрепить вариант при первом известном идентификаторе, чтобы вариант не менялся при логине
DНазначать вариант по времени суток, тогда логин не важен
Правильный ответ. В идентификационных цепочках важно обеспечить стабильность назначения при смене идентификатора, иначе появляется contamination.

Разбор

Если до логина пользователь в одном варианте, а после логина автоматически попадает в другой, то опыт становится смешанным. Это особенно критично для метрик с окном в несколько дней и для сценариев, где пользователь может логиниться часто. Практика — хранить закрепленное назначение и переносить его при объединении device_id с user_id. Так bucketing (разбивка пользователей на группы) остается стабильным для одного человека.

Проверь себя · 1/3разбор после ответа
Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн 2x2 вместо взаимного исключения аудиторий?
Тренировать A/B в Telegram

Ещё вопросы по теме «Дизайн эксперимента и рандомизация»