Вы тестируете изменение в рекомендациях, и один пользователь может зайти несколько раз. Какой выбор единицы рандомизации чаще всего снижает риск смешения control/treatment для одного и того же человека?
AРандомизация на уровне события, чтобы быстрее набрать выборку
BРандомизация на уровне страницы, чтобы один пользователь видел оба варианта
CРандомизация на уровне пользователя, чтобы один и тот же пользователь всегда попадал в один вариант (
control или treatment)DРандомизация на уровне региона, чтобы проще анализировать
Правильный ответ. Для большинства продуктовых метрик безопаснее фиксировать вариант на уровне пользователя, чтобы не смешивать
control/treatment.Разбор
Если один пользователь видит разные варианты, его поведение может зависеть от сравнения или путаться, и эффект станет трудно интерпретировать. Рандомизация по пользователю помогает избежать контаминации: человек остаётся либо в control, либо в treatment. Это особенно важно, когда primary metric измеряется на уровне пользователя или заказа.
Проверь себя · 1/3разбор после ответа
Эксперимент длился 2 дня и пришёлся только на выходные, а в будни поведение заметно другое. Какой риск наиболее важен?
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →