Вы тестируете изменение в рекомендациях, и один пользователь может зайти несколько раз. Какой выбор единицы рандомизации чаще всего снижает риск смешения контрольной и тестовой групп для одного и того же человека?
AРандомизация на уровне отдельного события: быстрее набрать выборку и за тот же период получить больше точек данных для статзначимости
BРандомизация на уровне пользователя: один и тот же человек попадает в одну группу и не видит сразу оба варианта изменения
CРандомизация на уровне отдельной страницы: один и тот же пользователь видит оба варианта и команда сразу собирает обратную связь
DРандомизация на уровне региона или города: проще анализировать результаты по геозонам и не пересекаться с маркетинговыми кампаниями
Правильный ответ. Для большинства продуктовых метрик безопаснее фиксировать вариант на уровне пользователя, чтобы не смешивать контроль и тест.
Разбор
Если один пользователь видит разные варианты, его поведение может зависеть от сравнения или путаться, и эффект станет трудно интерпретировать. Рандомизация по пользователю помогает избежать загрязнения: человек остаётся либо в контрольной, либо в тестовой группе. Это особенно важно, когда основная метрика измеряется на уровне пользователя или заказа. Рандомизация по событию или странице приводит к смешению вариантов внутри одного пользователя.
Проверь себя · 1/3разбор после ответа
Вы планировали сплит 50/50 между контролем и вариантом, но стабильно видите 62/38 по пользователям. Что это наиболее вероятно и что делать?
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →