Вы тестируете новый текст рассылки и измеряете конверсию в покупку за неделю. Что обычно лучше выбрать как единицу randomization, чтобы один и тот же пользователь не попадал в разные варианты?
AРандомизировать по просмотру страницы, потому что так больше данных
BРандомизировать по клику, чтобы видеть только заинтересованных
CРандомизировать по пользователю (или аккаунту), чтобы каждый пользователь видел только один вариант
DНе рандомизировать вообще, достаточно сравнить с прошлой неделей
Правильный ответ. Выбор единицы
randomization должен предотвращать смешивание вариантов у одного и того же пользователя.Разбор
Если один пользователь увидит и control, и treatment, эффект может размыться или стать неинтерпретируемым. Для недельной метрики покупки обычно важно закрепить вариант за пользователем или аккаунтом. Так вы снижаете контаминацию и лучше соблюдаете идею сравнения двух альтернативных опытов.
Проверь себя · 1/3разбор после ответа
Компания тестирует новый дашборд для менеджеров по продажам. Тестовой группе сообщили, что они участвуют в эксперименте по повышению эффективности. Продажи в тестовой группе выросли на 12%. Что может искажать результат?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →