В эксперименте часть пользователей увидела и control, и treatment (например, на разных устройствах). Какое последствие наиболее вероятно?
AЭффект будет сложнее интерпретировать, а оценка может «размыться» из-за смешивания опыта
BНичего страшного, так эксперимент станет точнее, потому что один пользователь сравнивает оба варианта
CЭто гарантирует, что
randomization сработала идеальноDЭто автоматически означает, что
H0 вернаПравильный ответ. Если пользователи получают оба варианта, нарушается чистота сравнения
control и treatment и падает интерпретируемость эффекта.Разбор
Смешивание вариантов у одного пользователя создаёт контаминацию: опыт перестаёт быть строго разделён на две альтернативы. Это может уменьшить наблюдаемый effect size или даже изменить направление эффекта. Поэтому часто закрепляют вариант за пользователем и следят за тем, чтобы показы были консистентны между устройствами.
Проверь себя · 1/3разбор после ответа
Как обычно определяют группу
treatment в A/B test?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →