Как обычно определяют группу treatment в A/B test?
AЭто группа с меньшим размером выборки, чтобы снизить риски
BЭто группа, где показывают старую версию, чтобы сравнить с новой
CЭто группа, где показывают новое изменение, которое тестируют
DЭто группа, где метрика не измеряется, чтобы не было шума
Правильный ответ.
treatment — это вариант, в который внесли тестируемое изменение.Разбор
В типичном эксперименте control получает текущий опыт, а treatment — новую версию или новое правило. Так легче трактовать разницу в метриках как эффект внедрения изменения. Если перепутать определения, можно неверно интерпретировать знак и величину эффекта.
Проверь себя · 1/3разбор после ответа
Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения
control и treatment?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →