Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения control и treatment?
AВ
treatment можно одновременно поменять текст и цвет кнопки, так результат будет надёжнееBВ
control и treatment всё одинаково, кроме тестируемого измененияCГруппы должны отличаться составом пользователей, чтобы эффект был заметнее
DВ
control нельзя измерять метрику, измерять нужно только в treatmentПравильный ответ. В хорошем эксперименте
control и treatment должны отличаться только тестируемым фактором.Разбор
Если вместе с текстом поменять ещё что-то, станет непонятно, что именно вызвало разницу в метриках. Поэтому в control оставляют текущий опыт, а в treatment вводят ровно одно изменение. Так проще связать наблюдаемую разницу с конкретной причиной.
Проверь себя · 1/3разбор после ответа
Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения
control и treatment?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
- Все вопросы по «Основы A/B-тестирования» →