Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
AВ тестовой группе разрешено одновременно поменять и текст кнопки оплаты, и её цвет для надёжности результата
BКонтрольная и тестовая группы должны совпадать во всём, кроме одного тестируемого изменения интерфейса
CГруппы должны заметно отличаться составом пользователей, чтобы эффект изменения был лучше виден на метриках
DВ контрольной группе метрику можно не измерять: достаточно собирать данные только в тестовой группе после релиза
Правильный ответ. В корректном эксперименте контрольная и тестовая группы должны отличаться только тестируемым фактором.
Разбор
Если вместе с текстом поменять ещё что-то, станет непонятно, что именно вызвало разницу в метриках. Поэтому в контрольной группе оставляют текущий опыт, а в тестовой вводят ровно одно изменение. Состав пользователей, наоборот, должен быть как можно более похожим — это обеспечивает рандомизация. И метрику нужно считать в обеих группах, иначе сравнивать будет не с чем.
Проверь себя · 1/3разбор после ответа
Компания тестирует новый дашборд для менеджеров по продажам. Тестовой группе сообщили, что они участвуют в эксперименте по повышению эффективности. Продажи в тестовой группе выросли на 12%. Что может искажать результат?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
- Все вопросы по «Основы A/B-тестирования» →