Как чаще всего рассчитывают относительный прирост метрики между тестовой и контрольной группами в A/B-тесте?
AСумма метрик в тестовой и контрольной группах, делённая на размер выборки
BРазница метрик между тестовой и контрольной группами, делённая на значение в контроле
CРазница метрик между контрольной и тестовой группами, делённая на значение в тесте
DОтношение метрики в тестовой группе к метрике в контрольной группе без вычитания
Правильный ответ. Относительный
lift — это разница, нормированная на базовое значение control.Разбор
Формула «разница, делённая на контроль» показывает, на сколько процентов значение в тестовой группе отличается от базы. Это удобно, чтобы сравнивать эффекты для метрик с разными масштабами и сообщать результат в процентах. Абсолютный эффект при этом считается просто как разница двух средних в исходных единицах. Деление на тест в знаменателе или простое отношение без вычитания дают другую величину и легко вводят в заблуждение при отчётности.
Проверь себя · 1/3разбор после ответа
Команда провела AA-тест на 100 000 пользователей. Конверсия в группе A — 4.8%, в группе B — 5.0%, p-value = 0.04. Обе группы видели одну и ту же версию. Как интерпретировать результат?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →