Конверсия в control 10%, в treatment 11%. Как корректно описать абсолютный и относительный lift?
AАбсолютный
lift 10%, относительный 1 процентный пунктBАбсолютный
lift 1%, относительный 11%CАбсолютный
lift 11%, относительный 10%DАбсолютный
lift +1 процентный пункт, относительный lift +10%Правильный ответ. Абсолютный
lift — разница в процентных пунктах, относительный lift — отношение разницы к базовой величине.Разбор
Абсолютная разница: 11% − 10% = 1 процентный пункт. Относительный lift считается относительно базы: (11% − 10%) / 10% = 10%. Эти два числа отвечают на разные вопросы и не должны путаться.
Проверь себя · 1/3разбор после ответа
Вы сравнили метрику до изменения и после изменения и увидели рост. Какой риск чаще всего делает такой вывод о причинности ненадёжным?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
- Все вопросы по «Основы A/B-тестирования» →