ARPU в control равен 200, в treatment равен 210. Как корректно описать абсолютный и относительный эффект?
AАбсолютный эффект 200, относительный эффект 210
BАбсолютный эффект 5%, относительный эффект 10
CАбсолютный эффект +10, относительный
lift +5%DАбсолютный эффект +5%, относительный
lift +10Правильный ответ. Абсолютный эффект измеряется в тех же единицах, что метрика, а относительный
lift — в процентах от базы control.Разбор
Абсолютная разница: 210 − 200 = 10 единиц ARPU. Относительный lift по формуле (210 − 200) / 200 равен 5%. В продуктовых решениях полезно смотреть на оба: абсолютный эффект для денег и относительный для сопоставления между метриками.
Проверь себя · 1/3разбор после ответа
Команда запустила новый дизайн карточки товара в A/B-тесте. В первые три дня конверсия в тестовой группе на 15% выше, но к концу второй недели разница упала до 2%. Как грамотно учесть эффект новизны?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →