ARPU в контрольной группе равен 200, в тестовой — 210. Как корректно описать абсолютный и относительный эффект?
AАбсолютный эффект
200, относительный эффект 210BАбсолютный эффект
+5%, относительный эффект +10 единицCАбсолютный эффект
+10 единиц, относительный эффект +5%DАбсолютный эффект
+10%, относительный эффект +10 единиц ARPUПравильный ответ. Абсолютный эффект — разница в единицах метрики (210 − 200 = 10), относительный — та же разница в процентах от базы контроля (10 / 200 = 5%).
Разбор
ARPU вырос с 200 до 210, поэтому абсолютный эффект — это +10 денежных единиц. Относительный эффект считается как изменение, делённое на базу контрольной группы: 10 / 200 = 0.05, то есть +5%. Подставлять сами значения метрик вместо разницы или путать местами проценты и денежные единицы — типичные ошибки. И обратите внимание: +10% в качестве абсолютного эффекта — это всё ещё процент, а не абсолютная величина.
Проверь себя · 1/3разбор после ответа
В эксперименте с новым баннером 30% пользователей тестовой группы не дошли до экрана с баннером и не увидели изменение. Как правильно посчитать конверсию по принципу intention-to-treat?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →