Как чаще всего рассчитывают относительный lift метрики между treatment и control?
A
lift = treatment + controlB
lift = (treatment - control) / controlC
lift = (control - treatment) / treatmentD
lift = treatment / controlПравильный ответ. Относительный
lift — это разница, нормированная на базовое значение control.Разбор
Формула lift = (treatment - control) / control показывает, на сколько процентов treatment отличается от базы. Это удобно для сравнения эффектов между метриками с разными масштабами. Важно помнить, что абсолютный эффект при этом считается как treatment - control в исходных единицах.
Проверь себя · 1/3разбор после ответа
Команда запустила новый дизайн карточки товара в A/B-тесте. В первые три дня конверсия в тестовой группе на 15% выше, но к концу второй недели разница упала до 2%. Как грамотно учесть эффект новизны?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →