Вы получили статистически значимую разницу, но lift очень маленький. Что лучше сделать перед решением о запуске?
AОценить
effect size в бизнес-единицах (деньги, пользователи) и понять, окупается ли изменениеBЗапускать всегда, если эффект статистически заметен, независимо от размера
CИгнорировать размер эффекта, потому что важна только
H0DОтменить тест, потому что маленький
lift означает ошибку в данныхПравильный ответ. Решение о запуске должно учитывать и статистику, и практический
effect size.Разбор
Даже маленький lift может быть важен для крупного продукта, но может быть бессмысленен при высоких издержках. Поэтому полезно перевести эффект в понятные бизнес-показатели и сравнить с затратами и рисками. A/B test отвечает на вопрос о причинности, но решение о внедрении зависит от ценности эффекта.
Проверь себя · 1/3разбор после ответа
После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без
A/B test нельзя уверенно сказать, что рост вызван именно редизайном?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →