Вы получили статистически значимую разницу, но прирост метрики очень маленький. Что лучше сделать перед решением о запуске?
AПеревести размер эффекта в бизнес-единицы (деньги, пользователи) и сравнить с издержками внедрения
BЗапускать сразу, как только эффект статистически значим, без оценки размера и затрат на внедрение
CИгнорировать размер эффекта и опираться только на факт отвержения нулевой гипотезы по тесту
DОтменить тест, потому что маленький прирост обычно означает ошибку в данных или метрике
Правильный ответ. Решение о запуске должно учитывать и статистику, и практический размер эффекта в бизнес-единицах.
Разбор
Статистическая значимость говорит лишь о том, что эффект, скорее всего, не нулевой, но не отвечает на вопрос, важен ли он. Маленький прирост может быть ценен для крупного продукта и бессмысленен при высоких издержках разработки и поддержки. Поэтому полезно перевести размер эффекта в понятные бизнес-показатели — деньги, пользователей, заказы — и сравнить с затратами и рисками. Игнорировать размер эффекта или автоматически отменять тест из-за маленького прироста — обе крайности ведут к плохим решениям.
Проверь себя · 1/3разбор после ответа
ARPU в контрольной группе равен 200, в тестовой — 210. Как корректно описать абсолютный и относительный эффект?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →