Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
AАбсолютный прирост 10 процентных пунктов, относительный прирост 1 процент
BАбсолютный прирост 1 процент, относительный прирост 11 процентов
CАбсолютный прирост 11 процентных пунктов, относительный прирост 10 процентов
DАбсолютный прирост +1 процентный пункт, относительный прирост +10 процентов
Правильный ответ. Абсолютный прирост — разница в процентных пунктах, относительный — отношение разницы к базовой величине.
Разбор
Абсолютная разница: 11% − 10% = 1 процентный пункт. Относительный прирост считается относительно базы: (11% − 10%) / 10% = 10%. Эти два числа отвечают на разные вопросы и не должны путаться: первое описывает разницу в долях, второе — во сколько раз стало больше.
Проверь себя · 1/3разбор после ответа
Продакт-менеджер видит, что через три дня после запуска A/B-теста p-value равен 0.03. Он хочет остановить тест и раскатить изменение. Какой подход к остановке теста будет корректным?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
- Все вопросы по «Основы A/B-тестирования» →