Какая пара гипотез корректна для двустороннего A/B test, где метрика — конверсия?
A
H0: конверсия в treatment выше, H1: конверсия одинаковаB
H0: конверсия в treatment всегда ниже, H1: конверсия всегда вышеC
H0: конверсия в treatment равна конверсии в control, H1: конверсии различаютсяD
H0: конверсия выросла на 10%, H1: конверсия выросла на 5%Правильный ответ. Обычно
H0 формулируют как отсутствие эффекта, а H1 — как наличие отличий.Разбор
В двустороннем тесте нас интересует любое изменение метрики, а не только рост или падение. Поэтому стандартно H0 — равенство метрик в control и treatment. Альтернатива H1 — метрики различаются, то есть эффект не равен нулю.
Проверь себя · 1/3разбор после ответа
Перед запуском A/B-теста аналитик предлагает неделю собирать данные по обеим группам без включения изменения. Зачем нужен этот пре-экспериментальный период?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
- Все вопросы по «Основы A/B-тестирования» →