Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
A
H0: конверсия в тестовой группе равна конверсии в контрольной, H1: конверсии в тестовой и контрольной различаютсяB
H0: конверсия в тестовой группе выше контрольной, H1: конверсия в обеих группах одинакова при двустороннем тестеC
H0: конверсия в тестовой группе всегда ниже контрольной, H1: конверсия в тестовой всегда строго выше контрольнойD
H0: конверсия выросла на 10% относительно базы, H1: конверсия выросла ровно на 5% относительно той же базыПравильный ответ. Обычно
H0 формулируют как отсутствие эффекта, а H1 — как наличие отличий.Разбор
В двустороннем тесте нас интересует любое изменение метрики, а не только рост или падение. Поэтому стандартно H0 — равенство метрик в контрольной и тестовой группах. Альтернатива H1 — метрики различаются, то есть эффект не равен нулю. Формулировки про «всегда выше» или конкретные численные эффекты не описывают пару гипотез корректно.
Проверь себя · 1/3разбор после ответа
Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
- Все вопросы по «Основы A/B-тестирования» →