Вы заранее формулируете H1 как рост конверсии в тестовой группе по сравнению с контрольной. Какая H0 соответствует односторонней проверке?
A
H0: конверсии в группах различаются в любую сторону без указания направления эффектаB
H0: конверсия в тестовой группе не выше конверсии в контрольной группе по итогам экспериментаC
H0: конверсия в тестовой группе строго выше конверсии в контрольной группе по итогам экспериментаD
H0: рандомизация распределяет пользователей между тестом и контролем ровно в пропорции 50/50Правильный ответ. При односторонней проверке
H0 обычно утверждает, что улучшения нет: эффект нулевой или отрицательный.Разбор
Если H1 говорит про рост метрики, то нулевая гипотеза должна покрывать все случаи без улучшения: и отсутствие разницы, и ухудшение. Поэтому H0 формулируют как «метрика в тесте не выше, чем в контроле». Это фиксирует направление проверки и помогает корректно трактовать результат p-value. Двусторонняя формулировка, обратное направление или утверждение про распределение 50/50 — это другие гипотезы и не соответствуют односторонней проверке роста.
Проверь себя · 1/3разбор после ответа
Тест нового онбординга: через месяц средний чек оставшихся пользователей тестовой группы на 25% выше контроля. Но retention в тестовой группе на 10% ниже — больше пользователей ушли. Что не так с выводом о росте среднего чека?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →