Если вы заранее формулируете H1 как рост конверсии в treatment по сравнению с control, какая H0 соответствует односторонней проверке?
A
H0: конверсии различаются в любую сторонуB
H0: конверсия в treatment не выше конверсии в controlC
H0: конверсия в treatment строго выше конверсии в controlD
H0: randomization распределяет пользователей 50/50Правильный ответ. Для одностороннего теста
H0 обычно утверждает, что улучшения нет (эффект нулевой или отрицательный).Разбор
Если H1 говорит про рост метрики, то нулевая гипотеза должна покрывать все случаи без улучшения: отсутствие разницы и ухудшение. Поэтому формулируют H0 как «метрика в treatment не выше, чем в control». Это фиксирует направление проверки и помогает избежать неправильных трактовок результата.
Проверь себя · 1/3разбор после ответа
Команда провела AA-тест на 100 000 пользователей. Конверсия в группе A — 4.8%, в группе B — 5.0%, p-value = 0.04. Обе группы видели одну и ту же версию. Как интерпретировать результат?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →