Вы тестируете новый алгоритм рекомендаций, метрика — средний чек. Какая формулировка H0 наиболее стандартна?
A
H0: средний чек в treatment равен среднему чеку в controlB
H0: новый алгоритм обязан улучшить средний чекC
H0: средний чек вырастет ровно на 5%D
H0: пользователи распределены строго 50/50 по группамПравильный ответ. Стандартная
H0 в A/B test — отсутствие эффекта, то есть равенство метрик между control и treatment.Разбор
Нулевая гипотеза обычно говорит, что изменение не влияет на метрику, и разница равна нулю. Это удобная точка отсчёта для статистической проверки. Альтернативная гипотеза H1 затем описывает, что метрики отличаются или что есть рост, если тест односторонний.
Проверь себя · 1/3разбор после ответа
Компания тестирует новый дашборд для менеджеров по продажам. Тестовой группе сообщили, что они участвуют в эксперименте по повышению эффективности. Продажи в тестовой группе выросли на 12%. Что может искажать результат?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →