Вы тестируете новый алгоритм рекомендаций, метрика — средний чек. Какая формулировка нулевой гипотезы H0 наиболее стандартна?
A
H0: новый алгоритм рекомендаций обязан улучшить средний чек хотя бы на одну условную единицу для всех пользователей.B
H0: средний чек в тестовой группе равен среднему чеку в контрольной группе на интервале наблюдения эксперимента.C
H0: средний чек в тестовой группе вырастет ровно на 5% относительно контрольной группы по итогам всего эксперимента.D
H0: пользователи распределены строго пополам между тестовой и контрольной группами на всём интервале наблюдения эксперимента.Правильный ответ. Стандартная
H0 в A/B test — отсутствие эффекта, то есть равенство метрик между control и treatment.Разбор
Нулевая гипотеза обычно говорит, что изменение не влияет на метрику, и разница равна нулю. Это удобная точка отсчёта для статистической проверки. Альтернативная гипотеза H1 затем описывает, что метрики отличаются или что есть рост, если тест односторонний.
Проверь себя · 1/3разбор после ответа
Тест нового онбординга: через месяц средний чек оставшихся пользователей тестовой группы на 25% выше контроля. Но retention в тестовой группе на 10% ниже — больше пользователей ушли. Что не так с выводом о росте среднего чека?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →