Вы провели A/B test и не смогли отвергнуть H0. Какая интерпретация наиболее корректна?
AЭто доказательство, что эффекта нет и варианты эквивалентны
BЭто означает, что
treatment точно хуже controlCЭто означает, что
H1 ложна во всех возможных условияхDЭто означает, что данных могло не хватить для обнаружения эффекта, и он всё ещё возможен
Правильный ответ. Неотвержение
H0 не доказывает отсутствие эффекта, а лишь говорит, что данных недостаточно, чтобы показать отличие.Разбор
Результат «не отвергли H0» означает, что наблюдаемые данные совместимы с гипотезой отсутствия эффекта. Это может случиться, если реальный effect size маленький или выборка недостаточна. Поэтому важно заранее определять ожидаемый эффект и интерпретировать результат вместе с практической значимостью.
Проверь себя · 1/3разбор после ответа
Как чаще всего рассчитывают относительный
lift метрики между treatment и control?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →