В огромной выборке вы получили статистически значимый результат: p-value < alpha, но рост метрики составил всего +0.05 п.п. Что важнее всего проверить дальше?
AПрактическую значимость: окупается ли эффект и важен ли он для продукта, несмотря на
p-valueBЧто
p-value равен вероятности того, что H1 вернаCЧто нужно всегда уменьшать
alpha, если эффект маленькийDЧто эффект обязан быть большим, раз он значим
Правильный ответ. Статистическая значимость (
p-value) не равна практической полезности эффекта.Разбор
При большой выборке даже очень маленький эффект может стать статистически значимым. Поэтому важно оценить размер эффекта, бизнес-ценность, риски внедрения и влияние на сегменты. Типичная ловушка — принимать решение только по p-value, игнорируя практическую значимость.
Проверь себя · 1/3разбор после ответа
Когда уместно использовать одностороннюю альтернативу
H1: delta > 0 вместо двусторонней H1: delta ≠ 0?Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете метрику `conversion` между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке гипотез?
- При уровне значимости `alpha` = 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки?
- Что означает выбор `alpha` = 0.01 в терминах `ошибка I рода`?
- Что такое `beta` в проверке гипотез?
- Все вопросы по «Основы проверки гипотез» →