В огромной выборке вы получили статистически значимый результат: p-value < alpha, но рост метрики составил всего +0.05 п.п. Что важнее всего проверить дальше?

AПрактическую значимость: окупается ли эффект и важен ли он для продукта, несмотря на p-value
BЧто p-value равен вероятности того, что H1 верна
CЧто нужно всегда уменьшать alpha, если эффект маленький
DЧто эффект обязан быть большим, раз он значим
Правильный ответ. Статистическая значимость (p-value) не равна практической полезности эффекта.

Разбор

При большой выборке даже очень маленький эффект может стать статистически значимым. Поэтому важно оценить размер эффекта, бизнес-ценность, риски внедрения и влияние на сегменты. Типичная ловушка — принимать решение только по p-value, игнорируя практическую значимость.

Проверь себя · 1/3разбор после ответа
Когда уместно использовать одностороннюю альтернативу H1: delta > 0 вместо двусторонней H1: delta ≠ 0?
Тренировать статистику в Telegram

Ещё вопросы по теме «Основы проверки гипотез»