Два эксперимента имеют одинаковый размер выборки и одинаковый средний эффект, но во втором дисперсия метрики выше. Что обычно происходит с power во втором эксперименте?
A
power увеличивается, потому что данных большеB
power не меняется, потому что эффект тот жеC
power уменьшается, потому что сигнал труднее отличить от шумаD
power становится равным alphaПравильный ответ. Большая дисперсия повышает шум и обычно снижает
power при фиксированной выборке.Разбор
При более высокой дисперсии стандартная ошибка оценки эффекта больше, и тесту сложнее отличить реальный эффект от случайных колебаний. Это повышает вероятность beta и снижает power. Практический вывод — иногда полезнее стабилизировать метрику или изменить дизайн, чем просто «ждать значимости».
Проверь себя · 1/3разбор после ответа
При фиксированном размере выборки и фиксированном реальном эффекте что обычно произойдёт с
beta, если уменьшить alpha (сделать критерий строже)?Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете метрику `conversion` между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке гипотез?
- При уровне значимости `alpha` = 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки?
- Что означает выбор `alpha` = 0.01 в терминах `ошибка I рода`?
- Что такое `beta` в проверке гипотез?
- Все вопросы по «Основы проверки гипотез» →