Вы хотите повысить мощность теста с 0.6 до 0.8, сохранив уровень значимости и тот же целевой эффект. Какой шаг наиболее напрямую помогает добиться этого?
AУменьшить уровень значимости с 0.05 до 0.01, чтобы критерий стал строже и чаще обнаруживал реальный эффект в группах
BРазбить трафик на 5 сегментов и анализировать каждый отдельно при том же общем объёме, чтобы не пропустить локальные эффекты
CСократить окно наблюдения, чтобы быстрее закончить тест, даже если метрика по дням станет заметно более шумной
DУвеличить размер выборки, чтобы снизить стандартную ошибку оценки и тем самым повысить шанс обнаружить тот же эффект
Правильный ответ. При фиксированном уровне значимости самый прямой рычаг для роста мощности — увеличить выборку или снизить шум метрики.
Разбор
Рост выборки снижает стандартную ошибку и повышает вероятность обнаружить заданный эффект, то есть снижает вероятность ошибки II рода и повышает мощность. Уменьшение уровня значимости делает критерий строже и обычно снижает мощность при той же выборке. Дополнительное дробление на сегменты или шумная метрика при коротком окне ухудшают обнаружение эффекта.
Проверь себя · 1/3разбор после ответа
Какое утверждение про
p-value наиболее верное?Ещё вопросы по теме «Основы проверки гипотез»
- В A/B тесте вы сравниваете конверсию между вариантами A и B. Какая формулировка `H0`/`H1` корректна для двусторонней проверки отличий?
- Как корректно интерпретировать значение `p-value` = 0.03 в проверке статистических гипотез?
- При уровне значимости 0.05 получено `p-value` = 0.04. Какое решение соответствует стандартному правилу проверки гипотез?
- Что означает выбор уровня значимости `alpha` = 0.01 в терминах ошибки I рода?
- Что обозначает параметр `beta` в проверке гипотез?
- Все вопросы по «Основы проверки гипотез» →