Эксперимент завершился по плану, но p-value > alpha. Какое заключение наиболее корректно, если вы заранее планировали MDE и целевую мощность?
AНет статистических оснований подтверждать эффект размером
MDE и больше при заданных уровне значимости и мощности, но меньший эффект всё ещё возможенBЭффекта точно нет, потому что
p-value > alpha, а значит нулевая гипотеза доказана и обсуждать дальше нечегоCНужно немедленно увеличить уровень значимости до 50%, иначе тесты бессмысленны и никакой эффект никогда не получится подтвердить
DЭто обязательно
SRM, ведь раз значимости нет, значит распределение пользователей по группам сломалось ещё на старте тестаПравильный ответ. Если тест спланирован под
MDE и заданную мощность, то p-value > alpha означает: эффект уровня MDE не подтвердился; это не доказательство нуля.Разбор
Если эксперимент был спланирован на обнаружение эффекта размером MDE с целевой мощностью, то отсутствие значимости говорит, что такой эффект не подтвердился на данных. Однако это не доказывает нулевой эффект: реальный эффект может быть меньше MDE или зависеть от сегментов. Корректная интерпретация — связать результат с заранее заданным MDE и границами чувствительности теста. Поднимать уровень значимости до 50% или объявлять SRM без проверки баланса групп некорректно.
Проверь себя · 1/3разбор после ответа
Грубо, при фиксированных уровне значимости, мощности и дисперсии, если уменьшить MDE в 2 раза, как изменится требуемый размер выборки?
Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →