Эксперимент завершился по плану, но p-value > alpha. Какое заключение наиболее корректно, если вы заранее планировали MDE и целевой power?
AНет статистических оснований подтверждать эффект размером
MDE и больше при заданных alpha и power, но меньший эффект всё ещё возможен.BЭффекта точно нет, потому что
p-value > alphaCНужно немедленно увеличить
alpha до 50%, иначе тесты бессмысленныDЭто обязательно
SRM (Sample Ratio Mismatch), потому что значимости нетПравильный ответ. Если тест спланирован под
MDE и заданный power, то p-value > alpha означает: эффект уровня MDE не подтвердился; это не доказательство нуля.Разбор
Если эксперимент был спланирован на обнаружение эффекта размером MDE с целевым power, то отсутствие значимости говорит, что такой эффект не подтвердился на данных. Однако это не доказывает нулевой эффект: реальный эффект может быть меньше MDE или зависеть от сегментов. Корректная интерпретация — связать результат с заранее заданным MDE и границами чувствительности теста.
Проверь себя · 1/3разбор после ответа
Что означает
beta в A/B тесте?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →