Вы держите MDE и power фиксированными, но хотите снизить alpha с 5% до 1%. Что в среднем произойдет с требуемым sample size?
A
sample size увеличится, потому что при меньшем alpha критерий строже при тех же MDE и powerB
sample size уменьшится, потому что меньший alpha означает меньше проверокC
sample size не изменится, потому что alpha влияет только на интерпретацию p-valueD
sample size станет ровно в 2 раза больше независимо от метрикиПравильный ответ. Уменьшение
alpha делает критерий строже и обычно увеличивает требуемый sample size при фиксированных MDE и power.Разбор
Когда вы снижаете alpha, вы уменьшаете допустимую вероятность ложноположительного вывода. Чтобы при этом сохранить прежний power для того же MDE, нужно больше данных, иначе тест будет слишком консервативным. Поэтому требуемый sample size на группу обычно растет.
Проверь себя · 1/3разбор после ответа
Калькулятор дал требование
N_treat = 20000 и N_control = 20000 по user_id. В эксперимент ежедневно попадает 5000 новых user_id, разбиение 50/50. Какая минимальная test duration в днях, если трафик стабилен?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы повышаете требование к `power` с 80% до 90% при фиксированных `alpha` и `MDE`. Что ожидаемо случится с `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →