Вы держите MDE и power фиксированными, но хотите снизить alpha с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
AРазмер выборки увеличится: при меньшем
alpha критерий строже при тех же MDE и power, поэтому нужно больше данныхBРазмер выборки уменьшится: меньший
alpha означает меньше необходимых проверок и более компактный план экспериментаCРазмер выборки не изменится:
alpha влияет только на интерпретацию p-value, а не на формулу расчёта количества данныхDРазмер выборки станет ровно в 2 раза больше независимо от метрики и наблюдаемой дисперсии в исходных данных
Правильный ответ. Уменьшение
alpha делает критерий строже и обычно увеличивает требуемый размер выборки при фиксированных MDE и power.Разбор
Когда вы снижаете alpha, вы уменьшаете допустимую вероятность ложноположительного вывода. Чтобы при этом сохранить прежний power для того же MDE, нужно больше данных, иначе тест будет слишком консервативным. Поэтому требуемый размер выборки на группу обычно растёт; конкретный коэффициент зависит от метрики и её дисперсии.
Проверь себя · 1/3разбор после ответа
Калькулятор размера выборки дал требование
N_treat = 20000 и N_control = 20000. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы повышаете требование к мощности теста с 80% до 90% при фиксированных уровне значимости и `MDE`. Что ожидаемо случится с размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →