Вы держите MDE и power фиксированными, но хотите снизить alpha с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?

AРазмер выборки увеличится: при меньшем alpha критерий строже при тех же MDE и power, поэтому нужно больше данных
BРазмер выборки уменьшится: меньший alpha означает меньше необходимых проверок и более компактный план эксперимента
CРазмер выборки не изменится: alpha влияет только на интерпретацию p-value, а не на формулу расчёта количества данных
DРазмер выборки станет ровно в 2 раза больше независимо от метрики и наблюдаемой дисперсии в исходных данных
Правильный ответ. Уменьшение alpha делает критерий строже и обычно увеличивает требуемый размер выборки при фиксированных MDE и power.

Разбор

Когда вы снижаете alpha, вы уменьшаете допустимую вероятность ложноположительного вывода. Чтобы при этом сохранить прежний power для того же MDE, нужно больше данных, иначе тест будет слишком консервативным. Поэтому требуемый размер выборки на группу обычно растёт; конкретный коэффициент зависит от метрики и её дисперсии.

Проверь себя · 1/3разбор после ответа
Калькулятор размера выборки дал требование N_treat = 20000 и N_control = 20000. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
Тренировать A/B в Telegram

Ещё вопросы по теме «Размер выборки и мощность теста»