Ежедневный поток подходящих под тест пользователей удвоился, а требуемый размер выборки на группу и разбиение 50/50 не изменились. Что ожидаемо произойдёт с длительностью теста?
AДлительность теста вырастет примерно в 2 раза, потому что больший поток трафика вносит больше шума в оценку эффекта
BДлительность теста не изменится, потому что требуемый размер выборки зависит только от уровня значимости
alphaCДлительность теста уменьшится примерно в 4 раза, потому что увеличение потока ускоряет набор выборки квадратично
DДлительность теста уменьшится примерно в 2 раза, потому что скорость набора нужного размера выборки удвоилась
Правильный ответ. При фиксированном размере выборки и стабильном
50/50 длительность примерно обратно пропорциональна потоку: трафик ×2 → длительность ≈ /2.Разбор
Если в день приходит вдвое больше подходящих под тест пользователей, то вдвое быстрее набираются обе группы — N_treat и N_control. При тех же целевых размерах выборки на группу это примерно вдвое сокращает календарную длительность. Уровень значимости alpha влияет на сам требуемый размер выборки, но не на скорость её набора. На практике поправку могут давать выходные и сезонность, но базовая зависимость остаётся почти линейной.
Проверь себя · 1/3разбор после ответа
Калькулятор размера выборки дал требование
N_treat = 20000 и N_control = 20000. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →