Вы распределяете трафик не 50/50, а 90/10 в пользу treat при фиксированном общем трафике. Что ожидаемо произойдет с power для сравнения treat vs control при той же test duration?
A
power вырастет, потому что в treat больше данныхB
power обычно падает, потому что маленький control увеличивает дисперсию разницы, и для той же power нужен больший sample size или test durationC
power не изменится, если alpha тот жеDМеняется только
MDE, а power не зависит от доли трафикаПравильный ответ. При
90/10 при фиксированном общем трафике power обычно падает: точность сравнения ограничена маленьким control.Разбор
При распределении 90/10 самая маленькая группа control задает точность оценки разницы. Это увеличивает дисперсию оценок и снижает power при той же test duration. Чтобы вернуть прежний power, обычно требуется увеличить общий sample size или увеличить test duration.
Проверь себя · 1/3разбор после ответа
Ежедневный поток eligible пользователей удвоился, а требуемый
sample size на группу и разбиение 50/50 не изменились. Что ожидаемо произойдет с test duration?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →