Вы распределяете трафик не 50/50, а 90/10 в пользу treatment при фиксированном общем трафике. Что ожидаемо произойдёт с мощностью теста для сравнения treatment vs control при той же длительности?
AМощность обычно падает: маленькая контрольная группа увеличивает дисперсию разницы, поэтому для прежнего уровня нужен больший размер выборки или длительность теста
BМощность вырастет, потому что в группе
treatment больше данных, а итоговая точность определяется именно её размером, а не самой маленькой группойCМощность не изменится при том же уровне значимости, потому что доля трафика и
alpha влияют на ошибку независимо друг от другаDМеняется только MDE, а мощность от доли трафика не зависит и определяется исключительно длительностью теста и базовой дисперсией метрики
Правильный ответ. При 90/10 и фиксированном общем трафике мощность обычно падает: точность сравнения ограничена маленькой группой
control.Разбор
При распределении 90/10 самая маленькая группа control задаёт точность оценки разницы. Это увеличивает дисперсию оценок и снижает мощность при той же длительности теста. Чтобы вернуть прежний уровень мощности, обычно требуется увеличить общий размер выборки или длительность. Вариант «мощность вырастет из-за большого treatment» путает «больше данных в одной группе» с «точность сравнения»; вариант «не изменится при том же alpha» игнорирует роль дисперсии разницы; «MDE меняется, а мощность нет» противоречит формуле размера выборки.
Проверь себя · 1/3разбор после ответа
Калькулятор размера выборки дал требование
N_treat = 20000 и N_control = 20000. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
- Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
- Все вопросы по «Размер выборки и мощность теста» →