Метрика revenue per user очень шумная: есть редкие большие чеки, из-за чего variance высокая и sample size растет. Что чаще всего уменьшит требуемый sample size при неизменных alpha и power, не меняя смысл метрики полностью?
AУбрать из анализа всех пользователей с покупками, тогда
variance станет нулевойBПовысить
alpha, чтобы выборка стала меньшеCДобавить еще один вариант
C, чтобы было больше наблюденийDСнизить
variance метрики, например применив winsorization (усечение выбросов до процентиля) или trimming для уменьшения влияния выбросовПравильный ответ. Снижение
variance метрики через устойчивую агрегацию часто уменьшает необходимый sample size при заданных alpha и power.Разбор
Метрики с тяжелыми хвостами дают большую variance, из-за чего требуется больше данных для стабильной оценки среднего. Устойчивые техники вроде winsorization (усечение выбросов до процентиля) или trimming уменьшают влияние редких экстремальных значений, сохраняя интерпретацию близкой к исходной метрике. Это снижает variance и, как следствие, уменьшает требуемый sample size при тех же alpha и power.
Проверь себя · 1/3разбор после ответа
Вы повышаете требование к
power с 80% до 90% при фиксированных alpha и MDE. Что ожидаемо случится с sample size?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →