Команда хочет детектить относительный MDE = 5% в метрике conversion rate. Сравните два продукта: baseline rate 1% и baseline rate 10%. При одинаковом относительном MDE где обычно нужен больший sample size и почему?
AБольше
sample size нужен при baseline rate 10%, потому что относительный MDE не зависит от baseline rateBОдинаковый
sample size, потому что относительный MDE одинаковыйCБольше
sample size нужен при baseline rate 1%, потому что при одинаковом относительном MDE абсолютный сдвиг меньшеDНельзя сравнить без знания
alpha и power, даже если они одинаковыеПравильный ответ. При фиксированном относительном
MDE низкий baseline rate дает очень маленький абсолютный эффект, поэтому требуется больший sample size.Разбор
Относительный MDE в 5% означает, что абсолютное изменение равно baseline rate * 0,05. При baseline rate 1% это всего 0,05 процентного пункта, а при 10% — 0,5 процентного пункта. Меньший абсолютный сдвиг труднее отличить от шума, поэтому для baseline rate 1% обычно нужен больший sample size при тех же alpha и power.
Проверь себя · 1/3разбор после ответа
У вас два кандидата на
primary metric: conversion rate и revenue per user. При прочих равных какая метрика чаще требует больший sample size и почему?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Вы повышаете требование к `power` с 80% до 90% при фиксированных `alpha` и `MDE`. Что ожидаемо случится с `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →