У вас два кандидата на primary metric: conversion rate и revenue per user. При прочих равных какая метрика чаще требует больший sample size и почему?
A
conversion rate почти всегда требует больший sample size, потому что это доляBОбычно требуемый
sample size одинаковый, так как зависит только от alphaC
revenue per user чаще требует больший sample size, потому что у нее выше variance и тяжелые хвостыDБольший
sample size всегда у метрики с большим baseline rateПравильный ответ. Метрики с более высокой
variance обычно требуют большего sample size для заданных alpha, power и MDE.Разбор
Conversion rate ограничена [0;1] и часто имеет более стабильную дисперсию. Revenue per user обычно имеет тяжёлые хвосты из-за редких крупных покупок, поэтому шум выше и для тех же alpha/power/MDE обычно требуется больше данных и времени.
Проверь себя · 1/3разбор после ответа
Ежедневный поток eligible пользователей удвоился, а требуемый
sample size на группу и разбиение 50/50 не изменились. Что ожидаемо произойдет с test duration?Ещё вопросы по теме «Размер выборки и мощность теста»
- Какое утверждение про `alpha`, `beta` и `power` верное?
- Вы планируете тест с фиксированными `alpha` и `power` и решили уменьшить `MDE` с 5% до 2%. Что произойдет с требуемыми `sample size` и `test duration` при том же трафике?
- Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?
- Калькулятор дал требование `N_treat = 20000` и `N_control = 20000` по `user_id`. В эксперимент ежедневно попадает 5000 новых `user_id`, разбиение `50/50`. Какая минимальная `test duration` в днях, если трафик стабилен?
- Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдет с требуемым `sample size`?
- Все вопросы по «Размер выборки и мощность теста» →