В A/B-тесте конверсия выросла с 10% до 12%. Какая формулировка наиболее точная и минимизирует путаницу между процентами и процентными пунктами?
AКонверсия выросла на 2%: краткая запись, и в этом случае она совпадает по числу с ростом на 2 процентных пункта
BКонверсия выросла на 20 процентных пунктов: относительный рост 20% в отчётах принято переводить в пункты ради краткости
CКонверсия выросла на 20%: абсолютная разница между группами равна 20 процентным пунктам, обе формулировки эквивалентны
DКонверсия выросла с 10% до 12%: абсолютная разница 2 процентных пункта, относительный рост 20% от исходного уровня
Правильный ответ. Лучше явно называть и абсолютную разницу в процентных пунктах, и относительное изменение, если оно нужно.
Разбор
Абсолютная разница долей здесь равна 12% - 10% = 2 процентных пункта. Относительный рост действительно составляет 20% от исходного уровня, но он не заменяет абсолютную разницу и часто путается в коммуникации. В отчётах по тестам для долей обычно сначала приводят эффект в процентных пунктах, а затем при необходимости добавляют относительную интерпретацию. Типичная ошибка — называть только проценты без указания базового уровня, тогда непонятно, идёт ли речь об абсолютной или относительной разнице.
Проверь себя · 1/3разбор после ответа
В двухвыборочном
z-test для гипотезы H0: p1 = p2 какую оценку p обычно используют при расчёте стандартной ошибки доли?Ещё вопросы по теме «Тесты для долей»
- Команда считает конверсию из показа в клик: 80 кликов на 1000 показов. Как корректнее всего описать эту величину как долю?
- `конверсия` выросла с 5% до 6%. Как корректно назвать абсолютное изменение?
- Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
- Когда двухвыборочный `z-test` для сравнения долей обычно уместен?
- Вы считаете конверсию из визита в покупку на уровне пользователя. Что корректно считать `success` и что считать `trial` для расчёта доли?
- Все вопросы по «Тесты для долей» →