В A/B тесте конверсия выросла с 10% до 12%. Какая формулировка наиболее точная и минимизирует путаницу между процентами и процентными пунктами?
AКонверсия выросла на 2% и это то же самое, что на 2 процентных пункта
BКонверсия выросла на 20 процентных пунктов
CКонверсия выросла на 20%, значит абсолютная разница 20 процентных пунктов
DКонверсия выросла с 10% до 12%, то есть на 2 процентных пункта; относительный рост составляет 20%
Правильный ответ. Лучше явно назвать и абсолютную разницу в процентных пунктах, и относительное изменение, если оно нужно.
Разбор
Абсолютная разница долей здесь 12% - 10% = 2 процентных пункта. Относительный рост действительно 20%, но он не заменяет абсолютную разницу и часто путается в коммуникации. В отчетах по тестам для доля обычно сначала дают эффект в процентных пунктах, а затем при необходимости добавляют относительную интерпретацию. Типичная ошибка — использовать только проценты без базового уровня.
Проверь себя · 1/3разбор после ответа
В
z-test вы считаете статистику для разницы p_treat - p_control. Если z получилось отрицательным, что это обычно означает?Ещё вопросы по теме «Тесты для долей»
- Что такое доля в задачах про конверсию?
- `конверсия` выросла с 5% до 6%. Как корректно назвать абсолютное изменение?
- Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
- Когда двухвыборочный `z-test` для сравнения долей обычно уместен?
- Вы считаете конверсию из визита в покупку на уровне пользователя. Что корректно считать `success` и что считать `trial` для расчёта доли?
- Все вопросы по «Тесты для долей» →