Q: В A/B тесте `конверсия` выросла с 10% до 12%. Какая формулировка наиболее точная и минимизирует путаницу между процентами и `процентными пунктами`?

Лучше явно назвать и абсолютную разницу в процентных пунктах, и относительное изменение, если оно нужно. Абсолютная разница долей здесь `12% - 10% = 2` `процентных пункта`. Относительный рост действительно 20%, но он не заменяет абсолютную разницу и часто путается в коммуникации. В отчетах по тестам для `доля` обычно сначала дают эффект в `процентных пунктах`, а затем при необходимости добавляют относительную интерпретацию. Типичная ошибка — использовать только проценты без базового уровня.

Question 1

Как корректно интерпретировать `95%` `confidence interval` для доли?

Accepted Answer

`Confidence interval` — это про частоту покрытия интервалами при повторениях, а не про вероятность параметра. В классической интерпретации истинный параметр фиксирован, а случайны данные и интервал. `95%` означает, что процедура построения интервала покрывает истинную `доля` примерно в 95% повторных выборок. Типичная ошибка — говорить, что у конкретного интервала есть 95% вероятности содержать параметр. Для продуктовых отчетов полезно помнить это различие, чтобы не переуверяться.

Question 2

Что такое доля в задачах про конверсию?

Accepted Answer

Доля — это `x/n`, где `x` успехов из `n` попыток. В тестах для долей мы рассматриваем серию `trial`, каждый из которых заканчивается `success` или нет. Доля равна числу успехов `x`, деленному на число попыток `n`. Уже разницу долей (`p_treat - p_control`) обычно тестируют отдельной процедурой, например `z-test`.

Question 3

Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?

Accepted Answer

Стандартная ошибка доли убывает примерно как `1/sqrt(n)`. Формула `SE = sqrt(p*(1-p)/n)` показывает корень из `1/n`. Если `n` выросло в 4 раза, `SE` уменьшается примерно в `sqrt(4) = 2` раза. Это объясняет, почему для маленьких эффектов часто нужна большая выборка. Ошибка — ожидать линейного улучшения точности при росте `n`.

Question 4

Для разницы долей `p_treat - p_control` вы построили `95%` `confidence interval`, и он полностью выше 0. Что это означает для двустороннего теста на уровне `alpha = 0.05`?

Accepted Answer

Если `95%` интервал для разницы не включает 0, то двусторонний тест обычно дает `p-value < 0.05`. Доверительный интервал и тест гипотез связаны: отсутствие 0 в `95%` интервале соответствует отклонению `H0` на уровне `alpha = 0.05` для двустороннего теста. Это удобный способ интерпретировать результаты без фокуса только на `p-value`. Типичная ошибка — одновременно говорить 'значимо' и показывать интервал, который пересекает 0. Всегда проверяйте согласованность интервала и теста.

Question 5

В A/B тесте `конверсия` выросла с 10% до 12%. Какая формулировка наиболее точная и минимизирует путаницу между процентами и `процентными пунктами`?

Accepted Answer

Лучше явно назвать и абсолютную разницу в процентных пунктах, и относительное изменение, если оно нужно. Абсолютная разница долей здесь `12% - 10% = 2` `процентных пункта`. Относительный рост действительно 20%, но он не заменяет абсолютную разницу и часто путается в коммуникации. В отчетах по тестам для `доля` обычно сначала дают эффект в `процентных пунктах`, а затем при необходимости добавляют относительную интерпретацию. Типичная ошибка — использовать только проценты без базового уровня.

Тесты для долей: вопросы для собеседования (часть 2)

Вопросы 6–10 из 20

Хотите тренировать интерактивно?

Другие темы: Статистика