Тесты для долей: вопросы для собеседования (часть 2)
z-тест для пропорций, точный тест Фишера, сравнение конверсий — задачи, которые аналитик решает постоянно. На собеседовании дают две группы с разной конверсией и просят определить, значимо ли различие. Важно знать, когда нормальное приближение работает, а когда нужен точный тест.
Вопросы 6–10 из 20
6Как корректно интерпретировать `95%` `confidence interval` для доли?
AС вероятностью 95% истинная доля лежит в полученном интервале
B95% пользователей обязательно попадут внутрь интервала
CИнтервал содержит 95% возможных значений `p-value`
DЕсли повторять сбор данных и строить интервал тем же методом, то около 95% таких интервалов накроют истинную долю
Ответ: `Confidence interval` — это про частоту покрытия интервалами при повторениях, а не про вероятность параметра.
В классической интерпретации истинный параметр фиксирован, а случайны данные и интервал. `95%` означает, что процедура построения интервала покрывает истинную `доля` примерно в 95% повторных выборок. Типичная ошибка — говорить, что у конкретного интервала есть 95% вероятности содержать параметр. Для продуктовых отчетов полезно помнить это различие, чтобы не переуверяться.
7Что такое доля в задачах про конверсию?
AОтношение числа `success` к числу `trial`: `x/n`
BРазница двух конверсий: `p_treat - p_control`
CСреднее значение непрерывной метрики по пользователям
DВероятность события `p-value < 0.05`
Ответ: Доля — это `x/n`, где `x` успехов из `n` попыток.
В тестах для долей мы рассматриваем серию `trial`, каждый из которых заканчивается `success` или нет. Доля равна числу успехов `x`, деленному на число попыток `n`. Уже разницу долей (`p_treat - p_control`) обычно тестируют отдельной процедурой, например `z-test`.
8Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
AУвеличится в 4 раза
BУменьшится в 4 раза
CУменьшится примерно в 2 раза
DНе изменится
Ответ: Стандартная ошибка доли убывает примерно как `1/sqrt(n)`.
Формула `SE = sqrt(p*(1-p)/n)` показывает корень из `1/n`. Если `n` выросло в 4 раза, `SE` уменьшается примерно в `sqrt(4) = 2` раза. Это объясняет, почему для маленьких эффектов часто нужна большая выборка. Ошибка — ожидать линейного улучшения точности при росте `n`.
9Для разницы долей `p_treat - p_control` вы построили `95%` `confidence interval`, и он полностью выше 0. Что это означает для двустороннего теста на уровне `alpha = 0.05`?
A`p-value` будет больше 0.05
BНичего нельзя сказать про `p-value` без дополнительных данных
C`p-value` будет меньше 0.05
D`p-value` обязательно равен 0.05
Ответ: Если `95%` интервал для разницы не включает 0, то двусторонний тест обычно дает `p-value < 0.05`.
Доверительный интервал и тест гипотез связаны: отсутствие 0 в `95%` интервале соответствует отклонению `H0` на уровне `alpha = 0.05` для двустороннего теста. Это удобный способ интерпретировать результаты без фокуса только на `p-value`. Типичная ошибка — одновременно говорить 'значимо' и показывать интервал, который пересекает 0. Всегда проверяйте согласованность интервала и теста.
10В A/B тесте `конверсия` выросла с 10% до 12%. Какая формулировка наиболее точная и минимизирует путаницу между процентами и `процентными пунктами`?
AКонверсия выросла на 2% и это то же самое, что на 2 процентных пункта
BКонверсия выросла на 20 процентных пунктов
CКонверсия выросла на 20%, значит абсолютная разница 20 процентных пунктов
DКонверсия выросла с 10% до 12%, то есть на 2 процентных пункта; относительный рост составляет 20%
Ответ: Лучше явно назвать и абсолютную разницу в процентных пунктах, и относительное изменение, если оно нужно.
Абсолютная разница долей здесь `12% - 10% = 2` `процентных пункта`. Относительный рост действительно 20%, но он не заменяет абсолютную разницу и часто путается в коммуникации. В отчетах по тестам для `доля` обычно сначала дают эффект в `процентных пунктах`, а затем при необходимости добавляют относительную интерпретацию. Типичная ошибка — использовать только проценты без базового уровня.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram