Тесты для долей: вопросы для собеседования (часть 2)
z-тест для пропорций, точный тест Фишера, сравнение конверсий — задачи, которые аналитик решает постоянно. На собеседовании дают две группы с разной конверсией и просят определить, значимо ли различие. Важно знать, когда нормальное приближение работает, а когда нужен точный тест.
Вопросы 6–10 из 20
6Как корректно интерпретировать 95% доверительный интервал для доли в продуктовом отчёте?
AИнтервал содержит примерно 95% всех возможных значений `p-value` при пересчётах статистики
BС вероятностью 95% именно истинная доля лежит в полученном конкретном числовом интервале выборки
CЕсли повторять сбор данных и строить интервал тем же методом, то около 95% таких интервалов накроют истинную долю
DРовно 95% пользователей обязательно попадут внутрь полученного интервала по доле признака
Ответ: Доверительный интервал — это про частоту покрытия истинного параметра интервалами при повторениях, а не про вероятность параметра в конкретной выборке.
В классической интерпретации истинный параметр фиксирован, а случайны данные и сам интервал. 95% означает, что процедура построения интервала покрывает истинную долю примерно в 95% повторных выборок. Типичная ошибка — говорить, что у конкретного интервала есть 95% вероятности содержать параметр. Для продуктовых отчётов полезно помнить это различие, чтобы не переуверяться в выводах по одной выборке.
Подробный разбор → 7Команда считает конверсию из показа в клик: 80 кликов на 1000 показов. Как корректнее всего описать эту величину как долю?
AОтношение числа кликов к числу показов `x/n = 80/1000 = 0.08`, где каждый показ может закончиться кликом или нет
BРазница между конверсией показов и конверсией кликов внутри одной воронки, посчитанная по этой же выборке
CСреднее по столбцу `clicks` среди тех показов, где было хотя бы одно событие клика в логах
DВероятность события `p-value < 0.05` при проверке гипотезы о равенстве конверсий двух групп
Ответ: Доля — это `x/n`, где `x` успехов из `n` попыток.
В задачах про конверсию мы наблюдаем серию попыток, каждая из которых заканчивается успехом или нет. Доля равна числу успехов `x`, делённому на число попыток `n` — это и есть оценка вероятности успеха. Разница долей `p_treat - p_control` — отдельная величина, её обычно тестируют процедурой типа `z-test`. Среднее непрерывной метрики и вероятность `p-value < 0.05` — другие сущности и не имеют отношения к определению доли.
Подробный разбор → 8Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
AУвеличится в 4 раза
BУменьшится в 4 раза
CУменьшится примерно в 2 раза
DНе изменится
Ответ: Стандартная ошибка доли убывает примерно как `1/sqrt(n)`.
Формула `SE = sqrt(p*(1-p)/n)` показывает корень из `1/n`. Если `n` выросло в 4 раза, `SE` уменьшается примерно в `sqrt(4) = 2` раза. Это объясняет, почему для маленьких эффектов часто нужна большая выборка. Ошибка — ожидать линейного улучшения точности при росте `n`.
Подробный разбор → 9Для разницы долей `p_treat - p_control` вы построили 95% доверительный интервал, и он целиком выше 0. Что это означает для двустороннего теста на уровне `alpha = 0.05`?
A`p-value` будет меньше 0.05, потому что доверительный интервал не накрывает значение 0
B`p-value` будет больше 0.05, поскольку интервал выше нуля сам по себе ничего не доказывает
CНичего нельзя сказать про `p-value` без дополнительных данных о размере выборки и тесте
D`p-value` обязательно равен 0.05, так как граница интервала и порог теста совпадают по уровню
Ответ: Если 95% доверительный интервал для разницы не включает 0, двусторонний тест обычно даёт `p-value < 0.05`.
Доверительный интервал и тест гипотез связаны: отсутствие 0 в 95% интервале соответствует отклонению нулевой гипотезы на уровне `alpha = 0.05` для двустороннего теста. Это удобный способ интерпретировать результаты без фокуса только на `p-value`. Типичная ошибка — одновременно говорить «эффект значим» и показывать интервал, который пересекает 0. Всегда проверяйте согласованность интервала и теста — если они расходятся, скорее всего, использовались разные методы оценки.
Подробный разбор → 10В A/B-тесте конверсия выросла с 10% до 12%. Какая формулировка наиболее точная и минимизирует путаницу между процентами и процентными пунктами?
AКонверсия выросла на 2%: краткая запись, и в этом случае она совпадает по числу с ростом на 2 процентных пункта
BКонверсия выросла на 20 процентных пунктов: относительный рост 20% в отчётах принято переводить в пункты ради краткости
CКонверсия выросла на 20%: абсолютная разница между группами равна 20 процентным пунктам, обе формулировки эквивалентны
DКонверсия выросла с 10% до 12%: абсолютная разница 2 процентных пункта, относительный рост 20% от исходного уровня
Ответ: Лучше явно называть и абсолютную разницу в процентных пунктах, и относительное изменение, если оно нужно.
Абсолютная разница долей здесь равна `12% - 10% = 2` процентных пункта. Относительный рост действительно составляет 20% от исходного уровня, но он не заменяет абсолютную разницу и часто путается в коммуникации. В отчётах по тестам для долей обычно сначала приводят эффект в процентных пунктах, а затем при необходимости добавляют относительную интерпретацию. Типичная ошибка — называть только проценты без указания базового уровня, тогда непонятно, идёт ли речь об абсолютной или относительной разнице.
Подробный разбор →