Тесты для долей: вопросы для собеседования (часть 3)
z-тест для пропорций, точный тест Фишера, сравнение конверсий — задачи, которые аналитик решает постоянно. На собеседовании дают две группы с разной конверсией и просят определить, значимо ли различие. Важно знать, когда нормальное приближение работает, а когда нужен точный тест.
Вопросы 11–15 из 20
11В A/B тесте вы сравниваете конверсию (долю покупок) между контролем и тритментом на уровне пользователя. Какой тест чаще всего выбирают как базовый на больших выборках?
AДвухвыборочный `z-test` для сравнения двух независимых долей конверсии.
BПарный `t-test` по пользователям, сопоставленным один к одному между группами.
CОдновыборочный `z-test` для проверки доли против фиксированного теоретического значения.
DТест на корреляцию между признаком группы и фактом покупки на уровне строки.
Ответ: Для сравнения двух независимых долей на больших выборках часто используют двухвыборочный `z-test` для разницы пропорций.
Здесь у вас две независимые группы и бинарный исход, поэтому сравнение долей — естественная постановка. `z-test` использует нормальное приближение для разницы оценок и даёт `p-value` и доверительный интервал. Парный `t-test` не соответствует задаче, потому что нет естественных пар между пользователями контроля и тритмента. Важно также корректно определить единицу наблюдения — обычно `user_id`.
Подробный разбор → 12В двухвыборочном `z-test` для гипотезы `H0: p1 = p2` какую оценку `p` обычно используют при расчёте стандартной ошибки доли?
AТолько `p1` по тестовой группе: оценка ассимметрична относительно групп и заметно меняет тестовую статистику
BОбъединённая доля `p_pool = (x1+x2)/(n1+n2)` как общая оценка `p` под нулевой гипотезой о равенстве долей
CПростое среднее `(p1+p2)/2` без учёта размеров выборок групп, дающее смещённую оценку при разных `n1`, `n2`
DФиксированная подстановка `p = 0.5` как априорное предположение о равенстве долей в обеих группах теста
Ответ: Под `H0: p1 = p2` используют объединённую оценку `p_pool` для расчёта стандартной ошибки.
В классическом `z-test` под нулевой гипотезой предполагается общий `p`, поэтому его оценивают по данным обеих групп вместе. Это даёт `p_pool = (x1+x2)/(n1+n2)` и используется в формуле стандартной ошибки разницы долей. Если вместо этого подставлять `p1` или `p2`, вы меняете тестовую статистику. Типичная ловушка — смешивать pooled и unpooled подходы без понимания, что именно тестируется.
Подробный разбор → 13В `z-test` вы считаете статистику для разницы `p_treat - p_control`. Если значение `z` получилось отрицательным, что это обычно означает?
AОценка `p_treat` строго больше оценки `p_control` в наблюдаемых данных эксперимента
BРазница между группами равна нулю в выборке, поскольку только нулевое `z` совместимо с равенством долей
CВ данных есть ошибка логирования: при корректном расчёте знак `z` не может быть отрицательным
DОценка `p_treat` меньше оценки `p_control` в наблюдаемых данных эксперимента
Ответ: Знак `z` отражает знак разницы `p_treat - p_control` в выбранной формулировке: отрицательный — значит первая группа меньше.
Если разница определена как `p_treat - p_control`, то отрицательное `z` возникает, когда оценка этой разницы отрицательная. Это не доказывает причинность и не утверждает наличие ошибки в данных, а лишь показывает направление эффекта в выборке. Частая ловушка — перепутать порядок вычитания и сделать обратный вывод. Всегда фиксируйте, какая группа стоит первой в разнице и согласуйте интерпретацию знака с этим выбором.
Подробный разбор → 14В A/B тесте всего по 25 пользователей на группу, конверсия 0/25 в контроле и 2/25 в варианте. Какой подход к проверке разницы долей обычно более аккуратен при такой малой выборке?
AТочный биномиальный тест: он учитывает дискретность данных и работает корректно при малых `n`
B`z-test` для разницы долей: подходит и для малых выборок, нормальное приближение здесь надёжно
CРешать по графику долей без статистики: разница `2/25` против `0/25` визуально достаточно очевидна
DКорреляция Пирсона между группой и фактом покупки: показатель силы связи отвечает на тот же вопрос
Ответ: При малых n нормальное приближение грубое, поэтому полезен точный биномиальный тест.
При малых выборках, особенно при нулевых успехах в одной группе, нормальное приближение `z-test` даёт неточные `p-value`. Точный биномиальный тест опирается на дискретное распределение и корректно работает при таких данных. Корреляция Пирсона тут не отвечает на вопрос про разницу долей. Решение «по графику» без статистики на 25 наблюдениях легко принять шум за эффект.
Подробный разбор → 15Историческая конверсия была 8%. После редизайна у вас 5000 пользователей и 420 покупок. Какой тест подходит, чтобы проверить гипотезу `H0: p = 0.08` на большой выборке?
AОдновыборочный `z-test` для доли против фиксированного значения `p0 = 0.08` на большой выборке
BДвухвыборочный `z-test` между тестовой и контрольной группами, как в обычном A/B-эксперименте
CПарный `t-test` по пользователям с сравнением до и после редизайна на одних и тех же людях
DТест на корреляцию между временем визита и фактом покупки на пользовательском уровне
Ответ: Если сравниваете одну долю с фиксированным `p0`, используйте одновыборочный `z-test` (или точный биномиальный при малых `n`).
Здесь есть одна выборка и внешний ориентир `p0 = 0.08`, то есть задача не про сравнение двух независимых групп. На большой выборке нормальное приближение обычно достаточно, поэтому применяют одновыборочный `z-test`. При малых `n` вместо него часто выбирают точный биномиальный подход. Типичная ошибка — применять двухвыборочный тест, когда второй группы нет.
Подробный разбор →