Тесты для долей: вопросы для собеседования (часть 3)
z-тест для пропорций, точный тест Фишера, сравнение конверсий — задачи, которые аналитик решает постоянно. На собеседовании дают две группы с разной конверсией и просят определить, значимо ли различие. Важно знать, когда нормальное приближение работает, а когда нужен точный тест.
Вопросы 11–15 из 20
11В A/B тесте вы сравниваете конверсию (долю покупок) между `control` и `treatment` на уровне пользователя. Какой тест чаще всего выбирают как базовый на больших выборках?
AДвухвыборочный `z-test` для разницы долей
BПарный `t-test` по пользователям
CОдновыборочный `z-test` против нуля
DТест на `correlation` между вариантом и покупкой
Ответ: Для сравнения двух независимых долей на больших `n` часто используют двухвыборочный `z-test`.
Здесь у вас две независимые группы и бинарный исход, поэтому сравнение долей — естественная постановка. `z-test` использует нормальное приближение для разницы оценок и дает `p-value` и интервал. Парный `t-test` не соответствует задаче, потому что нет пар соответствий между пользователями. Важно также корректно определить `trial` на уровне `user_id`.
12В двухвыборочном `z-test` для `H0: p1 = p2` какую оценку `p` обычно используют при расчёте стандартной ошибки доли?
AТолько `p1`, рассчитанную по `treatment`
BОбъединенную долю `p_pool = (x1+x2)/(n1+n2)`
CНевзвешенное среднее `(p1+p2)/2`
DФиксированное значение `p = 0.5`
Ответ: Под `H0: p1 = p2` используют объединенную оценку `p_pool` для расчета `SE`.
В классическом `z-test` под нулевой гипотезой предполагается общий `p`, поэтому его оценивают по данным обеих групп вместе. Это дает `p_pool = (x1+x2)/(n1+n2)` и используется в формуле `стандартная ошибка доли` для разницы. Если вместо этого подставлять `p1` или `p2`, вы меняете тестовую статистику. Типичная ловушка — смешивать pooled и unpooled подходы без понимания, что именно тестируется.
13В `z-test` вы считаете статистику для разницы `p_treat - p_control`. Если `z` получилось отрицательным, что это обычно означает?
A`p_treat` больше `p_control`
BРазницы точно нет, потому что `z` не ноль
CВ данных обязательно ошибка логирования
D`p_treat` меньше `p_control` (в наблюдаемых данных)
Ответ: Знак `z` отражает знак разницы `p_treat - p_control` в выбранной формулировке.
Если вы определили разницу как `p_treat - p_control`, то отрицательное `z` возникает, когда оценка этой разницы отрицательная. Это не доказывает причинность, а лишь показывает направление эффекта в данных. Частая ловушка — перепутать порядок вычитания и сделать обратный вывод. Всегда фиксируйте, какая группа стоит первой в разнице.
14В A/B тесте всего по 25 пользователей на группу, конверсия 0/25 в `control` и 2/25 в `treatment`. Какой подход к проверке разницы долей обычно более аккуратен при такой малой выборке?
AТочный тест, основанный на `binomial` модели, вместо нормального приближения
BВсегда использовать `z-test`, потому что он самый популярный
CИгнорировать статистику и смотреть только на график
DСчитать `Pearson r` между группой и покупкой
Ответ: На маленьких `n` нормальное приближение может быть грубым, поэтому полезны точные методы на `binomial`.
При малых выборках и особенно при нулевых успехах в одной группе `z-test` может давать неточные `p-value`. Точные методы, основанные на `binomial`, лучше учитывают дискретность данных. Это соответствует цели: аккуратно сравнить доли при ограниченной информации. Типичная ошибка — уверенно заявлять эффект на основании грубого приближения на маленьком `n`.
15Историческая конверсия была 8%. После редизайна у вас 5000 пользователей и 420 покупок. Какой тест подходит, чтобы проверить `H0: p = 0.08` на большой выборке?
AДвухвыборочный `z-test` между `treat` и `control`
BОдновыборочный `z-test` для `доля` против фиксированного `p0 = 0.08`
CПарный `t-test` по пользователям
DТест на `correlation` между временем и покупкой
Ответ: Если сравниваете одну долю с фиксированным `p0`, используйте одновыборочный `z-test` (или точный `binomial` при малых `n`).
Здесь есть одна выборка и внешний ориентир `p0 = 0.08`, то есть задача не про сравнение двух независимых групп. На большой выборке нормальное приближение обычно достаточно, поэтому применяют одновыборочный `z-test`. При малых `n` вместо него часто выбирают точный `binomial` подход. Типичная ошибка — применять двухвыборочный тест, когда второй группы нет.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram