Тесты для долей: вопросы для собеседования (часть 3)

Здесь у вас две независимые группы и бинарный исход, поэтому сравнение долей — естественная постановка. `z-test` использует нормальное приближение для разницы оценок и дает `p-value` и интервал. Парный `t-test` не соответствует задаче, потому что нет пар соответствий между пользователями. Важно также корректно определить `trial` на уровне `user_id`.

В классическом `z-test` под нулевой гипотезой предполагается общий `p`, поэтому его оценивают по данным обеих групп вместе. Это дает `p_pool = (x1+x2)/(n1+n2)` и используется в формуле `стандартная ошибка доли` для разницы. Если вместо этого подставлять `p1` или `p2`, вы меняете тестовую статистику. Типичная ловушка — смешивать pooled и unpooled подходы без понимания, что именно тестируется.

Если вы определили разницу как `p_treat - p_control`, то отрицательное `z` возникает, когда оценка этой разницы отрицательная. Это не доказывает причинность, а лишь показывает направление эффекта в данных. Частая ловушка — перепутать порядок вычитания и сделать обратный вывод. Всегда фиксируйте, какая группа стоит первой в разнице.

При малых выборках и особенно при нулевых успехах в одной группе `z-test` может давать неточные `p-value`. Точные методы, основанные на `binomial`, лучше учитывают дискретность данных. Это соответствует цели: аккуратно сравнить доли при ограниченной информации. Типичная ошибка — уверенно заявлять эффект на основании грубого приближения на маленьком `n`.

Здесь есть одна выборка и внешний ориентир `p0 = 0.08`, то есть задача не про сравнение двух независимых групп. На большой выборке нормальное приближение обычно достаточно, поэтому применяют одновыборочный `z-test`. При малых `n` вместо него часто выбирают точный `binomial` подход. Типичная ошибка — применять двухвыборочный тест, когда второй группы нет.