Тесты для долей: вопросы для собеседования (часть 4)
z-тест для пропорций, точный тест Фишера, сравнение конверсий — задачи, которые аналитик решает постоянно. На собеседовании дают две группы с разной конверсией и просят определить, значимо ли различие. Важно знать, когда нормальное приближение работает, а когда нужен точный тест.
Вопросы 16–20 из 20
16Какая формула корректно описывает стандартную ошибку доли для разницы двух независимых долей в unpooled виде?
A`SE = p1 - p2 / sqrt(n1 + n2)`
B`SE = sqrt(p*(1-p))` с общей оценкой доли `p`
C`SE = sqrt(p1*(1-p1)/n1 + p2*(1-p2)/n2)`
D`SE = sqrt((p1*(1-p1) + p2*(1-p2)) / (n1+n2))`
Ответ: Для разницы независимых долей дисперсии складываются, поэтому в `SE` появляется сумма двух слагаемых.
Каждая оценка доли имеет разброс порядка `p*(1-p)/n`, и для независимых групп дисперсия разницы равна сумме дисперсий. Поэтому `SE` для `p1 - p2` получается как корень из суммы `p1*(1-p1)/n1` и `p2*(1-p2)/n2`. В `z-test` под `H0` часто используют pooled версию, но сама логика сложения разбросов остается. Типичная ошибка — забыть про размер выборки и сравнивать доли как будто они точные.
Подробный разбор → 17В A/B тесте разница конверсии составила +0.1 процентного пункта, при этом `p-value` оказался меньше 0.05 из-за огромной выборки. Какой вывод для продуктового решения наиболее корректен?
AНадо выкатывать без обсуждения: `p-value < 0.05` всегда означает важный для бизнеса эффект независимо от его абсолютной величины
BЭффект статистически обнаружен, но нужно сравнить его с минимальным полезным порогом и оценить доверительный интервал перед решением о выкате
CНадо откатывать без проверки: эффект слишком маленький в процентных пунктах и значит данных явно недостаточно для решения
DНужно срочно пересчитать `z-test` другим методом: маленький эффект на больших выборках не может быть статистически значимым
Ответ: `p-value` говорит про обнаружимость эффекта, а решение требует оценки практической значимости и доверительного интервала.
На больших выборках даже очень маленькие изменения доли становятся статистически значимыми. Поэтому важно смотреть на эффект в процентных пунктах, на доверительный интервал и на минимальный полезный эффект для бизнеса. Если +0.1 процентного пункта не окупает стоимость изменений, статистическая значимость не помогает. Типичная ошибка — принимать решение только по `p-value`, игнорируя масштаб влияния.
Подробный разбор → 18Вы проверили разницу конверсии в 20 сегментах и выбрали те, где `p-value < 0.05`. В чём главный риск и что лучше сделать?
AРиска нет: `p-value` сам учитывает число проверок при анализе сегментов одной и той же выборки
BГлавный риск, ложноположительные находки из-за множественных проверок: фиксируйте сегменты заранее или поправьте `alpha`
CЗаменить тест долей на корреляционный анализ между сегментом и метрикой, чтобы снять проблему множественных проверок
DСмотреть только сегмент с самой большой разницей конверсии и считать его эффект подтверждённым по всей выборке
Ответ: При множественных проверках растёт шанс случайных значимых `p-value`, поэтому нужны правила контроля ошибок.
Если делать много проверок, даже при отсутствии эффекта где-то случайно появится значимость — это приводит к ложным выводам по сегментам и плохим продуктовым решениям. Практика — заранее зафиксировать список сегментов, заявить гипотезы и применять поправки на множественные сравнения или подтверждающий эксперимент. Ошибка — выдавать любой найденный сегмент как доказанный эффект.
Подробный разбор → 19В одной группе конверсия равна 0% (например, 0 успехов из 30). Что обычно более аккуратно оценивает неопределённость доли, чем нормальное приближение?
AСчитать долю строго равной `0` и предполагать отсутствие неопределённости у такой оценки в исследуемой выборке
BПоднять уровень значимости `alpha` до `0.5` для получения более широкого интервала доли в исследуемой выборке
CИспользовать интервалы на основе биномиального распределения: например, точный доверительный интервал для доли
DПрименить `t-test` по бинарным данным `0/1` и интерпретировать результат как обычный интервал среднего по выборке
Ответ: При малых `n` и крайних долях (0% или 100%) полезны интервалы на основе биномиального распределения.
Нормальное приближение даёт плохие оценки на краях, потому что распределение доли сильно асимметрично при значениях около 0 и 1. Интервалы на основе биномиального распределения аккуратнее учитывают дискретность и дают реалистичную неопределённость. Это важно для корректных выводов о том, насколько данные совместимы с ненулевой конверсией. Типичная ошибка — считать 0 из 30 доказательством «точно ноль» и не давать интервала вообще.
Подробный разбор → 20Вы посчитали конверсию как долю успешных сессий среди всех сессий, но один пользователь может создавать много сессий. Какой главный риск для теста долей?
AРиск отсутствует: чем больше сессий, тем точнее оценка, и независимостью испытаний на уровне сессий можно смело пренебрегать
BДостаточно поменять `z-test` на точный биномиальный тест, и проблема зависимости сессий внутри пользователя автоматически исчезнет даже на больших выборках
CНарушается независимость испытаний внутри пользователя, стандартная ошибка занижается, и лучше агрегировать долю до `user_id` или учитывать кластеризацию
DБольшое число сессий автоматически делает `p-value` равным 0, поэтому различиями между сессиями одного пользователя в этой задаче можно пренебречь
Ответ: Если испытания не независимы, то оценка стандартной ошибки доли и `p-value` могут быть неверными.
Сессии одного пользователя обычно коррелируют, поэтому считать их независимыми испытаниями опасно. Это часто приводит к завышенной уверенности: стандартная ошибка становится слишком маленькой, и тест чаще показывает значимость. Типичный выход — считать долю на уровне пользователя или использовать методы, учитывающие зависимость внутри пользователя. Ошибка — игнорировать единицу анализа и радоваться очень значимому результату.
Подробный разбор →