Вопросы по теме «Проверка гипотез и доверительные интервалы»
Проверь себя · 1/3разбор после ответа
Команда зафиксировала уровень значимости alpha 0.05. Что это в первую очередь контролирует в терминах ошибок?
p-value, доверительные интервалы, ошибки первого и второго рода — статистический фундамент A/B-тестов. На собеседовании спрашивают, как интерпретировать доверительный интервал, пересекающий ноль, и чем p-value отличается от вероятности истинности гипотезы. Неправильная интерпретация этих понятий — красный флаг для интервьюера.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1У вас таблица с количеством пользователей по вариантам A/B и по 4 источникам трафика. Нужно проверить, что распределение источников одинаковое в A и B. Какой тест чаще всего используют?
A`t-test` для сравнения средних: критерий применяется к двум выборкам числовой метрики
B`z-test` для долей: критерий применяется к двум долям из бинарного исхода в группах
CСравнение медиан категориальной переменной: используется ранговый критерий по значениям
D`chi-square` тест независимости в таблице сопряжённости: сравнение распределений по категориям
Ответ: Для сравнения распределения по категориям между группами обычно применяют `chi-square` тест независимости.
Когда данные представлены в виде таблицы частот по категориям, естественно проверить независимость признаков «вариант» и «источник». `chi-square` оценивает, насколько наблюдаемые частоты отклоняются от ожидаемых при независимости, и подходит для нескольких категорий сразу. Это часто используют для проверки рандомизации или для категориальных исходов; `t-test` и `z-test` тут не подходят, а медиана неприменима к номинальной шкале.
2Почему в продуктовых A/B тестах часто полезнее смотреть не только на `p-value`, но и на доверительный интервал?
A`p-value` сам по себе показывает размер эффекта, и доверительный интервал нужен только для оформления отчёта руководству.
BДоверительный интервал даёт гарантию, что наблюдаемый эффект сохранится в точности таким же при выкатке варианта на всю аудиторию.
CДоверительный интервал автоматически заменяет необходимость выбирать уровень значимости и сам отвечает на вопрос о статистической значимости теста.
DДоверительный интервал показывает диапазон правдоподобных эффектов и помогает оценить практическую значимость, а `p-value` отвечает только за статистическую.
Ответ: `p-value` отвечает только на вопрос статистической значимости, а доверительный интервал показывает диапазон правдоподобных эффектов и помогает оценить практическую значимость.
Маленький `p-value` говорит лишь о том, что наблюдаемые данные были бы редкими при `H0`, но ничего не сообщает ни о величине, ни о направлении эффекта. Доверительный интервал даёт оценку диапазона: правдоподобный эффект может быть и `+0.1%`, и `+15%` — это совершенно разные решения для бизнеса. Поэтому интервал помогает отделить статистическую значимость от практической. Никакой гарантии «эффект сохранится в том же виде» интервал не даёт, и уровень значимости он не отменяет: интервал и тест — это два согласованных взгляда на одну и ту же оценку.
3В тесте вы получили `p-value` 0.20. Какой вывод наиболее корректен?
AДанных не хватает, чтобы отвергнуть `H0` на стандартных уровнях значимости: полезно посмотреть и на размер эффекта, и на доверительный интервал.
BВероятность того, что `H0` верна, равна 20%, поэтому с уверенностью 80% гипотеза подтверждена и эксперимент можно завершать.
CПолученный `p-value` равен 0.20, значит наблюдаемый эффект составляет 20% относительно базовой метрики контрольной группы.
DЭто означает, что вариант B превосходит контрольную группу с вероятностью 80% и эффект уже считается статистически значимым.
Ответ: `p-value` 0.20 говорит лишь о том, что данных не хватает для отказа от `H0` на стандартных уровнях, но не доказывает отсутствие эффекта.
`p-value` — это вероятность увидеть данные, такие же или более экстремальные, при условии, что `H0` верна. Это не вероятность самой `H0` и не размер эффекта в процентах. Большое `p-value` может появиться и при ненулевом эффекте, если выборка маленькая или метрика шумная — особенно полезно посмотреть на доверительный интервал и оценку практической значимости. Вывод «B побеждает с вероятностью 80%» некорректно интерпретирует частотную статистику и приравнивает `1 − p` к вероятности гипотезы, чего `p-value` не делает.
4Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
A`t-test` для независимых выборок
BКритерий хи-квадрат для сравнения средних
C`z-test` для разницы долей
DКорреляция Пирсона для конверсии
Ответ: Для долей на больших выборках базовым выбором обычно служит двухпропорционный `z-test`.
При сравнении конверсий мы фактически сравниваем доли успехов в двух группах. На больших выборках распределение разности долей хорошо аппроксимируется нормальным, поэтому стандартный инструмент — двухпропорционный `z-test`. `t-test` рассчитан на средние при неизвестной дисперсии и применяется к долям только как приближение, при больших `n` он численно близок к `z-test`. Критерий хи-квадрат сравнивает наблюдаемые и ожидаемые частоты в таблице категорий, а не средние. Корреляция Пирсона измеряет линейную связь двух непрерывных переменных и для сравнения долей не подходит.
5Вы сравниваете средний чек в группах A и B (не долю), а дисперсии заранее неизвестны. Какой базовый тест чаще всего используют для сравнения средних?
AКритерий хи-квадрат: тест для сравнения распределений по категориям, не для разницы средних.
B`t-test` для сравнения средних: базовый выбор при неизвестных дисперсиях, оцениваемых по выборкам.
C`z-test` для долей: тест для сравнения конверсий, не для среднего чека.
DТест на равенство медиан без предположений о распределении: непараметрический вариант.
Ответ: Для сравнения средних с неизвестными дисперсиями стандартный базовый тест — двухвыборочный `t-test`.
Когда мы сравниваем средние двух групп и заранее не знаем дисперсию в каждой, классический инструмент — `t-test` (часто Welch-вариант, который не требует равных дисперсий). Хи-квадрат работает на таблицах частот по категориям, а не со средними непрерывных метрик. `z-test` для долей подходит для конверсий, а не для среднего чека. Непараметрические тесты на равенство медиан — это альтернатива при сильно ненормальных данных, но как «базовый» инструмент они выбираются реже, чем `t-test`.