Что означает p-value в контексте t-test при сравнении двух средних?
z-тест, t-тест (одновыборочный, двухвыборочный, парный), тест Уэлча — основные инструменты для сравнения средних. На собеседовании спрашивают, когда использовать z vs t, что делать при неравных дисперсиях и как проверить предпосылки теста. Сравнение средних — ядро большинства аналитических задач.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1Что означает предпосылка «равенство дисперсий» в независимом t-тесте, если объяснять её интуитивно?
AСредние значения метрики в группах должны совпадать заранее, иначе тест считается неприменимым
BДанные в каждой группе должны быть отсортированы по возрастанию, чтобы корректно посчитать статистику теста
CРазброс значений внутри групп (их дисперсии) примерно одинаковый, и общую дисперсию можно оценивать совместно
D`p-value` должен совпадать в обоих направлениях альтернативной гипотезы, чтобы можно было сделать вывод
Ответ: Предпосылка относится к разбросу (дисперсии) внутри групп, а не к равенству средних значений.
В классическом pooled-варианте независимого t-теста предполагается, что вариативность метрики в группах похожа. Тогда можно оценивать общую дисперсию и корректно считать стандартную ошибку. Если разбросы сильно различаются, лучше использовать вариант Уэлча. Частая ошибка — путать «равенство дисперсий» с равенством средних: предпосылка касается именно разброса, а не уровня метрики.
2Вы измерили среднее время выполнения задачи у одних и тех же 40 пользователей до и после изменения интерфейса. Какой тест для сравнения средних здесь уместен?
AПарный `t-test` по разностям до и после, потому что измерения сделаны у одних и тех же 40 пользователей
BНепарный `t-test` для двух независимых выборок, считая «до» и «после» разными случайными группами пользователей
CТест `chi-square` для категориальных данных, ошибочно применённый к непрерывной метрике времени выполнения задачи
D`z-test` для долей, ошибочно применённый к среднему времени, потому что выборка превышает 30 наблюдений
Ответ: Если измерения сделаны у одних и тех же объектов до и после, выбирайте парный `t-test` по разностям.
В парном дизайне каждое наблюдение «после» связано с конкретным «до», поэтому анализируют разности `d = after - before`. Это обычно уменьшает шум и повышает чувствительность по сравнению с непарным тестом. Частая ошибка — считать группы независимыми и терять информацию о парности или применять тесты для долей и категорий к непрерывной метрике времени.
3В `t-test` получено `p-value=0.03` при `alpha=0.05`. Какое решение соответствует правилу проверки гипотез?
AОтвергаем `H0` на уровне 0.05: значение `p-value=0.03` ниже порога, разница средних считается статистически значимой
BНе отвергаем `H0`: значение `p-value=0.03` выше границы значимости 0.01, и решение о значимости откладываем
CОтвергаем `H1`: значение `p-value` маленькое, поэтому альтернативная гипотеза автоматически признаётся неверной
DРешение откладываем до проверки равенства дисперсий: `t-test` корректен только при выполненных предположениях
Ответ: Если `p-value < alpha`, то `H0` обычно отвергают.
Базовое правило проверки гипотез: если `p-value` меньше заранее зафиксированного уровня `alpha`, нулевую гипотезу отвергаем. Здесь `0.03 < 0.05`, поэтому `H0` отвергаем на уровне 0.05. Сравнивать с другим уровнем (0.01) задним числом — нарушение протокола. Альтернативная гипотеза не «отвергается» — отвергают только нулевую; маленький `p-value` свидетельствует против `H0`, а не против `H1`. Проверка предположений (нормальность, равенство дисперсий) важна, но если они уже учтены при выборе варианта `t-test`, формальное решение делается стандартным правилом.
4Как выглядит стандартная нулевая гипотеза `H0` в двухвыборочном `t-test` для средних?
A`H0: σA² = σB²` (дисперсии двух групп равны)
B`H0`: оба распределения являются строго нормальными
C`H0: μA - μB = 0` (средние двух групп равны)
D`H0: μA - μB > 0` (среднее A строго больше)
Ответ: В `t-test` обычно проверяют `H0` об отсутствии эффекта: разница средних равна нулю.
В двухвыборочном `t-test` для средних нулевая гипотеза формулируется как равенство средних: `μA = μB`, или эквивалентно `μA - μB = 0`. Альтернатива двусторонняя `H1: μA - μB ≠ 0` или односторонняя в зависимости от дизайна. Равенство дисперсий — это отдельное предположение, проверяемое тестом Левена и определяющее выбор между обычным `t-test` и `Welch t-test`, но не саму `H0`. Нормальность — допущение модели, не нулевая гипотеза. `H0: μA - μB > 0` — это альтернативная гипотеза, а не нулевая.
520 пользователей по очереди используют два дизайна (`A` и `B`), и для каждого пользователя измерено время выполнения задачи в обоих вариантах. Какой `t-test` подходит для сравнения средних времён?
AПарный `t-test` на разностях времени между вариантами `A` и `B` для каждого пользователя
BНепарный `t-test` для двух независимых выборок, игнорируя связь наблюдений по пользователю
CТест `chi-square` на частотах попаданий в категории, как если бы время было категориальной переменной
DТест на равенство дисперсий между группами `A` и `B` вместо сравнения средних значений времени
Ответ: Если один и тот же пользователь измеряется в `A` и `B`, это парные наблюдения и нужен парный `t-test`.
В кроссовер-дизайне каждое наблюдение в `A` связано с наблюдением в `B` для того же пользователя. Парный тест работает с разностями по пользователю и обычно даёт более точное сравнение, чем непарный. Типичная ошибка — игнорировать парность и сравнивать как независимые группы, теряя точность из-за межпользовательской вариации.