Тесты для средних: вопросы для собеседования (часть 4)
z-тест, t-тест (одновыборочный, двухвыборочный, парный), тест Уэлча — основные инструменты для сравнения средних. На собеседовании спрашивают, когда использовать z vs t, что делать при неравных дисперсиях и как проверить предпосылки теста. Сравнение средних — ядро большинства аналитических задач.
Вопросы 16–20 из 20
16Что означает `p-value` в контексте `t-test` при сравнении двух средних?
AВероятность того, что нулевая гипотеза верна при наблюдаемых данных эксперимента
BВероятность того, что альтернативная гипотеза верна при наблюдаемых данных эксперимента
CВероятность получить точно такую же разницу средних в следующем эксперименте при повторе
DВероятность получить столь же экстремальные данные при условии, что нулевая гипотеза верна
Ответ: `p-value` — это вероятность наблюдать столь же сильные данные при истинной нулевой гипотезе.
`p-value` вычисляется в предположении, что нулевая гипотеза верна, и показывает, насколько необычны наблюдения при нулевом эффекте. Это не вероятность истинности гипотез и не гарантия повторяемости. Типичная ошибка — говорить «вероятность, что гипотеза верна», хотя `p-value` отвечает на другой вопрос. Для решения также важны величина эффекта и доверительный интервал.
Подробный разбор → 17Вы применили классический независимый `t-test` с предпосылкой равенства дисперсий и получили `p-value=0.04`, но видите, что стандартные отклонения в группах сильно отличаются. Что разумнее сделать перед финальным выводом?
AСразу принять результат, потому что `p-value` уже меньше 0.05 и формальный порог значимости пройден
BПересчитать `Welch t-test` и сравнить выводы и `CI`, явно указав, что дисперсии в группах неравны
CЗаменить независимый `t-test` на парный, чтобы предпосылка равенства дисперсий в `pooled` выполнилась
DУвеличить порог значимости `alpha` до 0.1, чтобы вывод стал устойчивее к разнице стандартных отклонений
Ответ: При сомнительном равенстве дисперсий `Welch t-test` обычно даёт более надёжный вывод по `p-value` и `CI`.
Сильно разные стандартные отклонения — сигнал, что объединённая (pooled) предпосылка может быть неверной, и стандартная ошибка могла быть оценена некорректно. `Welch t-test` лучше учитывает неравные дисперсии и часто меняет `p-value` и `CI`. Если вывод меняется, это важная часть истории: решение нужно принимать по корректной модели. Типичная ошибка — фиксироваться на первом `p-value` и не проверять чувствительность к предпосылкам.
Подробный разбор → 18Вы сравниваете метрику «до/после» для тех же пользователей, но применили независимый `t-test` вместо парного. Какое последствие наиболее вероятно?
AТест станет более мощным, потому что независимость даёт больше информации о вариативности данных
BТест станет менее чувствительным, потому что игнорирует связь внутри пар и завышает оценку шума
CТест автоматически превратится в `t-test` Уэлча и подберёт степени свободы под разные дисперсии
DНичего не изменится, потому что парный и независимый тесты всегда дают одинаковые выводы об эффекте
Ответ: Если игнорировать парность, вы теряете информацию о связи и часто снижаете мощность теста.
Парный дизайн убирает часть вариативности между пользователями, сравнивая каждого с самим собой. Независимый подход трактует наблюдения как несвязанные и обычно даёт большую стандартную ошибку, поэтому сложнее обнаружить эффект. При этом выводы могут измениться: эффект может стать незначимым из-за неправильного теста. Типичная ошибка — выбирать тест по привычке, а не по дизайну данных.
Подробный разбор → 19В парном дизайне «до/после» у части пользователей нет измерения «после» (например, не вернулись). Что корректнее для применения парного `t-теста`?
AСлучайно дописать недостающие значения «после», чтобы все пары формально стали полными
BИспользовать только полные пары «до/после» или менять метод и дизайн, явно учитывая пропуски
CЗаменить парный тест на критерий хи-квадрат, потому что есть пропуски в части наблюдений
DСравнить средние «до» всех и «после» всех тем же парным тестом, не сверяя пары пользователей
Ответ: Парный `t-тест` требует, чтобы каждая пара состояла из двух измерений одного и того же объекта.
Если для пользователя нет значения «после», разность между «до» и «после» не определена, и парный тест не может корректно использовать такое наблюдение. Обычно берут только полные пары, но важно помнить про риск смещения: ушедшие пользователи могут отличаться от оставшихся. Если пропусков много или они неслучайны, лучше пересмотреть дизайн или метод. Типичная ошибка — механически смешать разные базы «до» и «после» и назвать это парным сравнением.
Подробный разбор → 20Метрика «время до покупки» имеет сильный хвост и выбросы, в каждой группе n=25. Что наиболее разумно сделать, если вы всё же хотите сравнить средние?
AИгнорировать форму распределения и выбросы и опираться только на номинальный `p-value` обычного `t-test`
BПринудительно применять парный `t-test` для независимых групп, считая пары по индексу наблюдения подряд
CПоднять уровень значимости `alpha` до 0.2, чтобы небольшой эффект чаще проходил формальный порог теста
DПроверить распределение, рассмотреть преобразование `log(x)` и смотреть на размер эффекта и доверительный интервал
Ответ: При малых n и тяжёлых хвостах важно проверить предпосылки и аккуратно интерпретировать `t-test` вместе с размером эффекта и доверительным интервалом.
Сильные выбросы и перекосы могут сделать среднее нестабильным и нарушить нормальность, на которой опирается `t-test` при малых n. Преобразование вроде `log(x)` иногда делает распределение ближе к нормальному и снижает влияние хвоста, после чего сравнение средних становится более интерпретируемым. В любом случае важно смотреть не только `p-value`, но и размер эффекта с доверительным интервалом, чтобы понимать практический смысл. Типичная ошибка — «дожимать» значимость изменением `alpha` вместо корректной работы с данными.
Подробный разбор →