Тесты для средних: вопросы для собеседования (часть 3)
z-тест, t-тест (одновыборочный, двухвыборочный, парный), тест Уэлча — основные инструменты для сравнения средних. На собеседовании спрашивают, когда использовать z vs t, что делать при неравных дисперсиях и как проверить предпосылки теста. Сравнение средних — ядро большинства аналитических задач.
Вопросы 11–15 из 20
11Когда предпосылка о нормальности распределения обычно становится особенно важной для выводов `t-test`?
AКогда размер выборки очень большой (например, 1 000 000 наблюдений) и среднее уже близко к нормально распределённому
BКогда дисперсии в группах идеально равны и оценка стандартной ошибки строится по объединённой выборке без поправок
CКогда `p-value` уже посчитано и нужно лишь интерпретировать его в терминах принятия или отклонения нулевой гипотезы
DКогда выборки маленькие и распределение сильно скошено или содержит выбросы, влияющие на устойчивость оценок
Ответ: При маленьких выборках сильная ненормальность может заметно влиять на корректность `t-test`.
При больших выборках среднее часто становится близким к нормальному из-за эффекта усреднения, и `t-test` обычно устойчивее. При малых выборках и сильных перекосах или выбросах стандартные предпосылки могут нарушаться, и результат становится менее надёжным. Типичная ошибка — игнорировать форму распределения при выборках в 20–30 наблюдений и принимать выводы без проверки здравого смысла.
Подробный разбор → 12Разница средних B−A по времени отклика: `CI 95% = [0.2; 1.0]` секунд. Какое утверждение корректно?
AЭффект точно равен 0.2 секунды, потому что нижняя граница доверительного интервала и есть точечная оценка истинной разницы средних.
BНельзя сделать вывод о знаке эффекта по `CI`, потому что границы интервала зависят от выборки и могли бы оказаться по обе стороны нуля.
CB в среднем медленнее A, и эффект статистически значим на уровне `alpha=0.05`, так как 0 не входит в доверительный интервал.
DРазница незначима, потому что интервал слишком широкий и не позволяет уверенно судить ни о направлении, ни о величине наблюдаемого эффекта.
Ответ: Если `CI` для разницы полностью выше 0, эффект положительный и значим на 0.05.
`CI` показывает диапазон правдоподобных значений разницы средних по данным, здесь это 0.2–1.0 секунды. Так как 0 не входит в интервал, нулевая разница несовместима с данными на уровне 95%, и `H0` обычно отвергают при `alpha=0.05`. Типичная ошибка — думать, что нижняя граница и есть «точное значение» эффекта.
Подробный разбор → 13Для двух независимых групп вы видите, что разброс метрики сильно отличается. Какой вариант `t-test` обычно предпочтительнее при сомнениях в равенстве дисперсий?
AКлассический `t-test` с объединённой дисперсией и строгим условием равенства дисперсий
BПарный `t-test` для зависимых наблюдений с одинаковыми дисперсиями в группах
CТест `chi-square` на двух группах, потому что разные дисперсии нарушают условия `t-test`
D`t-test` Уэлча, который не требует равенства дисперсий между группами
Ответ: При нарушении равенства дисперсий в независимых группах часто применяют `t-test` Уэлча.
Вариант Уэлча корректирует расчёт стандартной ошибки и степеней свободы, когда дисперсии или размеры групп отличаются. Это делает выводы более надёжными при неравных разбросах. Типичная ошибка — автоматически использовать вариант с объединённой дисперсией и получить смещение уровня ошибок, особенно при разных размерах групп. Парный `t-test` не подходит для независимых групп, а `chi-square` применяется для категориальных частот, а не для сравнения средних.
Подробный разбор → 14Какая «нормальность» (интуитивно) важна для парного `t-test` при сравнении до и после?
AНормальность распределения каждой группы по отдельности без учёта парной структуры наблюдений
BНормальность распределения `p-value` теста по разным повторам эксперимента в выборке
CНормальность распределения разностей `d = after - before` между парными наблюдениями
DНормальность распределения размеров выборок в обеих группах при многократном повторении
Ответ: В парном `t-test` анализируют среднее разностей, поэтому предпосылка относится именно к разностям.
Парный тест фактически делает `t-test` для одной выборки разностей `d = after - before`. Поэтому важно, чтобы распределение разностей было примерно нормальным — особенно при малых `n`. При больших выборках тест часто достаточно устойчив, но сильные перекосы и выбросы в разностях могут мешать. Типичная ошибка — проверять нормальность по каждой группе отдельно и забывать, что анализируется именно разность.
Подробный разбор → 15В A/B тесте разница средних всего 0.1%, но `p-value` < 0.001 из-за очень большого n. Что корректнее всего сказать про результат?
AЭффект обязательно большой, раз `p-value` такой маленький: статистическая значимость доказывает важность для продукта
BЭффекта на самом деле нет, потому что разница всего 0.1% и такая малая величина не может иметь практического значения
CЭффект статистически значим, но может быть практически мал; важно смотреть величину эффекта и доверительный интервал
DМожно утверждать, что нулевая гипотеза истинна с вероятностью 0.999, потому что наблюдаемое `p-value` очень мало
Ответ: Малый `p-value` говорит про статистическую значимость, но не про практическую важность эффекта.
При огромных выборках даже очень маленькие эффекты становятся статистически значимыми. Поэтому рядом с `p-value` нужно смотреть оценку эффекта и доверительный интервал, чтобы понять масштаб и неопределённость. Типичная ошибка — принимать «значимо» за «важно для бизнеса» без оценки величины и стоимости изменений. И `p-value` не равен вероятности нулевой гипотезы: это вероятность данных при условии её истинности.
Подробный разбор →