Тесты для средних: вопросы для собеседования (часть 3)

При больших n среднее часто становится близким к нормальному из-за эффекта усреднения, и `t-test` обычно устойчивее. При малых n и сильных перекосах/выбросах стандартные предпосылки могут нарушаться, и результат становится менее надёжным. Типичная ошибка — игнорировать форму распределения при n=20–30 и принимать выводы без проверки здравого смысла.

`CI` показывает диапазон правдоподобных значений разницы средних по данным, здесь это 0.2–1.0 секунды. Так как 0 не входит в интервал, нулевая разница несовместима с данными на уровне 95%, и `H0` обычно отвергают при `alpha=0.05`. Типичная ошибка — думать, что нижняя граница и есть 'точное значение' эффекта.

Welch вариант корректирует расчёт стандартной ошибки и степеней свободы, когда дисперсии и/или размеры групп отличаются. Это делает выводы более надёжными при неравных разбросах. Типичная ошибка — автоматически использовать pooled вариант и получить смещение уровня ошибок, особенно при разных размерах групп.

Парный тест фактически делает `t-test` для одной выборки разностей `d`. Поэтому важно, чтобы распределение `d` было примерно нормальным (особенно при малых n). При больших выборках тест часто достаточно устойчив, но сильные перекосы и выбросы могут мешать. Ошибка — проверять «нормальность» по каждой группе отдельно и забывать про разности.

При огромных выборках даже очень маленькие эффекты становятся статистически значимыми. Поэтому рядом с `p-value` нужно смотреть оценку эффекта и `CI`, чтобы понять масштаб и неопределённость. Типичная ошибка — принимать 'значимо' за 'важно для бизнеса' без оценки величины и стоимости изменений.