Вы применили классический independent t-test с предпосылкой равенства дисперсий и получили p-value=0.04, но видите, что std в группах сильно отличается. Что разумнее сделать перед финальным выводом?
AСразу принять результат, потому что
p-value уже меньше 0.05BПересчитать Welch
t-test и сравнить выводы и CI, явно указав, что дисперсии неравныCЗаменить
t-test на парный paired, чтобы дисперсии стали равныDУвеличить
alpha до 0.1, чтобы не сомневатьсяПравильный ответ. При сомнительном равенстве дисперсий Welch
t-test обычно даёт более надёжный вывод.Разбор
Сильно разные std — сигнал, что pooled предпосылка может быть неверной, и стандартная ошибка могла быть оценена некорректно. Welch вариант лучше учитывает неравные дисперсии и часто меняет p-value и CI. Если вывод меняется, это важная часть истории: решение нужно принимать по корректной модели. Типичная ошибка — фиксироваться на первом p-value и не проверять чувствительность к предпосылкам.
Проверь себя · 1/3разбор после ответа
В A/B эксперименте пользователи случайно распределены: группа A видит старую страницу, группа B — новую; пользователи не пересекаются. Какой тест сравнения средних подходит для сравнения метрики
revenue_per_user?Ещё вопросы по теме «Тесты для средних»
- Вы измерили среднее время выполнения задачи у тех же 40 пользователей «до» и «после» изменения интерфейса. Какой тест для сравнения средних здесь уместен?
- В A/B эксперименте пользователи случайно распределены: группа A видит старую страницу, группа B — новую; пользователи не пересекаются. Какой тест сравнения средних подходит для сравнения метрики `revenue_per_user`?
- Как выглядит стандартная нулевая гипотеза `H0` в двухвыборочном `t-test` для средних?
- Вы получили `CI 95%` для разницы средних A−B: `[-1.2; 0.4]`. Что это означает на уровне значимости `alpha = 0.05`?
- Какая «нормальность (интуитивно)» важна для парного `paired` `t-test`?
- Все вопросы по «Тесты для средних» →