Вы сравниваете метрику «до/после» для тех же пользователей, но применили независимый t-test вместо парного. Какое последствие наиболее вероятно?
AТест станет более мощным, потому что независимость даёт больше информации о вариативности данных
BТест станет менее чувствительным, потому что игнорирует связь внутри пар и завышает оценку шума
CТест автоматически превратится в
t-test Уэлча и подберёт степени свободы под разные дисперсииDНичего не изменится, потому что парный и независимый тесты всегда дают одинаковые выводы об эффекте
Правильный ответ. Если игнорировать парность, вы теряете информацию о связи и часто снижаете мощность теста.
Разбор
Парный дизайн убирает часть вариативности между пользователями, сравнивая каждого с самим собой. Независимый подход трактует наблюдения как несвязанные и обычно даёт большую стандартную ошибку, поэтому сложнее обнаружить эффект. При этом выводы могут измениться: эффект может стать незначимым из-за неправильного теста. Типичная ошибка — выбирать тест по привычке, а не по дизайну данных.
Проверь себя · 1/3разбор после ответа
Какая «нормальность» (интуитивно) важна для парного
t-test при сравнении до и после?Ещё вопросы по теме «Тесты для средних»
- Вы измерили среднее время выполнения задачи у одних и тех же 40 пользователей до и после изменения интерфейса. Какой тест для сравнения средних здесь уместен?
- В A/B эксперименте пользователи случайно распределены: группа A видит старую страницу, группа B — новую; пользователи не пересекаются. Какой тест сравнения средних подходит для метрики `revenue_per_user`?
- Как выглядит стандартная нулевая гипотеза `H0` в двухвыборочном `t-test` для средних?
- Вы получили `CI 95%` для разницы средних A−B: `[-1.2; 0.4]`. Что это означает на уровне значимости `alpha = 0.05`?
- Какая «нормальность» (интуитивно) важна для парного `t-test` при сравнении до и после?
- Все вопросы по «Тесты для средних» →