Вы сравниваете метрику «до/после» для тех же пользователей, но применили independent t-test вместо paired. Какое последствие наиболее вероятно?
AТест станет более мощным, потому что независимость даёт больше информации
BТест станет менее чувствительным, потому что игнорирует связь внутри пар и увеличивает шум
CТест автоматически превратится в Welch
t-testDНичего не изменится, потому что
paired и independent всегда эквивалентныПравильный ответ. Если игнорировать парность, вы теряете информацию о связи и часто снижаете мощность теста.
Разбор
Парный дизайн убирает часть вариативности между пользователями, сравнивая каждого с самим собой. Independent подход трактует наблюдения как несвязанные и обычно даёт большую стандартную ошибку, поэтому сложнее обнаружить эффект. При этом выводы могут измениться: эффект может стать 'незначимым' из-за неправильного теста. Типичная ошибка — выбирать тест по привычке, а не по дизайну данных.
Проверь себя · 1/3разбор после ответа
В A/B эксперименте пользователи случайно распределены: группа A видит старую страницу, группа B — новую; пользователи не пересекаются. Какой тест сравнения средних подходит для сравнения метрики
revenue_per_user?Ещё вопросы по теме «Тесты для средних»
- Вы измерили среднее время выполнения задачи у тех же 40 пользователей «до» и «после» изменения интерфейса. Какой тест для сравнения средних здесь уместен?
- В A/B эксперименте пользователи случайно распределены: группа A видит старую страницу, группа B — новую; пользователи не пересекаются. Какой тест сравнения средних подходит для сравнения метрики `revenue_per_user`?
- Как выглядит стандартная нулевая гипотеза `H0` в двухвыборочном `t-test` для средних?
- Вы получили `CI 95%` для разницы средних A−B: `[-1.2; 0.4]`. Что это означает на уровне значимости `alpha = 0.05`?
- Какая «нормальность (интуитивно)» важна для парного `paired` `t-test`?
- Все вопросы по «Тесты для средних» →