Метрика «время до покупки» имеет сильный хвост и выбросы, в каждой группе n=25. Что наиболее разумно сделать, если вы всё же хотите сравнить средние?
AИгнорировать форму распределения и выбросы и опираться только на номинальный
p-value обычного t-testBПринудительно применять парный
t-test для независимых групп, считая пары по индексу наблюдения подрядCПоднять уровень значимости
alpha до 0.2, чтобы небольшой эффект чаще проходил формальный порог тестаDПроверить распределение, рассмотреть преобразование
log(x) и смотреть на размер эффекта и доверительный интервалПравильный ответ. При малых n и тяжёлых хвостах важно проверить предпосылки и аккуратно интерпретировать
t-test вместе с размером эффекта и доверительным интервалом.Разбор
Сильные выбросы и перекосы могут сделать среднее нестабильным и нарушить нормальность, на которой опирается t-test при малых n. Преобразование вроде log(x) иногда делает распределение ближе к нормальному и снижает влияние хвоста, после чего сравнение средних становится более интерпретируемым. В любом случае важно смотреть не только p-value, но и размер эффекта с доверительным интервалом, чтобы понимать практический смысл. Типичная ошибка — «дожимать» значимость изменением alpha вместо корректной работы с данными.
Проверь себя · 1/3разбор после ответа
20 пользователей по очереди используют два дизайна (
A и B), и для каждого пользователя измерено время выполнения задачи в обоих вариантах. Какой t-test подходит для сравнения средних времён?Ещё вопросы по теме «Тесты для средних»
- Вы измерили среднее время выполнения задачи у одних и тех же 40 пользователей до и после изменения интерфейса. Какой тест для сравнения средних здесь уместен?
- В A/B эксперименте пользователи случайно распределены: группа A видит старую страницу, группа B — новую; пользователи не пересекаются. Какой тест сравнения средних подходит для метрики `revenue_per_user`?
- Как выглядит стандартная нулевая гипотеза `H0` в двухвыборочном `t-test` для средних?
- Вы получили `CI 95%` для разницы средних A−B: `[-1.2; 0.4]`. Что это означает на уровне значимости `alpha = 0.05`?
- Какая «нормальность» (интуитивно) важна для парного `t-test` при сравнении до и после?
- Все вопросы по «Тесты для средних» →