В A/B эксперименте пользователи случайно распределены: группа A видит старую страницу, группа B — новую; пользователи не пересекаются. Какой тест сравнения средних подходит для сравнения метрики revenue_per_user?
AПарный
paired t-testBНепарный
independent t-testC
chi-square тест по таблице 2x2DПарный тест, где пары — это сессии одного дня
Правильный ответ. Для двух независимых групп используют
independent t-test.Разбор
В A/B группы состоят из разных пользователей, поэтому наблюдения независимы. Independent t-test сравнивает средние двух выборок при этой структуре данных. Если ошибочно применить парный тест, вы искусственно создадите пары и получите неверную интерпретацию.
Проверь себя · 1/3разбор после ответа
A/B тест: пользователи случайно распределены по группам, но у каждого много сессий. Вы агрегировали метрику до уровня пользователя
user_mean и сравниваете группы. Какой тест по дизайну подходит лучше всего?Ещё вопросы по теме «Тесты для средних»
- Вы измерили среднее время выполнения задачи у тех же 40 пользователей «до» и «после» изменения интерфейса. Какой тест для сравнения средних здесь уместен?
- Как выглядит стандартная нулевая гипотеза `H0` в двухвыборочном `t-test` для средних?
- Вы получили `CI 95%` для разницы средних A−B: `[-1.2; 0.4]`. Что это означает на уровне значимости `alpha = 0.05`?
- Какая «нормальность (интуитивно)» важна для парного `paired` `t-test`?
- Для двух независимых групп вы видите, что разброс метрики сильно отличается. Какой вариант `t-test` обычно предпочтительнее при сомнениях в равенстве дисперсий?
- Все вопросы по «Тесты для средних» →