В A/B эксперименте пользователи случайно распределены: группа A видит старую страницу, группа B — новую; пользователи не пересекаются. Какой тест сравнения средних подходит для метрики revenue_per_user?
AПарный
t-test, где парами выступают одни и те же пользователи в группе A и в группе B одновременноB
chi-square тест по таблице 2x2 как наиболее уместный способ сравнения средних между двумя независимыми группамиCНепарный двухвыборочный
t-test для сравнения средних значений двух независимых групп пользователей продуктаDПарный
t-test, где парами выступают сессии одного и того же дня в группах A и B по календарной дате тестаПравильный ответ. Для двух независимых групп используют непарный (двухвыборочный)
t-test для сравнения средних.Разбор
В A/B группы состоят из разных пользователей, поэтому наблюдения независимы. Двухвыборочный t-test сравнивает средние двух выборок при этой структуре данных. Если ошибочно применить парный тест, вы искусственно создадите пары и получите неверную интерпретацию.
Проверь себя · 1/3разбор после ответа
Как выглядит стандартная нулевая гипотеза
H0 в двухвыборочном t-test для средних?Ещё вопросы по теме «Тесты для средних»
- Вы измерили среднее время выполнения задачи у одних и тех же 40 пользователей до и после изменения интерфейса. Какой тест для сравнения средних здесь уместен?
- Как выглядит стандартная нулевая гипотеза `H0` в двухвыборочном `t-test` для средних?
- Вы получили `CI 95%` для разницы средних A−B: `[-1.2; 0.4]`. Что это означает на уровне значимости `alpha = 0.05`?
- Какая «нормальность» (интуитивно) важна для парного `t-test` при сравнении до и после?
- Для двух независимых групп вы видите, что разброс метрики сильно отличается. Какой вариант `t-test` обычно предпочтительнее при сомнениях в равенстве дисперсий?
- Все вопросы по «Тесты для средних» →