У вас таблица с количеством пользователей по вариантам A/B и по 4 источникам трафика. Нужно проверить, что распределение источников одинаковое в A и B. Какой тест чаще всего используют?
A
t-test для сравнения средних: критерий применяется к двум выборкам числовой метрикиB
z-test для долей: критерий применяется к двум долям из бинарного исхода в группахCСравнение медиан категориальной переменной: используется ранговый критерий по значениям
D
chi-square тест независимости в таблице сопряжённости: сравнение распределений по категориямПравильный ответ. Для сравнения распределения по категориям между группами обычно применяют
chi-square тест независимости.Разбор
Когда данные представлены в виде таблицы частот по категориям, естественно проверить независимость признаков «вариант» и «источник». chi-square оценивает, насколько наблюдаемые частоты отклоняются от ожидаемых при независимости, и подходит для нескольких категорий сразу. Это часто используют для проверки рандомизации или для категориальных исходов; t-test и z-test тут не подходят, а медиана неприменима к номинальной шкале.
Проверь себя · 1/3разбор после ответа
Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
Ещё вопросы по теме «Проверка гипотез и доверительные интервалы»
- В A/B тесте для конверсии вы получили `p-value` = 0.03 при проверке `H0` об отсутствии разницы между группами. Какая интерпретация корректна?
- Для разницы конверсий вы построили 95% доверительный интервал: от -0.2% до +1.4%. Что можно сказать о статистической значимости при уровне значимости 0.05 и двусторонней проверке?
- Вы сравниваете долю конверсии (успех/неуспех) в группах A и B на больших выборках. Какой тест чаще всего выбирают как базовый для сравнения долей?
- Команда зафиксировала уровень значимости `alpha` 0.05. Что это в первую очередь контролирует в терминах ошибок?
- В A/B-тесте при огромной выборке вы получили `p-value < 0.001`, но рост конверсии составил всего +0.02% при минимально полезном пороге +0.5%. Какое действие наиболее разумно?
- Все вопросы по «Проверка гипотез и доверительные интервалы» →