Хи-квадрат и таблицы сопряжённости: вопросы для собеседования (часть 4)
Хи-квадрат тест проверяет связь между категориальными переменными — например, зависит ли конверсия от источника трафика. На собеседовании просят построить таблицу сопряжённости, посчитать ожидаемые частоты и интерпретировать результат теста. Это один из немногих статистических тестов, который спрашивают не в контексте A/B.
Вопросы 16–20 из 20
16Как по таблице сопряжённости считается ожидаемое значение (ячейка) при `H0` о независимости категорий в `chi-square` тесте?
A`E = observed / grand_total`
B`E = row_total - col_total`
C`E = grand_total / (row_total + col_total)`
D`E = row_total * col_total / grand_total`
Ответ: Ожидаемые частоты при `H0` считаются из маргинальных сумм: `E = row_total * col_total / grand_total`.
Если `H0` — независимость категорий, то доля столбца должна быть одинаковой в каждой строке. Поэтому ожидаемая частота в ячейке равна произведению суммы строки и суммы столбца, делённому на общий итог. Частая ошибка — сравнивать только проценты, не проверяя, что базовые объёмы сопоставимы.
Подробный разбор → 17В тесте `chi-square` на независимость вы получили большой `p-value` (например, 0.4). Какой вывод наиболее корректен?
AКатегории `A` и `B` точно независимы, и дальнейший анализ связи между ними можно полностью прекратить как избыточный.
BЭто означает, что данные в таблице сопряжённости плохого качества и их следует выбросить перед проведением любого теста.
CЭффект между категориями точно равен нулю и не сможет проявиться даже при существенно большем объёме собранных данных.
DНет оснований отвергнуть гипотезу `H0` о независимости категорий, но это не является доказательством их независимости.
Ответ: Большой `p-value` значит, что нет оснований отвергнуть `H0`, но это не доказательство независимости категорий.
Если `p-value` велик, данные совместимы с гипотезой `H0` о независимости категорий на выбранном уровне значимости. Это не означает, что связь отсутствует: эффект может быть маленьким, либо данных может быть недостаточно для его обнаружения. Типичная ошибка — писать «категории независимы» вместо «не нашли статистических оснований для зависимости».
Подробный разбор → 18В A/B-тесте у вас бинарный исход (купил/не купил) и две группы. Какое утверждение наиболее корректно про `chi-square` в этом случае?
AИспользовать только `t-test`, потому что `chi-square` некорректно работает для бинарной конверсии и двух групп пользователей
BПрименять `chi-square` только при минимум трёх категориях исхода, для двух категорий он даёт смещённую оценку и его не используют
CИспользовать `chi-square` для оценки разницы средних чеков между тестовой и контрольной группой по 2×2 таблице сопряжённости
DНа 2×2 таблице сопряжённости `chi-square` проверяет независимость категорий, что эквивалентно проверке равенства долей конверсии
Ответ: Для 2×2 таблицы сопряжённости `chi-square` тест независимости совпадает по смыслу с проверкой равенства долей конверсии в двух группах.
В A/B с бинарной метрикой строят 2×2 таблицу сопряжённости: группа × исход (да/нет). `chi-square` проверяет независимость категорий, то есть отвечает на вопрос «одинаковы ли доли исхода в группах». Частая ошибка — считать, что `chi-square` нужен только для больших таблиц или только для трёх и более категорий.
Подробный разбор → 19Для таблицы сопряжённости 4×3 (4 категории по строкам и 3 по столбцам) чему равны степени свободы `df` в `chi-square` тесте независимости?
A`df = 4*3 = 12`
B`df = (4-1)+(3-1) = 5`
C`df = (4+1)*(3-1) = 10`
D`df = (4-1)*(3-1) = 6`
Ответ: `df` для `chi-square` независимости равны `df = (r-1)*(c-1)` для таблицы r×c.
Степени свободы показывают, сколько независимых ячеек остаётся после учёта сумм строк и столбцов. Для таблицы 4×3 получаем `df = (4-1)*(3-1) = 6`. Ошибка — путать `df` с числом ячеек: ячеек 12, но независимых меньше из-за ограничений по маргиналям.
Подробный разбор → 20Вы измеряете бинарный исход (например, купил/не купил) у тех же пользователей до и после изменения. Какой тест обычно уместнее, чем `chi-square` тест независимости?
AПарный `t-test` для зависимых выборок
BТест Мак-Немара (`McNemar's test`)
CОднофакторный `ANOVA` на трёх группах
DТест Манна–Уитни (`Mann–Whitney`)
Ответ: Для парных бинарных данных лучше использовать `тест Мак-Немара (McNemar's test)`, а не `chi-square` тест независимости.
Когда у одних и тех же пользователей измеряют бинарный исход до и после, наблюдения парные, и стандартный `chi-square` независимости тут не подходит — он предполагает независимость строк. Тест Мак-Немара построен именно на парных бинарных данных: он смотрит на дискордантные пары (изменили решение в одну или другую сторону) и игнорирует совпавшие ответы. `t-test` для зависимых рассчитан на непрерывные метрики, а не на бинарные. `ANOVA` сравнивает средние трёх и более групп. `Mann–Whitney` — непараметрический тест для независимых выборок.
Подробный разбор →