Хи-квадрат и таблицы сопряжённости: вопросы для собеседования (часть 3)
Хи-квадрат тест проверяет связь между категориальными переменными — например, зависит ли конверсия от источника трафика. На собеседовании просят построить таблицу сопряжённости, посчитать ожидаемые частоты и интерпретировать результат теста. Это один из немногих статистических тестов, который спрашивают не в контексте A/B.
Вопросы 11–15 из 20
11В таблице сопряжённости есть ячейка с наблюдаемой частотой 0 (например, в одном сегменте никто не купил). Что важнее всего проверить перед выводами по `chi-square`?
AСчитать `p-value` теста недействительным при любом наблюдаемом нуле в ячейке таблицы
BУдалить сегмент с нулём из таблицы, чтобы он не искажал общую статистику
CЗаменять наблюдаемые нули на единицу для устойчивости теста независимо от ожидаемых частот
DПроверить ожидаемые частоты в ячейке: при малых значениях тест ненадёжен, при больших ноль допустим
Ответ: Ноль в наблюдаемой ячейке сам по себе не запрет на тест, но важно проверить ожидаемые частоты в этой ячейке.
Если ожидаемые частоты в ячейке тоже малы, приближение `chi-square` может работать хуже. Если же ожидаемое значение достаточно велико, наблюдаемый ноль — это сильное отклонение и может дать большой вклад в статистику. Типичная ошибка — автоматически «лечить» нули без проверки ожидаемых значений.
Подробный разбор → 12Если в таблице сопряжённости поменять местами строки и столбцы, изменится ли результат теста независимости `chi-square` (значение статистики, число степеней свободы, `p-value`)?
AНет, результат не изменится: тест симметричен к перестановке строк и столбцов, ожидаемые частоты те же
BДа, `p-value` всегда меняется, потому что при перестановке меняется направление сравнения наблюдаемых долей
CДа, но только если в исходной таблице сопряжённости есть хотя бы одна ячейка с нулевой наблюдаемой частотой
DДа, потому что ожидаемые частоты вычисляются по строкам и при перестановке пересчитываются по другой формуле
Ответ: Для теста независимости `chi-square` неважно, что вы назвали строкой, а что столбцом таблицы сопряжённости — результат тот же.
Ожидаемая частота в каждой ячейке считается как произведение маргиналов, делённое на общий объём, и не зависит от того, что вы назвали строкой, а что столбцом. Поэтому набор пар (наблюдаемая, ожидаемая) и сумма квадратов отклонений остаются теми же — статистика `chi-square`, число степеней свободы и `p-value` не меняются. Типичная ошибка — ожидать разные ответы из-за визуальной ориентации таблицы. Также не играет роли наличие нулевых ячеек: они влияют на применимость теста, а не на симметрию.
Подробный разбор → 13У вас 12 регионов, и несколько регионов дают очень малые counts, из-за чего появляются маленькие `ожидаемые частоты`. Какой шаг чаще всего помогает перед применением `chi-square`?
AОбъединить редкие регионы в одну категорию (например, other), чтобы увеличить ожидаемые частоты до приемлемых значений
BПрименить точный тест Фишера к каждой паре регионов отдельно и взять минимальный `p-value` среди всех проверок
CЗаменить задачу на сравнение средних через `t-test`: критерий устойчив к малым ожидаемым частотам в категориях
DДобавить ещё больше детализации регионов, чтобы у каждого `chi-square` теста была своя строка с независимым подсчётом
Ответ: Увеличить ожидаемые частоты можно через укрупнение редких категорий перед `chi-square`.
Тест хи-квадрат опирается на аппроксимацию распределения статистики хи-квадратом, и эта аппроксимация ломается при малых ожидаемых частотах в ячейках (обычно требуют ≥5). Стандартный приём — объединить редкие категории в `other`, чтобы поднять ожидаемые частоты, либо взять точный тест Фишера для маленьких таблиц. `t-test` не годится: он сравнивает средние, а у нас доли по категориям. Парные точные тесты с минимальным `p-value` без поправки раздувают ошибку I рода. Дальнейшая детализация регионов делает ячейки ещё мельче и усугубляет проблему.
Подробный разбор → 14У вас есть только проценты конверсии по группам, но нет абсолютных размеров групп. Можно ли корректно провести тест хи-квадрат на независимость?
AДа, тест хи-квадрат можно считать прямо по процентам конверсии без размера групп
BДа, достаточно округлить проценты до целых и подставить их вместо абсолютных частот в формулу
CНет, нужна таблица сопряжённости с абсолютными частотами или возможность их восстановить
DНет, потому что тест хи-квадрат подходит только для непрерывных метрик и не работает с долями
Ответ: Для теста хи-квадрат нужны абсолютные частоты в таблице сопряжённости, а не только проценты.
Статистика хи-квадрат сравнивает наблюдаемые частоты с ожидаемыми, поэтому важен размер групп. Если есть только проценты, вы не знаете, насколько надёжны оценки и одинаковы ли объёмы. Обычно нужно получить абсолютные частоты или восстановить их из размеров групп. Подстановка процентов вместо частот ломает математику теста и может дать произвольный результат.
Подробный разбор → 15После значимого результата `chi-square` теста вы хотите понять, какие именно категории дали вклад в отклонение от независимости. Что для этого использовать?
AТолько общий `p-value` теста, потому что он уже агрегирует все вклады отдельных ячеек таблицы сопряжённости
BСравнение средних значений по строкам таблицы, чтобы увидеть, какие категории по горизонтали отличаются сильнее всего
CСравнение медиан по столбцам таблицы, потому что это устойчивый способ оценить вклад каждой категории по вертикали
D`Standardized residuals` или вклад каждой ячейки в статистику `chi-square`, чтобы увидеть, где именно отклонения сильнее всего
Ответ: Чтобы понять, какие ячейки «ломают» независимость, смотрят `standardized residuals` или вклад каждой ячейки в статистику `chi-square`.
Значимый `chi-square` говорит, что где-то в таблице есть отклонения от ожидаемых частот, но не показывает где именно. `Standardized residuals` помогают увидеть, какие комбинации категорий дают основной вклад. Типичная ошибка — делать вывод про конкретный сегмент, глядя только на общий `p-value` без анализа отдельных ячеек.
Подробный разбор →