Хи-квадрат и таблицы сопряжённости: вопросы для собеседования (часть 2)
Хи-квадрат тест проверяет связь между категориальными переменными — например, зависит ли конверсия от источника трафика. На собеседовании просят построить таблицу сопряжённости, посчитать ожидаемые частоты и интерпретировать результат теста. Это один из немногих статистических тестов, который спрашивают не в контексте A/B.
Вопросы 6–10 из 20
6У вас датасет с полями `user_id`, тип устройства (iOS/Android) и признак конверсии (да/нет). Какую таблицу сопряжённости вы построите перед тестом независимости (`chi-square`)?
AСписок `user_id` с указанием выручки за неделю и категорией устройства каждой строки в исходной разрезке
BСредняя конверсия по всем пользователям одной цифрой без разбиения по типу устройства и без разделения групп
CСтроки тип устройства, столбцы признак конверсии, в ячейках число пользователей с такой комбинацией признаков
DГрафик конверсии по дням без разбиения на устройства, чтобы увидеть динамику метрики во времени за период
Ответ: Для `chi-square` нужна таблица сопряжённости с абсолютными счетчиками по двум категориальным признакам.
В таблице сопряжённости строки и столбцы — категории двух признаков, а в ячейках — число наблюдений. Для типа устройства и признака конверсии это будет таблица 2×2 с числом пользователей в каждой ячейке. Типичная ошибка — подставлять проценты вместо абсолютных счётчиков и терять информацию о размере групп.
Подробный разбор → 7В таблице сопряжённости для контрольной и тестовой группы и исхода (купил/не купил) в ячейке (тестовая группа, купил) стоит число 250. Что это означает?
A250 наблюдений из тестовой группы попали в категорию «купил» по факту по итогам сбора данных
BКонверсия в тестовой группе равна 250%, что в 2.5 раза превышает базовое значение метрики
C250 это значение `p-value` для теста `chi-square` по этой таблице сопряжённости в данной группе
D250 это ожидаемая частота по `H0` для ячейки тестовой группы и покупки по нулевой гипотезе
Ответ: Ячейка таблицы сопряжённости хранит количество наблюдений, попавших в обе категории одновременно.
В таблице сопряжённости каждое число — это фактическое количество наблюдений с конкретной комбинацией категорий, а не доля и не результат теста. Это значение не является ни `p-value`, ни рассчитанной ожидаемой частотой по нулевой гипотезе. Типичная ошибка — путать абсолютные количества с долями и делать выводы без нормализации внутри группы. Чтобы оценить конверсию в тестовой группе, нужно поделить 250 на общий размер этой группы.
Подробный разбор → 8В таблице сопряжённости строки — это группы (контроль и тест), а столбцы — купил/не купил. Какие проценты обычно полезнее считать, чтобы сравнить конверсию между группами и сформулировать гипотезу до теста хи-квадрат?
AПроценты внутри столбцов: считать долю строки внутри каждого столбца, чтобы увидеть распределение групп среди купивших и среди не купивших
BПроценты от общего итога таблицы: для каждой ячейки делить её значение на сумму всей таблицы, без учёта структуры строк и столбцов
CПроценты внутри строк: для каждой группы считать долю «купил» относительно размера группы, чтобы прямо сравнивать конверсию между ними
DПроизведение процентов строк и столбцов: перемножать долю строки и долю столбца, чтобы получить ожидаемое значение в каждой ячейке
Ответ: Для сравнения конверсии между группами в таблице сопряжённости обычно смотрят доли внутри строк.
Если строки — это группы (контроль и тест), долю покупки разумно считать внутри каждой строки: тогда мы напрямую сравниваем вероятность исхода в каждой группе. Проценты от общего итога таблицы могут скрывать разницу, если группы разного размера. Проценты внутри столбцов отвечают на другой вопрос — как распределены группы среди купивших, а не как различаются конверсии между группами. Произведение долей по строкам и столбцам — это ожидаемые частоты при независимости, а не наблюдённые конверсии.
Подробный разбор → 9Вы получили очень маленький `p-value` в `chi-square` тесте, но различия долей в таблице сопряжённости выглядят минимальными. Что лучше сделать перед продуктовым решением?
AИгнорировать абсолютные доли в таблице и принимать решение только по значению `p-value` без оценки величины эффекта
BОценить величину эффекта (например, через коэффициент `V` Крамера) и практическую значимость разницы долей в таблице
CПоделить выборку на половины и пересчитать `chi-square` отдельно: согласованность половин подтвердит наличие эффекта
DСравнить наблюдаемые и ожидаемые частоты только в одной ячейке таблицы и опереться на её относительный остаток в выводе
Ответ: Помимо `p-value` полезно оценить величину связи, например через коэффициент `V` Крамера, и абсолютные разницы долей.
Хи-квадрат на больших выборках почти всегда даёт маленький `p-value` даже при микроскопических различиях долей: критерий чувствителен к размеру выборки, а не к величине эффекта. Поэтому при малых видимых различиях считают effect size — `V` Крамера, остатки в ячейках или относительные риски — и оценивают практическую значимость. Решать только по `p-value` — путь к фантомным эффектам. Пересчёт по половинам не отвечает на вопрос о размере эффекта. Опираться на одну ячейку — нарушение многомерности теста и шум.
Подробный разбор → 10Вы нашли значимую связь в таблице сопряжённости между каналом привлечения и покупкой с помощью `chi-square`. Можно ли сделать вывод, что канал вызывает покупку?
AДа, значимый `p-value` доказывает причинность, потому что наблюдаемая связь между каналом и покупкой статистически значима на выбранном уровне
BДа, если ожидаемые частоты в ячейках большие, тест надёжен, и значимый результат можно интерпретировать как причинное влияние канала на покупку
CМожно сделать причинный вывод, только если таблица 2×2: при простом размере таблицы тест проще и значимая связь автоматически означает причинность
DНет: `chi-square` показывает ассоциацию между категориями, а причинность требует эксперимента или контроля смешивающих факторов
Ответ: `chi-square` в таблице сопряжённости показывает ассоциацию категорий, а не причинность.
Даже если `p-value` мал, это означает лишь несовместимость данных с гипотезой о независимости категорий. Причина может быть в скрытом факторе: например, разные каналы приводят разную аудиторию. Чтобы говорить о причинности, нужен экспериментальный дизайн с рандомизацией контроля и тритмента или иной способ контроля смешивающих переменных.
Подробный разбор →