Хи-квадрат и таблицы сопряжённости: вопросы для собеседования (часть 2)
Хи-квадрат тест проверяет связь между категориальными переменными — например, зависит ли конверсия от источника трафика. На собеседовании просят построить таблицу сопряжённости, посчитать ожидаемые частоты и интерпретировать результат теста. Это один из немногих статистических тестов, который спрашивают не в контексте A/B.
Вопросы 6–10 из 20
6У вас датасет с полями `user_id`, `device` (iOS/Android) и `converted` (да/нет). Какую таблицу сопряжённости вы построите перед `chi-square` тестом независимости?
AСтроки — `device`, столбцы — `converted`, в ячейках — количество пользователей
BСписок `user_id` с их выручкой за неделю
CСредняя конверсия по всем пользователям одной цифрой
DГрафик конверсии по дням без разбиения на `device`
Ответ: Для `chi-square` нужна таблица сопряжённости с абсолютными счетчиками по двум категориальным признакам.
В таблице сопряжённости строки и столбцы — категории двух признаков, а в ячейках — число наблюдений. Для `device` и `converted` это будет таблица 2×2 с counts пользователей. Типичная ошибка — подставлять проценты вместо counts и терять информацию о размере групп.
7В таблице сопряжённости для `control/treatment` и исхода (купил/не купил) в ячейке (treatment, купил) стоит число 250. Что это означает?
AКонверсия в `treatment` равна 250%
B250 наблюдений в `treatment` попали в категорию 'купил'
C250 — это `p-value` теста `chi-square`
D250 — это ожидаемые частоты по `H0`
Ответ: Ячейка `таблица сопряженности` хранит count наблюдений, попавших в обе категории одновременно.
В таблице сопряжённости каждое число — это фактическое количество наблюдений с конкретной комбинацией категорий. Это не `p-value` и не рассчитанные ожидаемые частоты. Типичная ошибка — путать counts с долями и делать выводы без нормализации внутри группы.
8В таблице сопряженности строки — `control/treatment`, столбцы — купил/не купил. Какие проценты чаще всего полезнее считать, чтобы сравнить конверсию между группами и сформировать гипотезу до `chi-square`?
AПроценты внутри столбцов (column percentages) по всей таблице
BПроценты от общего итога таблицы для каждой ячейки
CПроценты внутри строк (row percentages), то есть долю 'купил' внутри каждой группы
DПроизведение процентов строк и столбцов
Ответ: Для сравнения конверсии между группами в таблице сопряженности обычно смотрят доли внутри строк (row percentages).
Если строки — `control/treatment`, то доля покупки должна считаться внутри каждой строки, чтобы сравнить вероятность исхода в группе. Общие проценты по всей таблице могут скрыть разницу, если размеры групп разные. Это помогает читать таблицу сопряженности как источник гипотез перед формальным `chi-square`.
9Вы получили очень маленький `p-value` в `chi-square` тесте, но различия долей в таблице сопряжённости выглядят минимальными. Что лучше сделать перед продуктовым решением?
AИгнорировать доли и смотреть только на `p-value`
BОценить величину эффекта (например, `Cramer's V` (мера силы связи для таблиц сопряжённости, 0–1)) и практическую значимость разницы
CСразу увеличить долю `treatment`, чтобы усилить эффект
DУбрать часть данных, чтобы `p-value` стало больше
Ответ: Помимо `p-value` полезно оценить величину связи, например через `Cramer's V` (мера силы связи для таблиц сопряжённости, 0–1).
На больших выборках даже очень маленькие отличия могут давать малый `p-value`. Чтобы понять, стоит ли изменение усилий, полезно смотреть размер эффекта (`Cramer's V` (мера силы связи для таблиц сопряжённости, 0–1)) и абсолютные разницы долей в таблице. Это помогает отличить статистическую значимость от практической.
10Вы нашли значимую связь в таблице сопряжённости между каналом привлечения и покупкой с помощью `chi-square`. Можно ли сделать вывод, что канал вызывает покупку?
AНет, `chi-square` показывает ассоциацию, а причинность требует эксперимента или контроля смешивающих факторов
BДа, значимый `p-value` доказывает причинность
CДа, если `ожидаемые частоты` большие, то это причинность
DМожно, если таблица 2×2, потому что она проще
Ответ: `chi-square` в `таблица сопряженности` показывает ассоциацию, а не причинность.
Даже если `p-value` мал, это означает лишь несовместимость данных с `H0` о независимости категорий. Причина может быть в скрытом факторе: например, разные каналы приводят разную аудиторию. Чтобы говорить о причинности, нужен экспериментальный дизайн с рандомизацией `control/treatment` или иной контроль.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram