Вы строите таблицу сопряжённости по событиям кликов, но один пользователь может сделать десятки кликов. Почему это может быть проблемой для chi-square теста независимости?

Если один пользователь даёт много событий, строки в таблице сопряжённости перестают быть независимыми. Тогда p-value может стать слишком маленьким, потому что вы завышаете эффективный размер выборки. Частое решение — агрегировать до уровня пользователя или сессии и уже потом строить таблицу.