Вы измеряете бинарный исход (например, купил/не купил) у тех же пользователей до и после изменения. Какой тест обычно уместнее, чем chi-square тест независимости?

Когда у одних и тех же пользователей измеряют бинарный исход до и после, наблюдения парные, и стандартный chi-square независимости тут не подходит — он предполагает независимость строк. Тест Мак-Немара построен именно на парных бинарных данных: он смотрит на дискордантные пары (изменили решение в одну или другую сторону) и игнорирует совпавшие ответы. t-test для зависимых рассчитан на непрерывные метрики, а не на бинарные. ANOVA сравнивает средние трёх и более групп. Mann–Whitney — непараметрический тест для независимых выборок.