После эксперимента вы посмотрели 20 сегментов и выбрали один с p-value=0.03, чтобы сказать, что фича работает в этом сегменте. Что корректнее сделать?

Просмотр 20 сегментов и выбор одного с p-value < 0.05 — это классическая множественная проверка с раздутой ошибкой I рода: даже при H0 истинной для всех сегментов вероятность увидеть хотя бы один значимый результат на уровне 0.05 оценивается как 1 - 0.95^20 ≈ 0.64. Корректная практика — применить поправку (Holm, BH) или пометить сегментный результат как исследовательский и подтвердить отдельным A/B-тестом на этом сегменте. Заявлять эффект без поправки или, наоборот, отменять анализ ради ожидания следующей итерации — крайности, не решающие задачу.