Новая функция включается кнопкой, и анализ показал, что у включивших выше retention и conversion rate. Какая основная проблема такого вывода?

Те, кто включает функцию, обычно более вовлечены и уже имеют более высокий base rate. Поэтому разница метрик может отражать не эффект функции, а различия аудитории. Чтобы оценить эффект, нужно сравнение без self-selection, например через randomization или через корректный control variable и stratification.