Новая функция доступна только users, которые включили beta. Команда сравнила их retention с остальными users и увидела рост. Какой следующий шаг наиболее корректен для анализа?

Пользователи beta обычно более мотивированы, и их base rate может быть выше. Поэтому рост retention может отражать состав аудитории, а не эффект функции. Лучшее решение — сделать randomization или сопоставимое сравнение like-for-like с контролем ключевых факторов.