Пользователи сами решают, обновлять ли приложение. Вы сравнили conversion rate у обновившихся с не обновившимися и получили лучший результат у новой версии. Что здесь самая большая аналитическая проблема?

Обновившиеся пользователи могут отличаться по вовлечённости, base rate покупок и устройствам. Эти различия становятся confounder и могут объяснить рост метрики без реального улучшения продукта. Чтобы оценить влияние версии, нужно сделать randomization или хотя бы сравнение like-for-like с контролем ключевых факторов.