Вы тестируете новый ранжирующий алгоритм, который заметно меняет число показов на пользователя; при этом CTR вырос. Что правильно сделать перед выводом, что качество кликов улучшилось?

Рост CTR может возникнуть из-за сокращения показов при относительно меньшем сокращении кликов, и это не всегда означает лучший ранжир. Поэтому важно смотреть на клики и показы отдельно, а также на метрики на пользователя, чтобы понять механизм эффекта. Статистически это также сигнал, что наивный анализ долей может быть недостаточен, и стоит выбирать delta method (дельта-метод для ratio-метрик) или bootstrap на правильной единице.