Эксперимент рандомизируется по пользователям, а метрика CTR считается как клики/показы. Как корректнее всего настроить bootstrap для оценки разницы вариантов?

Если рандомизация по пользователю, внутри пользователя наблюдения зависимы и это нужно сохранять. Поэтому в каждом бутстрап-репликате выбирают пользователей с возвращением, суммируют клики и показы по выбранным пользователям и считают CTR. Так получают эмпирическое распределение эффекта без жестких предположений о форме распределения.