В тесте поиска рандомизация по user_id. Метрика — CTR по каждому запросу, у активных пользователей запросов намного больше. Как выбрать корректную unit of analysis, чтобы один супер-активный пользователь не доминировал в результате?

Если усреднять по запросам, пользователи с большим числом запросов получают непропорционально большой вес. Это может менять интерпретацию эффекта и вести к неверным стандартным ошибкам, потому что запросы одного user_id зависимы. Частый подход — считать пользовательский CTR (например, клики делить на показы по пользователю) и сравнивать распределения по user_id. Альтернатива — анализ на уровне запросов с корректным учетом кластеризации по пользователям.