Эксперимент рандомизируется по user_id, а вы считаете метрику на уровне session_id (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?

При рандомизации по user_id независимыми являются пользователи, а не их сессии. У одного пользователя поведение по сессиям часто связано, поэтому считать каждую session_id независимой ошибочно. Это обычно не обязательно смещает средний эффект, но может дать слишком оптимистичные p-value и доверительные интервалы. Типовые решения — агрегировать метрику на user_id или использовать кластерные ошибки на уровне пользователя.