Вы делаете разбивку пользователей на группы как hash(user_id + day) % 2, где day — текущая дата. Что самое вероятное следствие для эксперимента?

Добавление day в ключ делает назначение зависимым от даты, поэтому один и тот же пользователь будет получать разные варианты в разные дни. В результате внутри одного user_id происходит смена воздействия, и эффект размывается. Кроме того, такая схема усложняет анализ по когортам и повышает риск непредсказуемых перекосов в данных.