Маркетплейс: тест меняет ранжирование для покупателей в treat, что увеличивает показы и продажи некоторых продавцов. Эти продавцы затем меняют цену или наличие, и это влияет на покупателей из control. Какой вывод наиболее корректен?

Даже при корректном bucketing (разбивка пользователей на группы) по user_id изменения у покупателей могут менять стимулы и поведение продавцов. Эти изменения затем возвращаются в виде другой среды и для пользователей из control, создавая spillovers. В такой ситуации простое сравнение групп может не отражать изолированный эффект и требует осторожной интерпретации. Возможны альтернативы: рандомизация по рынку, категории или времени, а также дизайны, которые явно учитывают взаимодействие сторон. Главное — заранее признать риск interference и выбирать дизайн под структуру системы.