В эксперименте на ранжировании пользователи разбиты на группы по user_id, но общий кэш поиска не учитывает вариант и иногда отдаёт пользователю выдачу другого варианта. Что это за риск?
AЗагрязнение групп: пользователи получают опыт другого варианта через общий кэш, что нарушает предпосылки
SUTVA и размывает эффектBЭто
SRM: общий кэш меняет фактические размеры контрольной и тестовой групп и поэтому ломает соотношение между нимиCЭто только снижение скорости системы из-за общего кэша, на корректность измеряемого эффекта эксперимента это не влияет
DПроблема только в выборе единицы анализа: общий кэш на эту единицу не влияет, поэтому достаточно поправить только её
Правильный ответ. Если инфраструктура смешивает выдачи разных вариантов, происходит загрязнение групп и эксперимент перестаёт измерять чистый эффект.
Разбор
Кэш, который не учитывает вариант, делает фактический показ несовпадающим с назначением по группам. Тогда часть пользователей контрольной группы увидит поведение тестового варианта или наоборот, и различия между группами размоются. Это нарушает предпосылки SUTVA и может скрыть реальный эффект или создать ложный. Обычно решают добавлением варианта в ключ кэша и проверкой согласованности назначения и фактического показа.
Проверь себя · 1/3разбор после ответа
Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн
2x2 вместо взаимного исключения аудиторий?Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →