Назначение групп 50/50 по user_id корректно, но в лог экспозиции попадает только событие page_render. В тестовой группе страница грузится медленнее, и часть пользователей уходит до page_render, поэтому в логах экспозиции виден перекос соотношения. Какой фикс наиболее правильный?
AИзменить функцию хеширования так, чтобы в тестовую группу попадало меньше пользователей и перекос автоматически выровнялся.
BЛогировать факт назначения отдельно от события
page_render или задать единый критерий экспозиции, одинаковый для контрольной и тестовой групп.CИгнорировать перекос соотношения групп, считая, что это побочный признак сильного эффекта тестового варианта на поведение.
DСделать рандомизацию по
session_id, чтобы событие page_render происходило чаще и компенсировало пропуски экспозиций.Правильный ответ.
SRM (Sample Ratio Mismatch) часто возникает из-за разных путей логирования между вариантами, поэтому событие учёта экспозиции должно быть согласованным.Разбор
Если экспозиция фиксируется только после page_render, варианты с более высокой задержкой не попадают в лог. Назначение может быть корректным, но анализ по экспозициям даст перекошенную выборку и потенциально смещённую оценку эффекта. Лучшее решение — разделить события назначения и экспозиции или сделать определение экспозиции одинаковым для контрольной и тестовой групп. После фикса полезно пересчитать SRM и убедиться, что перекос исчез.
Проверь себя · 1/3разбор после ответа
Вы хотите сегментировать результаты по VIP, где VIP — пользователи с покупками за последние 30 дней. Но тест влияет на покупки, поэтому VIP-статус может измениться из-за самого теста. Как поступить, если цель — честная сегментация эффекта?
Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →