Ожидаемое разбиение — 50/50. По логам экспозиций видно N_treat / N_control = 1.30. Какой вывод и следующий шаг наиболее корректны?
AОтклонение 1.30 от ожидаемого
ratio 1.0 вполне объяснимо статистическим шумом: при достаточно большой выборке дисперсия в назначении групп всегда даёт подобные перекосы.BЭто похоже на
SRM (Sample Ratio Mismatch) или баг в назначении или логировании, нужно проверять bucketing (разбивка пользователей на группы), фильтры экспозиции и путь пользователя до лог-событияCПерекос в пользу
treat означает, что алгоритм bucketing корректно определил более активных пользователей в тестовую группу — это улучшает чистоту эксперимента.DНужно дождаться завершения эксперимента и пересчитать
ratio на финальной выборке: промежуточный SRM часто исчезает сам по мере набора трафика, анализировать пока преждевременно.Правильный ответ. Заметный перекос
N_treat / N_control часто сигнализирует SRM (Sample Ratio Mismatch) и требует проверки механики назначения и учета экспозиций.Разбор
SRM (Sample Ratio Mismatch) означает, что фактическое распределение по группам отличается от ожидаемого сильнее, чем можно объяснить случайностью. Причина может быть в баге bucketing (разбивка пользователей на группы), в некорректных фильтрах (например, разные условия попадания в лог экспозиции) или в проблемах идентификации. Правильный шаг — сверить распределение на уровне факта назначения и отдельно на уровне экспозиций, а также проверить SRM (Sample Ratio Mismatch) внутри ключевых сегментов. До выяснения причин интерпретировать эффект опасно.
Проверь себя · 1/3разбор после ответа
Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн
2x2 вместо взаимного исключения аудиторий?Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую `unit of randomization` (единица рандомизации) выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из `treat` отправляет приглашения друзьям, которые попадают в `control` и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит `interference`?
- Вы делаете `bucketing` (разбивка пользователей на группы) как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →