Ожидаемое разбиение — 50/50. По логам экспозиций видно N_treat / N_control = 1.30. Какой вывод и следующий шаг наиболее корректны?

AОтклонение 1.30 от ожидаемого ratio 1.0 вполне объяснимо статистическим шумом: при достаточно большой выборке дисперсия в назначении групп всегда даёт подобные перекосы.
BЭто похоже на SRM (Sample Ratio Mismatch) или баг в назначении или логировании, нужно проверять bucketing (разбивка пользователей на группы), фильтры экспозиции и путь пользователя до лог-события
CПерекос в пользу treat означает, что алгоритм bucketing корректно определил более активных пользователей в тестовую группу — это улучшает чистоту эксперимента.
DНужно дождаться завершения эксперимента и пересчитать ratio на финальной выборке: промежуточный SRM часто исчезает сам по мере набора трафика, анализировать пока преждевременно.
Правильный ответ. Заметный перекос N_treat / N_control часто сигнализирует SRM (Sample Ratio Mismatch) и требует проверки механики назначения и учета экспозиций.

Разбор

SRM (Sample Ratio Mismatch) означает, что фактическое распределение по группам отличается от ожидаемого сильнее, чем можно объяснить случайностью. Причина может быть в баге bucketing (разбивка пользователей на группы), в некорректных фильтрах (например, разные условия попадания в лог экспозиции) или в проблемах идентификации. Правильный шаг — сверить распределение на уровне факта назначения и отдельно на уровне экспозиций, а также проверить SRM (Sample Ratio Mismatch) внутри ключевых сегментов. До выяснения причин интерпретировать эффект опасно.

Проверь себя · 1/3разбор после ответа
Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн 2x2 вместо взаимного исключения аудиторий?
Тренировать A/B в Telegram

Ещё вопросы по теме «Дизайн эксперимента и рандомизация»