После запуска новой версии приложения общий conversion rate упал. При этом выросла доля трафика на android (platform = android), а у android исторически ниже base rate. Какое объяснение наиболее правдоподобно без дополнительных данных?

AСработал mix shift: изменились веса segment по platform, поэтому общий rate мог упасть
BНовая версия точно ухудшила опыт для каждого segment
CЭто невозможно при randomization, значит метрика посчитана неправильно
DЗначит, в control variable всегда должен быть только device
Правильный ответ. Падение общего результата может быть следствием mix shift, а не ухудшения внутри каждого segment.

Разбор

Если доля segment с более низким base rate выросла, общий rate может снизиться даже при стабильности внутри сегментов. Это частая ситуация, когда меняется состав по platform или источникам трафика. Чтобы проверить, нужно сравнить метрику like-for-like, например посчитать rate отдельно по segment и посмотреть изменения внутри.

Проверь себя · 1/3разбор после ответа
Пользователи сами решают, обновлять ли приложение. Вы сравнили conversion rate у обновившихся с не обновившимися и получили лучший результат у новой версии. Что здесь самая большая аналитическая проблема?
Открыть Карьерник в Telegram

Ещё вопросы по теме «Сегментация и конфаундинг»