В целом метрика в варианте B выросла, но в разрезе iOS и Android она падает в обоих сегментах. Что это чаще всего подсказывает и что стоит проверить?

AЭто доказывает баг в статистике; разрезы по платформам нельзя использовать в продуктовом анализе и принятии решений
BЭто означает, что SRM (Sample Ratio Mismatch) автоматически отсутствует, раз общий эффект положительный по основной метрике
CВозможен эффект смешения сегментов (например, разный состав трафика по платформам); проверить распределение пользователей и корректность агрегации
DНужно смотреть только общий эффект и никогда не открывать разрезы по платформам, чтобы избежать ложных выводов из данных
Правильный ответ. Противоречие между общим эффектом и эффектами в сегментах часто означает смещение состава трафика или некорректную агрегацию.

Разбор

Если доли сегментов в вариантах отличаются, общий результат может быть «искусственным» за счёт перераспределения аудитории. В таких случаях важно проверить распределение платформ, источников трафика и других ключевых признаков, а также убедиться, что метрики агрегируются одинаково. Иногда помогает стратификация или анализ по заранее заданным сегментам. Это может быть проявлением эффекта смешения (например, парадокса Симпсона).

Проверь себя · 1/3разбор после ответа
Запустили A/B-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин SRM (Sample Ratio Mismatch) применительно к этой ситуации?
Тренировать A/B в Telegram

Ещё вопросы по теме «QA, SRM и раскатка»