После запуска вы выяснили, что часть пользователей видит тестовую версию на вебе и контрольную в приложении из-за разных систем флагов. В чём главная проблема?
AПроисходит смешение тестовой и контрольной групп, и эффект эксперимента становится трудно интерпретировать корректно
BЭто улучшает учёт сезонности, потому что охватывается больше каналов и поведение пользователей усредняется по платформам
CНичего страшного: так выборка только увеличивается, а эффект усредняется по разным платформам и устройствам пользователя
DЭто помогает снизить риск ранних подглядываний в эксперимент, потому что итоговый результат усредняется по всем платформам
Правильный ответ. Смешение тестовой и контрольной групп для одного пользователя размывает различия и ломает интерпретацию эффекта эксперимента.
Разбор
Если один и тот же пользователь получает разные варианты в разных каналах, то сравнение групп перестаёт быть чистым. Контрольная группа может частично заражаться тестовой и наоборот, из-за чего эффект занижается или становится непредсказуемым. Обычно это решают единым источником флагов или согласованным ключом назначения варианта по единому идентификатору пользователя.
Проверь себя · 1/3разбор после ответа
Вы подозреваете SRM: в тестовой группе меньше пользователей, чем ожидалось, и перекошены платформы. Что уместнее всего проверить в первую очередь?
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →