После запуска вы выяснили, что часть пользователей видит treatment на вебе и control в приложении из-за разных систем флагов. В чём главная проблема?
AНичего страшного: так выборка становится больше
BЭто улучшает
seasonality, потому что больше каналовCЭто помогает снизить
peeking, потому что результат будет усреднёнDПроисходит смешение
control/treatment, и эффект A/B test становится трудно интерпретироватьПравильный ответ. Смешение
control/treatment для одного пользователя размывает различия и ломает интерпретацию эффекта.Разбор
Если один и тот же пользователь получает разные варианты в разных каналах, то сравнение групп перестаёт быть чистым. control может частично «заражаться» treatment и наоборот, из-за чего эффект занижается или становится непредсказуемым. Обычно это решают единым источником флагов или консистентным ключом назначения варианта.
Проверь себя · 1/3разбор после ответа
Что в
A/B test обычно означает разделение на control и treatment?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →