Что в A/B test обычно означает разделение на control и treatment?
A
control — прошлый месяц, treatment — текущий месяцB
control — пользователи из одного города, treatment — из другогоC
control — базовый опыт без изменения, treatment — вариант с изменением, распределение происходит случайноD
treatment всегда получает больше трафика, чтобы быстрее набрать статистикуПравильный ответ.
control/treatment — это два варианта опыта, которые сравнивают при случайном распределении пользователей.Разбор
В control пользователи видят текущую версию продукта, а в treatment — экспериментальное изменение. Ключевой принцип — рандомизация, чтобы группы были сопоставимы по составу. Сравнение разных месяцев или городов без рандомизации легко смешивает эффект фичи с внешними факторами, например seasonality.
Проверь себя · 1/3разбор после ответа
Что в
A/B test обычно означает разделение на control и treatment?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Какой подход к остановке эксперимента лучше всего снижает риск `peeking` (подглядывания) и спорных выводов?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →