Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
AКонтроль: базовый опыт без изменения; тест: вариант с изменением; распределение пользователей случайное
BКонтроль: пользователи прошлого месяца; тест: пользователи текущего месяца с включённой версией
CКонтроль: пользователи одного города или региона; тест: пользователи другого города или региона
DТестовая группа получает больше трафика, чем контроль, для ускорения статистической значимости
Правильный ответ. Контроль и тест — это два варианта опыта, которые сравнивают при случайном распределении пользователей.
Разбор
В контрольной группе пользователи видят текущую версию продукта, а в тестовой — экспериментальное изменение. Ключевой принцип — рандомизация, чтобы группы были сопоставимы по составу. Сравнение разных месяцев или городов без рандомизации легко смешивает эффект фичи с внешними факторами, например с сезонностью.
Проверь себя · 1/3разбор после ответа
Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как страховочная?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный выкат изменения?
- Какой подход к остановке эксперимента лучше всего снижает риск подглядывания и спорных выводов о результате?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →