Что в первую очередь даёт randomization в A/B test?
AСнижает систематические различия между группами и помогает оценить причинный эффект
BГарантирует идеально одинаковый состав групп по каждому признаку в любой выборке
CОбеспечивает, что каждый пользователь увидит и
control, и treatmentDГарантирует, что
lift всегда будет положительнымПравильный ответ.
randomization делает назначение варианта независимым от свойств пользователя и снижает смещения.Разбор
При случайном назначении вероятность попасть в control или treatment не зависит от поведения и характеристик пользователей. Это помогает сделать группы сопоставимыми и уменьшить влияние конфаундеров. Поэтому разница метрик между группами лучше интерпретируется как причинный эффект изменения.
Проверь себя · 1/3разбор после ответа
Как чаще всего рассчитывают относительный
lift метрики между treatment и control?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
- Все вопросы по «Основы A/B-тестирования» →