Что в первую очередь даёт рандомизация в A/B-тесте?
AСнижает систематические различия между группами и помогает интерпретировать разницу метрик как причинный эффект изменения
BГарантирует идеально одинаковый состав групп по каждому признаку в любой выборке, независимо от её размера и сегментов
CОбеспечивает, что каждый пользователь обязательно увидит и контрольный, и тестовый варианты в течение жизни эксперимента
DГарантирует, что относительный прирост метрики в тестовой группе всегда будет положительным, если рандомизация выполнена корректно
Правильный ответ. Рандомизация делает назначение варианта независимым от свойств пользователя и поддерживает причинную интерпретацию.
Разбор
При случайном назначении вероятность попасть в контрольную или тестовую группу не зависит от поведения и характеристик пользователей. Это делает группы сопоставимыми и уменьшает влияние конфаундеров. Поэтому разница метрик между группами лучше интерпретируется как причинный эффект изменения. Идеального совпадения признаков рандомизация не обещает, пользователи в одном тесте обычно видят только один вариант, а знак прироста метрики не гарантирован.
Проверь себя · 1/3разбор после ответа
Команда запустила новый дизайн карточки товара в A/B-тесте. В первые три дня конверсия в тестовой группе на 15% выше, но к концу второй недели разница упала до 2%. Как грамотно учесть эффект новизны?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
- Все вопросы по «Основы A/B-тестирования» →