Что в контексте A/B теста означает контрфактический исход?
AСреднее значение метрики в обеих группах вместе, посчитанное после раскатки функции на всю аудиторию продукта целиком
BЛюбая корреляция между изменением и метрикой, наблюдаемая на исторических данных без проведения отдельного эксперимента
CИсход для тех же пользователей в мире, где они получили бы другой вариант (например, контроль вместо тестовой версии продукта)
DМетрика после запуска функции на всех пользователей, измеренная сразу же по итогу первой недели после раскатки
Правильный ответ. Контрфактический исход — это результат, который нельзя наблюдать напрямую, но
A/B тест приближает его через сравнение групп.Разбор
Для конкретного пользователя нельзя одновременно показать и контроль, и тестовую версию в одном и том же моменте, поэтому прямой контрфактический исход недоступен. Эксперимент создаёт две сопоставимые группы, чтобы среднее одной служило приближением того, что произошло бы с другой без изменения. Это основа причинного вывода в продуктовых экспериментах. Корреляция на истории или среднее по всем пользователям после раскатки контрфактическим исходом не являются.
Проверь себя · 1/3разбор после ответа
Тест изменяет дизайн экрана оплаты. Из 50 000 пользователей тестовой группы только 8 000 дошли до этого экрана. Метрика — общая конверсия в покупку. Как триггеринг поможет увеличить чувствительность теста?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →