Что в контексте A/B test означает counterfactual?
AМетрика после запуска функции на всех пользователей
BЛюбая корреляция между изменением и метрикой
CСреднее значение метрики в обеих группах вместе
DРезультат для тех же пользователей в мире, где они получили бы другой вариант (например,
control вместо treatment)Правильный ответ.
counterfactual — это исход, который невозможно наблюдать напрямую, но который A/B test помогает приблизить через сравнение групп.Разбор
Для конкретного пользователя нельзя одновременно показать и control, и treatment в одном и том же моменте, поэтому прямой counterfactual недоступен. Эксперимент создаёт две сопоставимые группы, чтобы средний исход одной группы служил приближением того, что было бы с другой группой без изменения. Это основа causal inference в продуктовых экспериментах.
Проверь себя · 1/3разбор после ответа
Перед запуском серии A/B-тестов команда решила провести AA-тест: разделить пользователей на две группы, но обеим показать одну и ту же версию продукта. Зачем это нужно?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →