Команда раскатила успешный A/B-тест на всех пользователей. Через полгода продакт хочет проверить, сохранился ли долгосрочный эффект. Какой подход позволит это измерить?
AОткатить изменение для всех пользователей и перезапустить A/B-тест через полгода
BСравнить метрики текущей версии с историческими данными до запуска теста
CПровести опрос пользователей через полгода, чтобы узнать их субъективное мнение
DОставить небольшую группу пользователей на старой версии и сравнить её с остальными через полгода
Правильный ответ. Холдаут-группа — небольшая доля пользователей, оставленная на старой версии для измерения долгосрочного эффекта.
Разбор
После раскатки сравнить «до и после» некорректно: изменились сезон, аудитория, другие фичи. Холдаут-группа (обычно 1-5% трафика) остаётся на старой версии на месяцы. Сравнивая её метрики с основной аудиторией, можно измерить кумулятивный долгосрочный эффект. Это единственный надёжный способ, потому что группы существуют в одних и тех же внешних условиях.
Проверь себя · 1/3разбор после ответа
Продакт-менеджер видит, что через три дня после запуска A/B-теста p-value равен 0.03. Он хочет остановить тест и раскатить изменение. Какой подход к остановке теста будет корректным?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →