Тест изменяет дизайн экрана оплаты. Из 50 000 пользователей тестовой группы только 8 000 дошли до этого экрана. Метрика — общая конверсия в покупку. Как триггеринг поможет увеличить чувствительность теста?
AАнализировать только тех, кто дошёл до экрана оплаты, потому что остальные никак не могли увидеть изменение
BАнализировать всех пользователей обеих групп для максимального размера выборки
CАнализировать только тех, кто совершил покупку, чтобы убрать шум от неактивных пользователей
DАнализировать только новых пользователей, потому что старые привыкли к прежнему интерфейсу
Правильный ответ. Триггеринг — ограничение анализа только теми пользователями, которые могли увидеть изменение.
Разбор
Если изменение затрагивает конкретный экран, 84% пользователей в данном примере никогда его не увидят. Их включение в анализ разбавляет эффект: реальный рост конверсии среди увидевших теряется в шуме от не-увидевших. Триггеринг — анализ только «затронутых» пользователей — резко увеличивает чувствительность теста и позволяет обнаружить эффект на меньшей выборке.
Проверь себя · 1/3разбор после ответа
Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →