Тест изменяет дизайн экрана оплаты. Из 50 000 пользователей тестовой группы только 8 000 дошли до этого экрана. Метрика — общая конверсия в покупку. Как триггеринг поможет увеличить чувствительность теста?
AАнализировать только тех, кто дошёл до экрана оплаты, потому что остальные никак не могли увидеть изменение
BАнализировать всех пользователей обеих групп для максимального размера выборки
CАнализировать только тех, кто совершил покупку, чтобы убрать шум от неактивных пользователей
DАнализировать только новых пользователей, потому что старые привыкли к прежнему интерфейсу
Правильный ответ. Триггеринг — ограничение анализа только теми пользователями, которые могли увидеть изменение.
Разбор
Если изменение затрагивает конкретный экран, 84% пользователей в данном примере никогда его не увидят. Их включение в анализ разбавляет эффект: реальный рост конверсии среди увидевших теряется в шуме от не-увидевших. Триггеринг — анализ только «затронутых» пользователей — резко увеличивает чувствительность теста и позволяет обнаружить эффект на меньшей выборке.
Проверь себя · 1/3разбор после ответа
Команда запустила новый дизайн карточки товара в A/B-тесте. В первые три дня конверсия в тестовой группе на 15% выше, но к концу второй недели разница упала до 2%. Как грамотно учесть эффект новизны?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →