Вы меняете текст про доставку на чекауте; primary metric — конверсия в заказ. Какую метрику логичнее поставить как guardrail metrics, чтобы контролировать риск для бизнеса?

AКоличество скроллов на странице доставки
BДоля отмен и возвратов после покупки
CСредняя длительность сессии в приложении
DЧисло пользователей, попавших в эксперимент
Правильный ответ. guardrail metrics выбирают так, чтобы они ловили опасные побочные эффекты от изменения.

Разбор

Изменение текста может «продавить» пользователей к покупке, но привести к разочарованию после оплаты. Рост отмен и возвратов сигнализирует, что мы ухудшили качество ожиданий или ввели людей в заблуждение. Поэтому такую метрику логично использовать как guardrail metrics, ограничивая риск.

Проверь себя · 1/3разбор после ответа
Перед анализом результата вы проверяете invariant metrics. Какая метрика чаще всего является invariant metrics в онлайн A/B тесте?
Тренировать A/B в Telegram

Ещё вопросы по теме «Метрики и guardrail-метрики»