Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как guardrail metric?
AКоличество отправленных push
BКоличество открытий push
CСреднее число заказов на активного пользователя
DДоля отключивших уведомления (
opt_out_rate) или жалобы на спамПравильный ответ.
guardrail metric защищает от ухудшения опыта пользователя и рисков, даже если primary metric растёт.Разбор
Увеличение push часто повышает краткосрочные метрики, но может раздражать пользователей. Поэтому важно контролировать guardrail metric, которая отражает негативный опыт: отключения уведомлений, жалобы, отписки. Количество отправок и открытий — это скорее механика и промежуточные показатели, а не ограничение риска.
Проверь себя · 1/3разбор после ответа
Тест показал улучшение
primary metric и отсутствие проблем по guardrail metric. Какой план rollout чаще всего считается наиболее безопасным?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Какая формулировка лучше всего соответствует проверяемой `hypothesis` для `A/B test`?
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Какой подход к остановке эксперимента лучше всего снижает риск `peeking` (подглядывания) и спорных выводов?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →