Вы тестируете новую логику отправки push-уведомлений, которая напрямую меняет количество отправок. Можно ли число отправленных push считать invariant metrics?
AДа,
invariant metrics должны быть любыми метриками, которые легко посчитатьBДа, потому что
invariant metrics всегда совпадают между группамиCНет, потому что эксперимент напрямую влияет на эту метрику, и её роль скорее
secondary metrics или часть результатаDДа, но только если увеличить размер выборки
Правильный ответ.
invariant metrics не должны зависеть от воздействия эксперимента, иначе их изменение не будет «красным флагом».Разбор
Если фича меняет вероятность отправки уведомлений, то число отправок закономерно будет различаться между вариантами. В таком случае это не инвариант, а ожидаемая часть механики или результат, который можно анализировать как secondary metrics. Инварианты выбирают так, чтобы их изменение сигнализировало об ошибке, а не о работе фичи.
Проверь себя · 1/3разбор после ответа
Какое утверждение лучше всего описывает правильную работу с
guardrail metrics?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Все вопросы по «Метрики и guardrail-метрики» →