Вы тестируете новую логику отправки push-уведомлений, которая напрямую меняет количество отправок. Можно ли число отправленных push считать invariant metrics?

AДа, invariant metrics должны быть любыми метриками, которые легко посчитать
BДа, потому что invariant metrics всегда совпадают между группами
CНет, потому что эксперимент напрямую влияет на эту метрику, и её роль скорее secondary metrics или часть результата
DДа, но только если увеличить размер выборки
Правильный ответ. invariant metrics не должны зависеть от воздействия эксперимента, иначе их изменение не будет «красным флагом».

Разбор

Если фича меняет вероятность отправки уведомлений, то число отправок закономерно будет различаться между вариантами. В таком случае это не инвариант, а ожидаемая часть механики или результат, который можно анализировать как secondary metrics. Инварианты выбирают так, чтобы их изменение сигнализировало об ошибке, а не о работе фичи.

Проверь себя · 1/3разбор после ответа
Какое утверждение лучше всего описывает правильную работу с guardrail metrics?
Тренировать A/B в Telegram

Ещё вопросы по теме «Метрики и guardrail-метрики»