Вы тестируете новую логику отправки push-уведомлений, которая напрямую меняет количество отправок. Можно ли число отправленных push считать страховочной метрикой?
AДа, страховочной метрикой может быть любая метрика, которую легко посчитать на текущих данных эксперимента и быстро вывести в отчёт
BДа, страховочные метрики всегда совпадают между группами, поэтому подходят и для метрик, на которые напрямую влияет фича в эксперименте
CНет: эксперимент напрямую влияет на эту метрику, и её роль скорее вторичная или часть результата, а не страховочная
DДа, число отправок push можно использовать как страховочную метрику, но только если предварительно увеличить размер выборки в группе
Правильный ответ. Страховочные метрики не должны зависеть от воздействия эксперимента, иначе их изменение не будет «красным флагом».
Разбор
Если фича меняет вероятность отправки уведомлений, число отправок закономерно будет различаться между вариантами. В таком случае это не инвариант, а ожидаемая часть механики или результат, который можно анализировать как вторичную метрику. Страховочные метрики выбирают так, чтобы их изменение сигнализировало об ошибке (например, поломке распределения или системы), а не о работе фичи. Размер выборки тут ни при чём: проблема в самой природе метрики.
Проверь себя · 1/3разбор после ответа
Какое утверждение лучше всего описывает правильную работу со страховочными метриками в A/B тесте?
Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил основную метрику (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать вторичные метрики в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как страховочные (guardrail), чтобы не запустить вредное изменение?
- Все вопросы по «Метрики и guardrail-метрики» →