Метрики и guardrail-метрики: вопросы для собеседования (часть 2)
Выбор основной метрики, вспомогательных и guardrail-метрик — критический этап проектирования эксперимента. Guardrail-метрики защищают от негативных побочных эффектов: например, рост конверсии не должен сопровождаться падением retention. На собеседовании просят спроектировать систему метрик для конкретного эксперимента.
Вопросы 6–10 из 20
6Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как основная для решения «выкатывать или нет»?
AКонверсия в оплаченный заказ на пользователя или на сессию среди тех, кто увидел экран
BКликабельность кнопки «Оплатить» на экране оплаты, поскольку клик предшествует оплате
CКоличество просмотров экрана оплаты с группировкой по сегментам и платформам пользователей
DСреднее время на экране оплаты как индикатор внимания и интереса к шагам процесса
Ответ: Основная метрика должна напрямую отражать итоговую цель эксперимента, а не промежуточные шаги воронки.
Если цель — больше завершённых покупок, то метрика должна измерять именно оплату, а не клики или просмотры. Промежуточные показатели часто полезны как вторичные метрики, но по ним легко сделать неверный вывод. Например, клики могут вырасти из-за путаницы и непонятного интерфейса, а время на экране — из-за дополнительного трения в процессе оплаты. Поэтому конверсия в оплаченный заказ на пользователя — наиболее прямая основная метрика для такого теста.
Подробный разбор → 7Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
AОбъявить три основные метрики и считать тест выигранным, если хотя бы одна из них значимо улучшилась относительно контроля
BНе фиксировать метрики заранее, а после теста выбрать ту, по которой результат выглядит наиболее убедительно для стейкхолдеров
CЗафиксировать одну основную метрику (например, в виде `OEC`), а добавления в корзину и выручку оставить как второстепенные для диагностики
DОбъявить `CTR` основной метрикой, потому что он быстрее реагирует на изменения и упрощает раннее принятие решения о победе
Ответ: Одна основная метрика (часто в виде `OEC`) снижает риск противоречивых выводов, а второстепенные метрики помогают понять механизм эффекта.
Когда метрик успеха много, легко «найти победу» случайно и принять неправильное решение. Практичнее заранее выбрать одну основную метрику (часто в виде `OEC`), которая ближе всего к ценности продукта или бизнеса. Остальные метрики фиксируют как второстепенные, чтобы объяснить изменения и проверить, не появились ли нежелательные побочные эффекты.
Подробный разбор → 8Перед анализом результата вы проверяете страховочные метрики, которые не должны меняться между группами. Какая метрика чаще всего работает как страховочная в онлайн A/B тесте?
AКонверсия в покупку как основная бизнес-метрика и итоговый показатель эксперимента
BДоля пользователей, попавших в группы A и B по сравнению с плановым соотношением
CВыручка на пользователя как агрегат денежной активности по сегментам в эксперименте
DСредний чек как агрегат поведения платящих в каждой группе эксперимента
Ответ: Страховочная метрика должна оставаться одинаковой между группами, потому что эксперимент не должен на неё влиять.
Проверка фактической доли распределения по группам помогает убедиться, что рандомизация и пайплайн назначения работают корректно. Если фактическое соотношение сильно отличается от планового, остальные выводы становятся подозрительными. Страховочные метрики обычно проверяют до интерпретации основной и вторичных метрик.
Подробный разбор → 9Во время эксперимента маркетинг привёл больше трафика, поэтому общая выручка выросла в обеих группах. Какая метрика лучше подойдёт для сравнения вариантов с поправкой на разный объём трафика?
AОбщая выручка за период в каждой группе без поправки на объём пришедшего трафика
BВыручка на пользователя или на сессию, нормированная на единицу наблюдения
CКоличество показов страниц за период в каждой из групп без учёта числа пользователей
DДлительность эксперимента в днях, скорректированная на размер привлечённого трафика
Ответ: Нормировка метрик на пользователя или сессию помогает сравнивать варианты при разном объёме трафика.
Абсолютная выручка сильно зависит от того, сколько пользователей пришло в каждую группу. При изменениях трафика корректнее использовать метрики на единицу наблюдения, например выручку на пользователя, чтобы сравнить поведение и ценность. Это также облегчает сравнение период-к-периоду и снижает риск принять решение из-за внешнего притока трафика.
Подробный разбор → 10В тесте основная метрика выросла, но страховочные метрики показывают рост обращений в поддержку и падение рейтинга приложения. Какое решение наиболее корректно?
AВыкатить вариант: основная метрика выросла значимо, и этого обычно достаточно для решения о запуске.
BВыкатить вариант, как только рост основной метрики стал статистически значимым по тесту.
CНе выкатывать или приостановить тест и разобраться с причиной ухудшения страховочных метрик.
DСчитать ухудшение страховочных метрик допустимым, если визуально на графиках оно выглядит небольшим.
Ответ: Страховочные метрики защищают от запуска изменений с побочным вредом: их ухудшение — повод не выкатывать вариант и разобраться в причине.
Страховочные метрики (рейтинг приложения, обращения в поддержку, отписки) специально подобраны как сигналы скрытого вреда от изменения. Если основная метрика выросла, но они проседают, это часто означает, что выигрыш в одной части продукта оплачен ухудшением другой — итоговая ценность для бизнеса под вопросом. Корректный шаг — приостановить раскатку, понять, что именно ломается, и решать на полной картине, а не только по одной метрике. Выкатывать «потому что главная метрика всегда важнее» или «на глаз страховочные просели несильно» — типичный путь к деградации продукта.
Подробный разбор →