Метрики и guardrail-метрики: вопросы для собеседования (часть 4)
Выбор основной метрики, вспомогательных и guardrail-метрик — критический этап проектирования эксперимента. Guardrail-метрики защищают от негативных побочных эффектов: например, рост конверсии не должен сопровождаться падением retention. На собеседовании просят спроектировать систему метрик для конкретного эксперимента.
Вопросы 16–20 из 20
16Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
AОбъявить успехом любой рост хотя бы одной метрики из списка, чтобы быстрее принять решение и закрыть эксперимент
BВыбрать ту метрику, где случайно получился самый низкий `p-value`, и постфактум объявить именно её основной метрикой
CЗаранее выбрать одну основную метрику или `OEC` для решения, а остальные оформить как вторичные и защитные
DПолностью отказаться от заранее заданной основной метрики и сравнивать все наблюдаемые метрики без приоритизации
Ответ: Чёткое разделение на основную, вторичные и защитные метрики помогает принимать решение без «метрического хаоса».
Несколько основных метрик часто дают конфликтующие сигналы и повышают шанс выбрать победителя случайно. Лучше заранее договориться об одном решающем показателе, близком к цели продукта, например `OEC`. Остальные метрики полезны, но их роль должна быть определена заранее: диагностика (вторичные метрики) или ограничения рисков (защитные метрики). Постфактумный выбор метрики по `p-value` и «победа по любой метрике» — это `p-hacking` и почти гарантированно приведут к ложноположительным выводам.
Подробный разбор → 17Вы тестируете купон: основной метрикой было «число заказов». Заказы выросли, но маржа заметно упала. Как корректнее пересобрать метрики на будущее?
AОставить число заказов как единственный критерий успеха: рост заказов уже доказывает, что купонная механика работает в долгосрочной перспективе
BСделать основной метрикой средний чек: он ближе к деньгам, чем заказы, и автоматически защищает маржу при любых купонных и скидочных кампаниях
CИгнорировать падение маржи: вспомогательные метрики не важны, если основная метрика растёт, а защитные метрики избыточны для купонных тестов
DСделать основной метрикой прибыль/маржу на пользователя, заказы перевести в дополнительные метрики и добавить защитные метрики на маржинальность и возвраты
Ответ: Метрики должны отражать цель эксперимента и защищать бизнес через защитные метрики, иначе возможна «оптимизация не того».
Купоны часто увеличивают количество заказов за счёт скидок, но ухудшают прибыльность. Если бизнес-цель — улучшить итоговую ценность, то основная метрика должна быть ближе к прибыли или марже, а заказы и средний чек полезнее как дополнительные. Дополнительно ставят защитные метрики, чтобы не допустить критического падения маржинальности или роста возвратов: средний чек сам по себе тоже легко обмануть скидочной механикой.
Подробный разбор → 18Команда выбрала основной метрикой `CTR` по рекомендательным карточкам. В тесте `CTR` вырос, но продажи и выручка упали. Какой вывод наиболее вероятен?
AЭто обязательно `SRM`, потому что `CTR` физически не может расти в эксперименте без сопоставимого роста продаж и выручки
BРезультат можно спокойно игнорировать, если защитные метрики не ухудшились: рост `CTR` уже сам по себе считается достаточным успехом
CНужно срочно убрать вторичные метрики из отчёта, чтобы они не мешали интерпретации основной метрики и итогового решения по тесту
DВы выбрали неподходящую основную метрику: её стоит приблизить к покупке, а `CTR` оставить как вторичную метрику для контекста
Ответ: Оптимизация по неверной основной метрике может улучшать клики, но ухудшать реальную ценность для продукта и бизнеса.
Клики могут расти за счёт более агрессивных или «кликабельных» рекомендаций, которые не приводят к покупке. В таких случаях `CTR` лучше использовать как вторичную метрику, а основную метрику привязывать к конечной ценности — например, к покупке или выручке на пользователя. Это снижает риск «оптимизации не того» и метрик-ловушек.
Подробный разбор → 19В целом конверсия в заказ выросла, но по разрезу RU/KZ видно падение в RU и рост в KZ, при этом доля трафика по странам между группами отличается. Что корректнее сделать дальше?
AСмотреть только общую цифру и игнорировать сегменты, считая их шумными по природе и не влияющими на итоговое решение
BПроверить распределение трафика по странам как страховочные метрики и разобрать эффект по сегментам, учитывая риск парадокса Симпсона
CУдалить страну RU из анализа, чтобы общий результат не зависел от её локального падения и решение принималось чище
DПризнать победу варианта B по общему росту конверсии и не разбирать сегменты, потому что итог уже положительный
Ответ: Эффект может быть искажён сдвигом состава аудитории, поэтому важно проверять сегменты и страховочные метрики по миксу.
Агрегированный рост может возникнуть из-за того, что в одном варианте оказалось больше пользователей из сегмента с более высокой базовой конверсией. Это классический парадокс Симпсона: общий тренд противоречит трендам внутри сегментов. Практический шаг — проверить распределения по ключевым сегментам как страховочные метрики и разбирать результат по сегментам. Удаление страны или решение по общей цифре прячут реальный эффект и могут привести к ошибочному выкату.
Подробный разбор → 20Вы тестируете ценовой баннер, но на неделе эксперимента прошла распродажа, сильно влияющая на конверсию. Что поможет корректнее оценить эффект с учётом сезонности и нормализации?
AСравнивать только абсолютные значения конверсии в варианте B без контрольной группы, ориентируясь на динамику продаж в период распродажи
BСравнивать вариант с контролем в те же даты, использовать нормализованные метрики (например, на пользователя) и проверять стабильность эффекта по дням
CУбрать дни распродажи только из экспериментальной группы, чтобы «очистить» эффект и оставить контрольной группе исходные данные за неделю
DИгнорировать распродажу полностью, если основная метрика эксперимента значимо выросла относительно контрольной группы за неделю
Ответ: Контроль по тем же датам и нормализация помогают отделить эффект фичи от внешних событий и сезонности.
Распродажа меняет поведение пользователей и базовый уровень конверсии, поэтому важно сравнивать варианты синхронно, а не с разными периодами. Нормализованные метрики снижают влияние колебаний трафика и активности. Дополнительно полезно смотреть динамику по дням, чтобы понять, не «рисует» ли эффект один особый день. Удаление дней только из тестовой группы или игнорирование распродажи приведёт к смещённой оценке.
Подробный разбор →