«Метрика упала на 20%» — как решать кейс на собеседовании
Почему этот кейс спрашивают на каждом втором собеседовании
«Метрика X упала на Y процентов. Что будете делать?» — самый распространённый продуктовый кейс на собеседованиях аналитиков. Его задают в Яндексе, Ozon, Тинькофф, VK и практически в любой компании, где аналитика — не формальность.
Причина проста: этот кейс проверяет сразу всё. Системное мышление — можете ли вы структурировать задачу, а не кидаться к первой попавшейся гипотезе. Знание метрик — понимаете ли вы, из чего складывается DAU, конверсия, retention. Аналитическую зрелость — начнёте ли вы с проверки данных или сразу предложите «перекрасить кнопку». Коммуникацию — способны ли вы вести разговор с интервьюером, задавая правильные вопросы.
Ниже — пошаговый фреймворк, два разобранных примера и типичные ошибки, которые заваливают кандидатов.
Шаг 1. Уточните условие
Первое, что вы должны сделать, получив этот кейс — задать уточняющие вопросы. Не ради формальности, а потому что без них вы решаете не ту задачу.
Какая именно метрика? «Метрика упала» — неопределённая формулировка. DAU, конверсия в покупку, средний чек, retention D7? Каждая из этих метрик раскладывается по-разному и имеет свои типичные причины падения. Подробнее о ключевых метриках продукта — в отдельной статье.
Как метрика определена и как измеряется? DAU — это уникальные пользователи, совершившие любое действие, или только целевое? Конверсия считается от визита или от просмотра товара? Определение критично. Иногда «падение» метрики — это следствие того, что кто-то поменял определение или способ сбора данных.
За какой период и по сравнению с чем? Метрика упала за день, за неделю, за месяц? По сравнению с прошлой неделей или с тем же периодом прошлого года? День-ко-дню метрика может скакать из-за дня недели, а год-к-году — показывать реальный тренд.
Есть ли сегментация? Падение произошло на всех платформах или только на iOS? Во всех регионах или только в одном? Среди всех пользователей или только среди новых?
Хороший интервьюер даст вам эту информацию. Плохой — скажет «решайте с тем, что есть». В обоих случаях сам факт, что вы спросили, уже даёт плюс.
Шаг 2. Проверьте данные
Прежде чем искать продуктовую причину, убедитесь, что падение реально. По опыту работы с продуктовой аналитикой: значительная доля «падений» метрик — техническая проблема, а не продуктовая.
Баг в логировании. Сломался трекер, не дошли события с одной из платформ, обновился SDK аналитики. DAU «упал на 30%», а на самом деле 30% событий просто не записались.
Изменение определения. Кто-то поменял фильтр в дашборде, пересчитал метрику с новой логикой, добавил или убрал бот-трафик.
Аномалия в данных. Дубликаты, задержка в поступлении данных, неполная выгрузка за текущий день.
Сезонность и день недели. Сравнивать понедельник с воскресеньем бессмысленно. Январские праздники дают провал во многих B2B-метриках. Если вы видите 20% падение DAU в субботу по сравнению с пятницей — это нормальное поведение, а не проблема.
Проверка данных занимает 30 секунд на словах, но в реальности это первое, что делает опытный аналитик. И на собеседовании это первое, что хочет услышать интервьюер.
Шаг 3. Декомпозируйте метрику
Если данные корректны — раскладывайте метрику на составляющие. Декомпозиция — ядро фреймворка. Она превращает абстрактное «метрика упала» в конкретное «вот этот компонент снизился в таком-то сегменте».
По формуле. Любая метрика — это произведение или сумма компонентов.
- DAU = новые пользователи + вернувшиеся пользователи. Если DAU упал — что именно снизилось: приток новых или возврат старых?
- Revenue = количество транзакций * средний чек. Упала выручка — стало меньше покупок или снизился чек?
- Конверсия воронки = произведение step-to-step конверсий. Общая конверсия упала — на каком шаге воронки потеря?
По сегментам. Разрежьте метрику по ключевым измерениям:
- Платформа (iOS / Android / Web)
- Источник трафика (органика / реклама / прямой)
- География (страна, город)
- Тип пользователя (новые / вернувшиеся)
- Когорта (неделя регистрации)
- Устройство, версия приложения, тарифный план
Цель — найти сегмент, который «тянет вниз» общую метрику. Часто падение DAU на 20% — это падение на 50% в одном сегменте, который составляет 40% аудитории. Остальные сегменты не изменились. Это сразу сужает область поиска.
Парадокс Симпсона. Метрика может упасть в целом, но вырасти в каждом сегменте по отдельности — если изменились пропорции сегментов. Например, конверсия в покупку 4% на десктопе и 2% на мобильном. Если доля мобильного трафика выросла с 50% до 70%, общая конверсия упадёт с 3% до 2.6% — хотя в каждом канале ничего не изменилось. Упоминание парадокса Симпсона на собеседовании — сильный сигнал.
Шаг 4. Проверьте внутренние причины
Когда вы локализовали падение до конкретного компонента или сегмента, ищите причину. Начните с того, что контролирует компания.
Релизы и изменения в продукте. Совпадает ли дата падения с релизом? Обновление приложения, редизайн экрана, изменение алгоритма рекомендаций, новый онбординг — любое из этого может повлиять на метрики. Проверяйте changelog.
Баги. Сломалась форма оплаты, не загружается страница товара на определённых устройствах, тормозит приложение после обновления. Технические проблемы — самая частая причина резких падений (часы, дни), в отличие от плавных (недели).
Изменения в маркетинге. Остановили рекламную кампанию, сменили креативы, изменили таргетинг. Приток новых пользователей упал — DAU за ним.
Ценовые изменения. Подняли цены, убрали промокод, изменили условия подписки. Конверсия в платёж может отреагировать мгновенно.
Пуши, рассылки, уведомления. Перестали отправлять push-уведомления, изменили время отправки, попали в спам. Retention и DAU вернувшихся пользователей чувствительны к этому.
Шаг 5. Проверьте внешние причины
Если внутренних причин не нашлось — смотрите вовне.
Действия конкурентов. Конкурент запустил агрессивную акцию, вышел на рынок новый продукт, появился вирусный аналог. Это сложнее отследить, но стоит упомянуть.
Сезонность и календарные эффекты. Праздники, каникулы, начало учебного года, чёрная пятница. Для многих продуктов существуют предсказуемые сезонные колебания.
Изменения в платформах. Apple обновил политику ATT — рекламный трафик просел. Google изменил алгоритм — органический трафик упал. Telegram обновил API — интеграции сломались.
Макроэкономические факторы. Курс валюты, изменения в законодательстве, экономический кризис. Влияют на средний чек и конверсию в платёж.
На собеседовании достаточно назвать 2-3 внешних фактора, релевантных для конкретного продукта. Не нужно перечислять всё подряд — покажите, что вы думаете в контексте бизнеса, а не по шаблону.
Шаг 6. Предложите следующие шаги
Завершите ответ конкретными действиями. Интервьюер хочет видеть, что вы не только диагностируете, но и двигаетесь к решению.
- Если причина техническая — эскалируйте на разработку, предложите мониторинг, назовите конкретную проверку (логи, error rate).
- Если причина в релизе — предложите откатить изменение или A/B-тест для оценки эффекта.
- Если причина в трафике — предложите анализ по источникам и корректировку маркетинговой стратегии.
- Если причина не найдена — сформулируйте гипотезы и предложите план их проверки, с приоритизацией по вероятности и скорости проверки.
Пример 1: DAU упал на 20%
Разберём кейс от начала до конца.
Условие: DAU мобильного приложения (e-commerce) упал на 20% за последнюю неделю по сравнению с предыдущей.
Уточнения: DAU — уникальные пользователи, открывшие приложение. Период — последние 7 дней vs предыдущие 7 дней.
Проверка данных: Логирование в порядке, определение не менялось, падение не совпадает с выходными.
Декомпозиция: DAU = новые + вернувшиеся.
- Новые пользователи: упали на 35%.
- Вернувшиеся: стабильны.
Вывод: проблема в притоке, а не в удержании.
Сегментация новых: по источнику трафика.
- Органика: стабильна.
- Платная реклама: упала на 60%.
Внутренняя причина: маркетинг остановил основную рекламную кампанию на предыдущей неделе из-за исчерпания бюджета.
Следующие шаги: запросить у маркетинга план по бюджету, оценить ROI кампании для обоснования продления, посмотреть, не компенсируют ли другие каналы потерю.
Пример 2: конверсия в покупку упала на 15%
Условие: конверсия из добавления в корзину в оплату на сайте упала на 15% за последние 3 дня.
Уточнения: конверсия = оплативших / добавивших в корзину. Период — последние 3 дня vs среднее за предыдущие 2 недели.
Проверка данных: логирование в порядке. Общее число добавлений в корзину стабильно — значит, верхняя часть воронки не изменилась.
Декомпозиция: воронка чекаута: корзина > оформление > выбор оплаты > подтверждение.
- Корзина > оформление: стабильно.
- Оформление > выбор оплаты: стабильно.
- Выбор оплаты > подтверждение: упало на 40%.
Вывод: проблема на последнем шаге — в момент оплаты.
Сегментация: по способу оплаты.
- Карты: стабильно.
- Онлайн-кошельки: упали на 80%.
Внутренняя причина: 3 дня назад произошёл релиз, в котором обновили интеграцию с платёжным шлюзом. У одного из провайдеров сломался callback — оплата зависает.
Следующие шаги: срочный фикс интеграции, оценка потерь в выручке, настройка мониторинга success rate по каждому способу оплаты.
Антипаттерны: чего не делать
Есть несколько типичных ошибок, которые завалят вас на этом кейсе.
Сразу называть причину. «DAU упал? Наверное, конкуренты запустили акцию». Без уточнения условия, без проверки данных, без декомпозиции — это гадание, а не анализ. Интервьюер проверяет процесс, а не удачную догадку.
Не задавать вопросов. Если вы молча начали рассуждать — вы уже потеряли баллы. Кейс намеренно сформулирован размыто, чтобы проверить, умеете ли вы работать с неопределённостью. Задавайте вопросы.
Перечислять все возможные причины списком. «Может быть баг, может конкуренты, может сезонность, может реклама...». Без приоритизации и без логики проверки это не аналитический подход, а brainstorm. Называйте причины в порядке вероятности и объясняйте, как будете проверять каждую.
Забывать про данные. Весь ответ — на уровне общих рассуждений, без упоминания SQL, сегментации, конкретных графиков и запросов. На собеседовании аналитика от вас ждут, что вы скажете «я бы написал запрос, который разрежет DAU по платформе и источнику трафика за последние 4 недели, и посмотрел, где провал».
Не предлагать следующие шаги. Вы нашли причину — и остановились. Интервьюер ждёт: «что делаем дальше?». Исправляем, мониторим, тестируем, эскалируем — конкретное действие.
Шпаргалка: структура ответа
Для быстрого повторения — последовательность шагов:
- Уточнить: какая метрика, как определена, период, сегменты.
- Проверить данные: логирование, определение, сезонность, аномалии.
- Декомпозировать: по формуле на компоненты, по сегментам.
- Внутренние причины: релизы, баги, маркетинг, цены.
- Внешние причины: конкуренты, сезонность, платформы.
- Следующие шаги: конкретные действия с приоритизацией.
Этот фреймворк работает для любой метрики — DAU, retention, конверсии, среднего чека, выручки. Меняется только содержание каждого шага, структура остаётся.
Потренируйтесь решать продуктовые кейсы и задачи по продуктовой аналитике в Карьернике — тренажёре для подготовки к собеседованиям аналитиков. 15 минут в день в Telegram, и кейсы на собеседовании перестанут быть проблемой.
FAQ
Как отвечать на кейс «метрика упала» на собеседовании аналитика?
Следуйте фреймворку: уточните условие (какая метрика, период, сегменты), проверьте данные (баги логирования, сезонность), декомпозируйте метрику по формуле и сегментам, проверьте внутренние и внешние причины, предложите конкретные следующие шаги.
С чего начать разбор падения метрики?
Первым делом проверьте данные — значительная доля «падений» метрик оказывается технической проблемой: сломался трекер, изменилось определение метрики, неполная выгрузка за текущий день. Только убедившись, что данные корректны, переходите к продуктовым гипотезам.
Что такое декомпозиция метрики и зачем она нужна?
Декомпозиция — разложение метрики на составляющие по формуле (DAU = новые + вернувшиеся) и по сегментам (платформа, источник трафика, география). Она превращает абстрактное «метрика упала» в конкретное «вот этот компонент снизился в таком-то сегменте», сужая область поиска причины.
Какие ошибки чаще всего допускают кандидаты в кейсе про падение метрики?
Главные антипаттерны: сразу называть причину без анализа, не задавать уточняющих вопросов, перечислять причины списком без приоритизации, рассуждать абстрактно без упоминания SQL и конкретных данных, не предлагать следующие шаги после нахождения причины.