Как найти причину падения метрики

Зачем это знать

Самый частый вопрос на собесах продуктового аналитика: «Метрика X упала на 15%. Как расследуешь?». Middle+ аналитик имеет framework: 5-7 шагов до root cause. Junior начинает random querying → теряет время.

Короткое объяснение

Framework «metric down» analysis:

1. Verify — точно ли упало (не bug в data)
2. Timeline — когда началось
3. Scope — кого затронуло
4. Segment — какой сегмент drive drop
5. Correlate — что ещё произошло в тот момент
6. Hypothesize — причины
7. Validate — тесты или data confirmation

Шаг 1: Verify

Прежде чем паниковать — убедитесь, что метрика реально упала.

• Ошибка в query?
• Data pipeline broken?
• Changed definition?

Run sanity queries. Compare с previous dashboards.

-- Был ли data pipeline complete?
SELECT MAX(event_time) FROM events;
-- Should be recent. If stale — data issue.

-- Сравни с raw
SELECT COUNT(*) FROM events WHERE day = '2026-04-22';
-- Очень низко? — events не arrived.

Шаг 2: Timeline

Когда drop начался?

SELECT day, COUNT(*) AS events
FROM events
WHERE day >= CURRENT_DATE - 30
GROUP BY 1 ORDER BY 1;

• Gradual decline: вероятно trend / market / product decay
• Sudden drop: release, outage, external event

Sharp drop — easier to diagnose (point-in-time cause).

Шаг 3: Scope

Global или partial?

SELECT platform, country, version,
       COUNT(*) AS events
FROM events
WHERE day BETWEEN drop_date_range
GROUP BY 1, 2, 3;

Если только iOS упал → iOS-specific release.

Если только ru → geo-specific event.

Global → более general (pricing, infra).

Шаг 4: Segment

Best predictors drop-source:

По users

New vs returning? Paying vs free?

SELECT
    is_new, is_paying,
    COUNT(*) AS events,
    AVG(metric) AS metric
FROM data
GROUP BY 1, 2;

По channel

Organic, paid, referral? Какой упал сильнее?

По device / platform

iOS, Android, Web отдельно.

По feature path

Users, которые прошли specific path vs другой.

Шаг 5: Correlate

Что ещё произошло в тот период?

• Product releases (deployments log)
• Marketing campaigns (start/end)
• Pricing changes
• Third-party changes (API breaks, platform policies)
• Seasonality (holiday, weekday)
• External (news, competitor launch)

Timeline chart всех events — hypothesis generator.

Шаг 6: Hypothesize

Основные направления:

Data issue

• Pipeline broke
• Event definition changed
• Tracking regression

Technical

• Bug in release
• API slow
• Infrastructure outage

User behavior

• Seasonal
• Competitor
• Price sensitivity
• UX regression

Measurement

• iOS 14 tracking (privacy)
• Ad blockers
• Attribution changes

Prioritize по likelihood.

Шаг 7: Validate

Для каждой hypothesis:

H1: новый release сломал iOS checkout.
Тест: compare iOS release N-1 vs N conversion.
Evidence если true: conversion upon upgrade падает.

Or:

H1: seasonal (Easter week).
Тест: YoY same week prior year.
Evidence: если similar drop — seasonal.

Collect evidence, eliminate hypotheses.

Пример: CR упал

Day 1 data: CR 10.5% → 8.2%.

Timeline: drop sharp, started April 15.

Scope: iOS only, Android — ok.

Segments: new users less affected, returning more.

Correlations: iOS app released April 14.

Hypothesis: bug в iOS release.

Validation:

• Users who updated app 14+: CR 7.8%
• Users who didn't update (older version): CR 10.3%

Confirmed. Fix: hotfix release.

Шаг 8: Action

• Short-term: revert / hotfix
• Long-term: add guardrails
• Document: postmortem с learnings

Частые ошибки

Skip timeline

Без timeline — hard to correlate events.

Not segmenting

Overall drop — generic. Segments reveal specific cause.

Single hypothesis

Proceed with first idea → biased. Generate 5-10, eliminate.

Not documenting

Same issue will recur. Keep postmortem.

На собесе

«Revenue упал на 15%. Расследуй».

Walk through framework:

1. Verify: data correct?
2. Timeline: когда?
3. Scope: global / partial?
4. Segment: где?
5. Correlate: что ещё?
6. Hypothesize: что возможно?
7. Validate: evidence?

Это middle-level answer. Junior — start querying randomly. Senior — walks through framework confidently.

Связанные темы

• Как строить гипотезы в аналитике
• Как провести ad-hoc анализ
• Как отличить сигнал от шума
• Кейсы с падением метрик

FAQ

Если не нашёл causa?

Document, keep monitoring. Часто revealed later.

Verify обязательно?

Absolutely. Часто «drop» — data artifact.

Autocheck?

Build automated anomaly detection. Ловит drops проактивно.

---

Тренируйте кейсы — откройте тренажёр с 1500+ вопросами для собесов.