Вопросы по продуктовой аналитике на собеседовании

Метрики (1–8)

1. Какие метрики вы бы выбрали для [продукта]?

Framework:

  1. Какую ценность даёт продукт?
  2. Как измерить эту ценность?
  3. Per user / per team / total?

Пример: для Spotify — minutes listened, не registrations.

2. Что такое NSM и как выбрать

Metric, которая отражает ценность и предсказывает рост. Подробнее.

3. DAU, MAU, stickiness — что это?

  • DAU — уникальные в день.
  • MAU — в месяц.
  • Stickiness = DAU/MAU — как часто MAU заходят.

4. Что такое retention?

Доля пользователей, которые вернулись после первого использования. D1, D7, D30 — стандарт.

5. Classic vs rolling vs unbounded retention

  • Classic — активен строго в день N.
  • Rolling — в неделю после N.
  • Unbounded — хотя бы раз после регистрации.

6. Что такое LTV и как считать

LTV = ARPU / churn rate

Или когортно — реальная выручка за N месяцев.

7. CAC, LTV/CAC — нормы?

LTV/CAC ≥ 3 — здоровый бизнес. < 3 — unit-экономика ломается.

8. Что такое guardrail-метрика

Метрики, которые не должны просесть при оптимизации main. Retention, latency, crash rate.

Эксперименты (9–16)

9. Зачем A/B-тест

Чтобы понять каузальный эффект изменения, а не угадывать.

10. Что такое p-value

Вероятность получить такую разницу или больше при отсутствии эффекта. Не то же самое, что «вероятность правильности».

11. Ошибки I и II рода

  • I — отвергли верную H0.
  • II — не отвергли неверную.
  • α — допустимая I, β — II.

12. Что такое мощность теста

Вероятность задетектировать реальный эффект. Обычно 0.8.

13. Что такое MDE

Minimum Detectable Effect — минимальный lift, который тест сможет поймать.

14. Что такое SRM

Sample Ratio Mismatch — когда сплит 50/50 на самом деле не 50/50. Тест недостоверен.

15. Peeking problem

Досрочная остановка при достижении p<0.05. Раздувает false positives.

16. CUPED — что это

Метод снижения дисперсии через pre-period ковариату. Эквивалентно увеличению выборки в 2x.

Если хочется сразу закрепить тему на практике — открой тренажёр в Telegram. 10 минут в день — и синтаксис в пальцах.

Кейсы (17–22)

17. Retention упал — как разобрать

Шаги:

  1. Уточнения.
  2. Проверка данных.
  3. Декомпозиция по сегментам / каналам.
  4. Гипотезы.
  5. Проверка через данные.
  6. Решение.

Подробнее.

18. DAU упал — как разобрать

Декомпозиция:

  • DAU = New + Returning.
  • Смотрим, какая часть просела.

Подробнее.

19. Конверсия упала — как разобрать

Смотрим воронку по шагам + сегментам. Подробнее.

20. Как оценить эффект новой фичи

A/B-тест > pre/post > DiD > Causal Impact. Подробнее.

21. Как выбрать pilot regions для новой фичи

Критерии:

  • Размер аудитории.
  • Репрезентативность.
  • Homogeneity (сравнимо с контролем).

22. A/B тест не значим — что делать

  1. Проверить мощность.
  2. Проверить guardrails.
  3. Решить: продлить / остановить / катить осознанно.

Framework-ы (23–25)

23. AARRR пиратские метрики

  • Acquisition — привлечение.
  • Activation — первый value.
  • Retention — удержание.
  • Referral — reccomendations.
  • Revenue — монетизация.

24. Jobs to be Done (JTBD)

Пользователи «нанимают» продукт для решения конкретной задачи. Фокус на job, не на demographic.

25. Growth loops vs funnels

  • Funnel — линейный путь.
  • Growth loop — циклический (новые users → action → more users).

Чтобы не только читать теорию, но и решать реальные задачи — загляните в бот Карьерника. Там по каждой теме подборка вопросов с разборами.

Общие советы

При ответе

  1. Дать короткий ответ (1 предложение).
  2. Дать пример.
  3. Назвать edge cases / nuances.

Формулы

Лучше запомнить:

  • Retention = vernul'sya / cohort.
  • LTV = ARPU / churn.
  • Stickiness = DAU / MAU.
  • Conversion = buyers / visitors.

Если не знаете

«Я не работал с этим напрямую. Но сделал бы подход: [логика]». Честность + структура > придумывание.

Читайте также

FAQ

Сколько вопросов на собеседовании?

В продуктовой части — 3–5 кейсов + 5–10 теоретических.

Что важнее — framework или интуиция?

Framework базы, интуиция приходит с опытом. На junior — framework.

Нужны ли математические расчёты?

На доске redko, но могут спросить «how many users needed для MDE 5%».

Что, если продукт компании мне не знаком?

Спросите основы (industry, business model). Интервьюер объяснит.