Вопросы по продуктовой аналитике на собеседовании
Метрики (1–8)
1. Какие метрики вы бы выбрали для [продукта]?
Framework:
- Какую ценность даёт продукт?
- Как измерить эту ценность?
- Per user / per team / total?
Пример: для Spotify — minutes listened, не registrations.
2. Что такое NSM и как выбрать
Metric, которая отражает ценность и предсказывает рост. Подробнее.
3. DAU, MAU, stickiness — что это?
- DAU — уникальные в день.
- MAU — в месяц.
- Stickiness = DAU/MAU — как часто MAU заходят.
4. Что такое retention?
Доля пользователей, которые вернулись после первого использования. D1, D7, D30 — стандарт.
5. Classic vs rolling vs unbounded retention
- Classic — активен строго в день N.
- Rolling — в неделю после N.
- Unbounded — хотя бы раз после регистрации.
6. Что такое LTV и как считать
LTV = ARPU / churn rateИли когортно — реальная выручка за N месяцев.
7. CAC, LTV/CAC — нормы?
LTV/CAC ≥ 3 — здоровый бизнес. < 3 — unit-экономика ломается.
8. Что такое guardrail-метрика
Метрики, которые не должны просесть при оптимизации main. Retention, latency, crash rate.
Эксперименты (9–16)
9. Зачем A/B-тест
Чтобы понять каузальный эффект изменения, а не угадывать.
10. Что такое p-value
Вероятность получить такую разницу или больше при отсутствии эффекта. Не то же самое, что «вероятность правильности».
11. Ошибки I и II рода
- I — отвергли верную H0.
- II — не отвергли неверную.
- α — допустимая I, β — II.
12. Что такое мощность теста
Вероятность задетектировать реальный эффект. Обычно 0.8.
13. Что такое MDE
Minimum Detectable Effect — минимальный lift, который тест сможет поймать.
14. Что такое SRM
Sample Ratio Mismatch — когда сплит 50/50 на самом деле не 50/50. Тест недостоверен.
15. Peeking problem
Досрочная остановка при достижении p<0.05. Раздувает false positives.
16. CUPED — что это
Метод снижения дисперсии через pre-period ковариату. Эквивалентно увеличению выборки в 2x.
Если хочется сразу закрепить тему на практике — открой тренажёр в Telegram. 10 минут в день — и синтаксис в пальцах.
Кейсы (17–22)
17. Retention упал — как разобрать
Шаги:
- Уточнения.
- Проверка данных.
- Декомпозиция по сегментам / каналам.
- Гипотезы.
- Проверка через данные.
- Решение.
18. DAU упал — как разобрать
Декомпозиция:
- DAU = New + Returning.
- Смотрим, какая часть просела.
19. Конверсия упала — как разобрать
Смотрим воронку по шагам + сегментам. Подробнее.
20. Как оценить эффект новой фичи
A/B-тест > pre/post > DiD > Causal Impact. Подробнее.
21. Как выбрать pilot regions для новой фичи
Критерии:
- Размер аудитории.
- Репрезентативность.
- Homogeneity (сравнимо с контролем).
22. A/B тест не значим — что делать
- Проверить мощность.
- Проверить guardrails.
- Решить: продлить / остановить / катить осознанно.
Framework-ы (23–25)
23. AARRR пиратские метрики
- Acquisition — привлечение.
- Activation — первый value.
- Retention — удержание.
- Referral — reccomendations.
- Revenue — монетизация.
24. Jobs to be Done (JTBD)
Пользователи «нанимают» продукт для решения конкретной задачи. Фокус на job, не на demographic.
25. Growth loops vs funnels
- Funnel — линейный путь.
- Growth loop — циклический (новые users → action → more users).
Чтобы не только читать теорию, но и решать реальные задачи — загляните в бот Карьерника. Там по каждой теме подборка вопросов с разборами.
Общие советы
При ответе
- Дать короткий ответ (1 предложение).
- Дать пример.
- Назвать edge cases / nuances.
Формулы
Лучше запомнить:
- Retention = vernul'sya / cohort.
- LTV = ARPU / churn.
- Stickiness = DAU / MAU.
- Conversion = buyers / visitors.
Если не знаете
«Я не работал с этим напрямую. Но сделал бы подход: [логика]». Честность + структура > придумывание.
Читайте также
- Продуктовая аналитика на собеседовании
- Кейсы на собеседовании
- Задачи на продуктовые метрики
- Задачи на A/B-тесты
- Что такое продуктовая аналитика
FAQ
Сколько вопросов на собеседовании?
В продуктовой части — 3–5 кейсов + 5–10 теоретических.
Что важнее — framework или интуиция?
Framework базы, интуиция приходит с опытом. На junior — framework.
Нужны ли математические расчёты?
На доске redko, но могут спросить «how many users needed для MDE 5%».
Что, если продукт компании мне не знаком?
Спросите основы (industry, business model). Интервьюер объяснит.