Постановка задачи: вопросы для собеседования (часть 2)
Как превратить бизнес-вопрос в аналитическую задачу: определить метрику, выбрать гранулярность, учесть ограничения данных. На собеседовании дают кейс вроде «продажи упали» и ждут, что кандидат задаст правильные уточняющие вопросы, прежде чем бросаться писать запрос. Фреймирование задачи — первый шаг любого анализа.
Вопросы 6–10 из 20
6Задача: «Сделай когортный анализ удержания». Какое уточнение нужно сделать в первую очередь, чтобы определение задачи было однозначным?
AСтоит ли строить отчёт еженедельно или ежемесячно и какой формат таблицы удобнее команде продукта для регулярного обновления
BНужно ли разделять отчёт по типам устройств и регионам сразу или достаточно общего графика без сегментации по платформам
CЧто считается событием попадания в когорту, что считается событием возврата и какое окно используется для измерения удержания
DКакой период брать в качестве базовой линии и стоит ли сравнивать когорты разных кварталов между собой при общей разметке
Ответ: В когортном анализе ключевы определение когорты, событие возврата и временное окно, иначе результаты не сравнимы.
Когорту можно определять по регистрации, первой покупке или первому запуску — это разные группы пользователей. Возврат тоже нужно формализовать через конкретное событие, иначе метрика будет плавающей. Наконец, временное окно и шаги измерения (дни, недели) должны быть согласованы заранее, чтобы отчёты разных периодов были сопоставимы. Сегментация и формат визуализации — важные, но вторичные вопросы.
Подробный разбор → 7Запрос: сколько новых пользователей пришло за неделю. Что важнее всего уточнить для корректного определения и аудитории?
AУточнить, какой временной период считать неделей (календарная или скользящие 7 дней), и какой часовой пояс брать за основу расчёта
BЧто значит новый пользователь по определению (первый запуск, регистрация, первая покупка), по какому идентификатору и как считать дубли
CНужна ли разбивка по каналам привлечения (органика, платный, реферальный) и сегментация по платформам в итоговом сводном отчёте
DНужно ли сравнение с предыдущей неделей и визуализация в виде воронки, чтобы правильно выбрать формат и структуру итогового отчёта
Ответ: `definition` нового пользователя должна быть привязана к идентификатору и `time window`, иначе счет будет нестабилен и несопоставим.
Новый пользователь по первому запуску и новый пользователь по регистрации могут сильно различаться по числу и по смыслу. Выбор идентификатора влияет на дедупликацию в `population`, например один человек с двумя устройствами может считаться дважды. Также важно проговорить `edge cases`, например переустановки и возвраты. После фиксации `definition` можно добавлять разрезы по странам и каналам.
Подробный разбор → 8В задаче написано: «Посчитай конверсию из установки в регистрацию». Какое уточнение наиболее критично для корректного определения числителя и знаменателя?
AЧто считать установкой и регистрацией, по какому идентификатору строить базу пользователей и какое окно даём после установки
BНужен ли разрез конверсии по городам и устройствам в отчёте, чтобы команда маркетинга могла принять решение по бюджету каналов
CПо каким каналам привлечения считать конверсию отдельно и какие из них исключить как нерелевантные для отчёта руководства
DКакой период брать для сравнения с базовой линией и нужно ли учитывать сезонность установок при расчёте конверсии регистрации
Ответ: Для конверсии нужно явно задать определение числителя, знаменателя и окно наблюдения, иначе получатся разные ответы на один и тот же вопрос.
Если не зафиксировать, что именно считается установкой и регистрацией, разные команды получат несовместимые результаты. Также важно понять, на каком уровне строим базу: `device_id` и `user_id` дают разные счета. Наконец, без окна наблюдения непонятно, считать ли регистрацию через неделю или через месяц той же установкой. Разрезы по городам, округление и прогноз — полезны, но они не определяют само значение метрики.
Подробный разбор → 9Маркетинг говорит: трафик из канала A лучше, чем из канала B. Какое уточнение наиболее критично, чтобы корректно определить критерии качества в одной области охвата?
AНужно ли сегментировать только мобильных пользователей или включать веб и десктоп, чтобы не смешивать платформы в одной выборке
BКакая метрика означает качество, какая аудитория сравнивается, какое временное окно и какое окно атрибуции конверсий к каналу
CВ каком формате подготовить презентацию результатов сравнения каналов (слайды, таблица или дашборд) для маркетинга
DНужно ли обязательно включать разбивку по дням недели, чтобы увидеть, в какие дни каждый канал показывает лучшие результаты
Ответ: Сравнение каналов требует явных `criteria` качества и `attribution window` для одной сопоставимой `population`.
Качество может означать `conversion`, `retention`, `LTV` или прибыльность с учетом затрат, и без согласования `metric` вы сравните разные вещи. Также критично зафиксировать `population` и `time window`, чтобы не смешать разные когорты и сезонность. Наконец, без `attribution window` и правил атрибуции легко приписать каналу то, что случилось позже по другой причине.
Подробный разбор → 10Руководитель спрашивает: какая версия приложения лучше, 1.0 или 1.1. Какой ответный вопрос лучше всего, чтобы уточнить критерии и снизить риск опасных допущений?
AКакую метрику вы сейчас отслеживаете для каждой версии и за какой период смотрим данные для сравнения версий
BСколько пользователей скачали версию 1.1 и как давно она в проде, чтобы оценить достаточность выборки для сравнения
CСчитать ли лучше ту версию, у которой ниже доля сбоев по данным за последнюю неделю по всем платформам и регионам
DЧто значит лучше: какая метрика и критерии важны, какая аудитория сравнивается и нет ли различий в области охвата релиза
Ответ: Нельзя сравнивать версии без явных `criteria` и проверки сопоставимости `population` в одном `scope`.
Версия может быть лучше по стабильности, конверсии, удержанию или выручке, и эти цели конфликтуют. Если релиз шел поэтапно, то `population` 1.0 и 1.1 может быть разной, и сравнение будет смещено из-за скрытых `assumptions`. Поэтому сначала фиксируют `criteria` успеха и проверяют `scope` и состав аудитории, а затем выбирают дизайн сравнения.
Подробный разбор →