Воронки, когорты и retention: вопросы для собеседования (часть 4)
Воронки конверсии, когортный анализ, retention по дням/неделям — ключевые инструменты продуктового аналитика. На собеседовании просят построить retention-кривую, объяснить, почему retention Day 1 важнее Day 30, или найти узкое место воронки. Без этих концепций невозможно оценить здоровье продукта.
Вопросы 16–20 из 20
16В воронке шаг 1 — просмотр лендинга, шаг 2 — регистрация, шаг 3 — покупка. Вы хотите конверсию 1→3 по уникальным пользователям. Что является знаменателем?
AУникальные пользователи на шаге 2: они уже зарегистрировались и ближе к покупке, чем посетители лендинга
BУникальные пользователи на шаге 3: только дошедшие до покупки задают корректную базу для конверсии
CУникальные пользователи на шаге 1: именно они формируют входную базу для конверсии 1→3
DВсе уникальные пользователи продукта за период: общая база даёт самое широкое и стабильное измерение
Ответ: Конверсия 1→3 в воронке делит достигших шага 3 на базу шага 1, то есть на входной знаменатель.
Метрика 1→3 отвечает на вопрос: какая доля тех, кто увидел лендинг, в итоге купила. Поэтому знаменатель — уникальные пользователи шага 1. Если делить на шаг 2, получится другая метрика — 2→3. Если делить на всю аудиторию продукта, вы смешаете пользователей, которые не видели лендинг, и метрика станет менее полезной.
Подробный разбор → 17Вы сравниваете D30 retention у когорты сентября и когорты ноября, но с даты регистрации ноябрьской когорты прошло только 12 дней. В чём проблема и что корректнее сделать?
AПроблемы нет: `D30 retention` для ноябрьской когорты можно считать сразу после регистрации
BИсключить сентябрьскую когорту, поскольку у старых когорт удержание систематически ниже свежих
CЗаменить знаменатель на число активных пользователей в ноябре для выравнивания размеров когорт
DЭто правое цензурирование: когорта не прожила `30` дней, ждём окно или сравниваем когорты одного возраста
Ответ: Нельзя корректно сравнивать D30 retention, если когорта ещё не прожила 30 дней — это правое цензурирование.
Ноябрьская когорта физически не могла показать активность на 30-й день, потому что прошло только 12 дней с её регистрации. Поэтому D30 retention будет занижен не из-за поведения пользователей, а из-за неполного окна наблюдения — это и называется правым цензурированием. Корректно дождаться, когда когорте исполнится 30 дней, или сравнивать когорты одинакового возраста, например D7 у обеих. Подмена знаменателя или выкидывание сентябрьской когорты не решают проблему окна.
Подробный разбор → 18В середине периода команда переименовала шаг 2: раньше было событие `complete_profile`, теперь `profile_saved`. Вы сравниваете конверсию в воронке месяц к месяцу и видите резкое падение. Что наиболее корректно сделать?
AПринять падение конверсии как продуктовый факт и немедленно менять интерфейс шага 2 без дополнительных проверок данных
BСчитать только первые дни месяца со старым событием `complete_profile` и игнорировать данные после переименования при сравнении периодов
CСчитать только новое событие `profile_saved` и сравнить с прошлым периодом без пересчёта истории, чтобы быстрее принять решение
DСделать маппинг `complete_profile` ↔ `profile_saved`, пересчитать историю по единой логике и явно описать изменение события в документации
Ответ: Если события воронки переименовываются, нужно версионировать определения и пересчитывать историю по единой логике.
Когда событие шага переименовали, старые и новые данные перестали быть сопоставимыми. В результате кажется, что конверсия упала, хотя изменилось только определение шага 2. Корректный подход — сделать маппинг `complete_profile` ↔ `profile_saved` (или хранить версию события) и пересчитать шаги для всего сравниваемого периода. Также важно задокументировать изменение в описании метрики и проверить, что дедупликация пользователей работает одинаково. После унификации можно уже делать продуктовые выводы.
Подробный разбор → 19События логируются в UTC, а отчёты по удержанию бизнес смотрит по локальным дням. Вы считаете `D1 retention` по UTC-дням и видите провал. Что наиболее корректно сделать?
AПривести дату когорты и дату события к одной логике границ дня (одно правило, одна таймзона), затем пересчитать удержание и проверить, что провал исчез
BСчитать удержание по локальной таймзоне для когорты и по UTC для событий: разные правила точнее отражают локальный график активности пользователей
CУсреднить значения `D1 retention` за смежные дни до и после провала, чтобы получить сглаженную кривую и сократить влияние отдельных аномальных дней
DПерейти на считывание `D2 retention` вместо `D1 retention`, поскольку второй день обычно меньше зависит от логики формирования календарной даты события
Ответ: В удержании важно, чтобы дата когорты и дата события считались по одной логике границ дня.
Если день 0 определяется по одной таймзоне, а активность на день 1 — по другой, часть пользователей сдвинется между днями. Это искусственно занижает `D1 retention` и создаёт ложные провалы. Первое действие — согласовать правило построения дней и привести времена к одной логике. Затем пересчитать удержание и проверить, что аномалия исчезла. Только после этого имеет смысл искать продуктовые причины. Менять знаменатель или окно — значит маскировать проблему, а не решать её.
Подробный разбор → 20Общая шаговая конверсия в воронке выросла, но в каждом канале трафика (платный, органический) она снизилась. Какое объяснение наиболее вероятно?
AЭто обязательно ошибка подсчёта уникальных пользователей в знаменателе шагов воронки на верхнем уровне.
BИзменился микс каналов: выросла доля канала с более высокой базовой конверсией, поэтому общий показатель поднялся.
CЭто означает, что удержание выросло вместо конверсии, и общий показатель воронки начал отражать другую метрику.
DЭто происходит исключительно из-за отсутствия дедупликации пользователей по идентификатору на каждом шаге воронки.
Ответ: Когда общий показатель и показатели по сегментам расходятся, часто меняется состав сегментов в `denominator`.
Если доля канала с высокой базовой конверсией выросла, общая шаговая конверсия может увеличиться даже при падении внутри каждого канала. Это ловушка смещения микса, похожая на парадокс Симпсона. Проверьте распределение пользователей по каналам на шаге 1 (знаменатель) и сравните по фиксированным весам. Также убедитесь, что сегментация применяется одинаково на всех шагах воронки.
Подробный разбор → Другие темы: Продуктовая аналитика