Воронки и когортные рассуждения: вопросы для собеседования (часть 2)
Логика построения воронок: какие шаги включить, как обрабатывать повторные визиты, почему конверсия между шагами может быть больше 100%. На собеседовании дают ошибочную воронку и просят найти проблему. Когортные рассуждения проверяют, умеет ли кандидат корректно сравнивать группы пользователей во времени.
Вопросы 6–10 из 20
6В одной воронке вы считали пошаговую конверсию от шага 1 до шага 3. Вы поменяли шаг 1: было число уникальных пользователей с событием `open_signup_screen`, стало число уникальных пользователей с событием `app_open`. Поведение на шагах 2–3 не изменилось. Что скорее всего произойдёт с пошаговой конверсией шага 1→3?
AПошаговая конверсия вырастет, потому что шаг 1 стал шире и в воронку попало заметно больше пользователей с интересом
BПошаговая конверсия не изменится, потому что шаг 1 не влияет на расчёт пошаговой конверсии между шагами 2 и 3
CПошаговая конверсия станет равной 100%, потому что все пользователи открывают приложение и автоматически проходят воронку
DПошаговая конверсия снизится, потому что знаменатель стал больше при почти неизменном числителе из-за расширения определения шага 1
Ответ: При фиксированном числителе расширение шага 1 увеличивает знаменатель и снижает пошаговую конверсию.
Когда шаг 1 становится шире, в базу попадают пользователи, которые не собирались идти дальше по сценарию. При этом числитель (дошли до шага 3) часто меняется мало, а знаменатель заметно растёт. Поэтому пошаговая конверсия падает из-за смены определения, а не из-за реального ухудшения. Варианты «вырастет» и «не изменится» игнорируют изменение знаменателя, а «100%» противоречит исходным данным.
Подробный разбор → 7Вы считаете классический `D7 retention` для когорты пользователей, зарегистрировавшихся 1 марта. Что должно быть знаменателем в этом расчёте?
AЧисло уникальных активных пользователей продукта 8 марта без фильтра по дате регистрации
BЧисло уникальных пользователей с активностью хотя бы раз за неделю с 1 по 8 марта
CЧисло событий активности за 8 марта без дедупликации по пользователям и без фильтра по когорте
DРазмер исходной когорты: число уникальных пользователей с регистрацией 1 марта
Ответ: В классическом удержании знаменатель равен размеру исходной когорты, а не аудитории целевого дня.
Классический `D7 retention` отвечает на вопрос, какая доля пользователей из дня 0 вернулась на день 7. Поэтому знаменатель — это число уникальных пользователей в когорте регистрации 1 марта, а в числителе — те же пользователи, которые проявили активность 8 марта. Если менять знаменатель на аудиторию другого дня или на счётчик событий, расчёт перестаёт измерять когортное удержание. Это типичная ошибка, после которой кривые удержания становятся несравнимыми.
Подробный разбор → 8Вы строите воронку регистрации: пользователь может открыть экран регистрации, отправить форму и подтвердить почту. Что логичнее выбрать как шаг 1, если вы хотите измерять пошаговую конверсию регистрации на уровне уникальных пользователей?
AШаг 1: уникальные пользователи с событием `open_signup_screen` за день, фактически начавшие регистрацию
BШаг 1: все события `open_signup_screen` без дедупликации по пользователю, повторные заходы считаются отдельно
CШаг 1: все уникальные пользователи приложения за день, включая тех, кто не подходил к экрану регистрации
DШаг 1: уникальные пользователи с событием `email_confirm`, уже завершившие регистрацию
Ответ: Шаг 1 в воронке задаёт базу (знаменатель) для всех последующих пошаговых конверсий.
Шаг 1 определяет, кого вы считаете вошедшим в процесс, и от него зависит итоговая конверсия. Если взять слишком широкую базу (всех пользователей приложения), пошаговая конверсия станет искусственно ниже без изменения поведения. Если взять шаг, который уже является результатом (подтверждение почты), вы теряете смысл анализа пути. Без дедупликации события считаются повторно и инфлируют знаменатель, что мешает интерпретации.
Подробный разбор → 9Вы считаете долю активации (`activation rate`): пользователь считается активированным, если сделал `first_action` в течение 24 часов после регистрации. Какая корректная база (знаменатель) для этой метрики?
AВсе уникальные пользователи, активные в продукте за период, независимо от момента регистрации в выбранном окне
BКогорта уникальных пользователей, у которых регистрация произошла в выбранном периоде наблюдения
CВсе сессии за период, потому что активация происходит внутри сессий и привязана к их количеству, а не к пользователям
DТолько уникальные пользователи, у которых уже зафиксировано первое целевое действие на старте, иначе доля будет искажена
Ответ: Доля активации считается относительно когорты пользователей, начавших путь с момента регистрации в выбранном периоде.
Если определение метрики привязано к моменту регистрации, то знаменатель должен состоять из пользователей, у которых регистрация произошла в выбранном периоде. Тогда знаменатель — это размер когорты новых пользователей, а числитель — те из них, кто сделал `first_action` в окне 24 часа. Если брать всю аудиторию, метрика смешает старых и новых пользователей и получится нерелевантная доля. Считать по сессиям тоже неверно: метрика определена на пользователях, а не на событиях.
Подробный разбор → 10Вы строите когорту для анализа удержания покупателей, где день 0 — первая покупка. Как корректно определить дату попадания пользователя в когорту?
AДата первой покупки для каждого пользователя с дедупликацией: одна точка входа в когорту на пользователя
BДата последней покупки пользователя в рассматриваемом периоде, потому что она ближе всего к точке наблюдения удержания
CДата любой покупки в периоде, поэтому один пользователь может попадать сразу в несколько когорт за разные месяцы
DДата регистрации пользователя, потому что она всегда раньше первой покупки и удобна для построения отчётов
Ответ: Когорта по первой покупке задаётся минимальной датой покупки на пользователя с дедупликацией.
Если день 0 — это первая покупка, то каждому пользователю нужна одна уникальная точка входа в когорту. Поэтому берут минимальную дату покупки на пользователя и считают размер когорты как уникальных пользователей. Если пользователь попадает сразу в несколько когорт, удержание и сравнения между когортами становятся смещёнными. Дата последней покупки или дата регистрации не соответствуют определению «день 0 = первая покупка».
Подробный разбор →