Воронки и когортные рассуждения: вопросы для собеседования (часть 3)
Логика построения воронок: какие шаги включить, как обрабатывать повторные визиты, почему конверсия между шагами может быть больше 100%. На собеседовании дают ошибочную воронку и просят найти проблему. Когортные рассуждения проверяют, умеет ли кандидат корректно сравнивать группы пользователей во времени.
Вопросы 11–15 из 20
11События логируются в UTC, а продуктовые отчёты построены по локальным дням. Вы считаете `D1 retention` по UTC-дням и видите неожиданный «провал». Что наиболее разумно сделать в первую очередь?
AИгнорировать: `retention` не зависит от часовых поясов
BПоменять `denominator` на число `active users` в день 1, чтобы убрать провал
CИсключить пользователей, которые активны ночью, чтобы не было смещения
DПроверить границы дней и привести расчёт к одной логике: единая таймзона и одинаковый `event time` для `cohort` и активности
Ответ: Для `retention` важно единообразно определять границы дня и связь с когортой.
Если день 0 и день 1 режутся по разным часовым поясам, возвраты могут сдвигаться между днями. Тогда `D1 retention` будет выглядеть хуже или лучше только из-за календарной логики, а не из-за поведения. Приведение `event time` к единой таймзоне и одинаковое правило построения когорты обычно устраняет такие артефакты.
12Вы строите воронку регистрации (`signup funnel`), но шаг 1 определили как `app_open` для всех пользователей. `Step conversion` до `signup` получилась очень низкой. Какое объяснение наиболее вероятно и что исправить?
AШаг 1 включает уже зарегистрированных пользователей, поэтому нужно сузить базу воронки до `unique users` без аккаунта или до тех, кто видел вход в регистрацию.
BНужно заменить `denominator` на количество `events` `signup`, тогда `step conversion` станет корректной
CНужно перестать считать `funnel` и перейти сразу к `retention`
DНужно увеличить период наблюдения, и `step conversion` обязательно вырастет
Ответ: Если шаг 1 слишком широкий, `denominator` включает нерелевантных пользователей и занижает `step conversion`.
Пользователи с аккаунтом редко выполняют `signup` повторно, поэтому они не должны быть в базе `signup funnel`. Когда вы ограничиваете шаг 1 до релевантной аудитории, `step conversion` начинает отражать реальное качество пути. Это изменение определения, а не «улучшение» продукта само по себе.
13В воронке (`funnel`) шаг 2 — событие `complete_profile`. После релиза `step conversion` 1→2 резко упала на Android, а на iOS почти не изменилась. Что наиболее разумно проверить в первую очередь?
AСменить `denominator` на iOS, чтобы общий график выглядел лучше
BПроверить `logging` события `complete_profile` на Android: разрезы по версии, долю пользователей с событием и возможные потери
CИсключить Android из анализа `cohort`, потому что сегменты мешают
DПересчитать `step conversion` по `events` без `дедупликация`, чтобы падение исчезло
Ответ: Падение шага в одном сегменте часто связано с проблемами `logging`, поэтому нужен разбор по разрезам.
Если проблема только на Android, вероятны изменения клиента или потери события на этой платформе. Проверьте долю `unique users` с `complete_profile` по версиям приложения и каналу релиза, а также целостность схемы события. Лишь после проверки `logging` корректно делать выводы о реальной воронке.
14Какое определение лучше всего соответствует `rolling retention` для дня 7?
AПользователь активен ровно в день 7 относительно дня 0.
BПользователь активен каждый день с 1 по 7 без пропусков
CПользователь активен хотя бы раз в первые 7 дней после дня 0
DПользователь активен хотя бы один раз в день 7 или позже относительно дня 0.
Ответ: `Rolling retention` считает удержанным пользователя, который вернулся в день N или позже.
Классический `D7 retention` требует активности ровно в день 7. `Rolling retention` задаёт более широкий критерий: важно, что пользователь вернулся начиная с дня 7, даже если это произошло в день 8 или 10. Это помогает анализировать продукты, где точный день возврата вариативен.
15Вы считаете `step conversion` в `event-level` воронке как количество `purchase` / количество `add_to_cart` и получаете 130%. Какое объяснение наиболее вероятно?
AЭто обязательно ошибка статистики: `step conversion` никогда не бывает больше 100%
BЭто означает, что `denominator` должен быть размером всей аудитории, а не шагом 1
CЭто признак того, что `cohort` собрана неверно, поэтому нужно пересчитать `retention`
DВы считаете по `events` без дедупликации, и один пользователь мог сделать несколько `purchase` на один `add_to_cart`
Ответ: В `event-level` воронке без дедупликации количество `events` может давать `step conversion` больше 100%.
При расчёте по `events` вы сравниваете числа событий, а не доли пользователей. Если пользователи делают несколько покупок или шаги логируются с разной частотой, отношение может стать больше 1. Чтобы получить интерпретируемую конверсию, обычно используют `user-level` воронку или вводят дедупликацию по пользователю или заказу.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram