Падение conversion rate заметно только у сегмента новых пользователей, а у возвращающихся все стабильно. Какой шаг диагностики наиболее разумен первым?
AСразу признать, что продукт стал хуже именно для новых пользователей, и не проверять данные
BИгнорировать сегментацию и смотреть только общий график
CСделать
reconciliation по сегменту: сверить число новых пользователей с источником регистраций, проверить корректность assignment в эксперимент и instrumentation поля user_typeDИсключить новых пользователей из отчета, чтобы метрика выглядела лучше
Правильный ответ. Сегментный эффект требует
reconciliation знаменателей и проверки instrumentation сегментирующих полей.Разбор
Если поле user_type сломалось или изменилось правило классификации, сегментная метрика может «поехать» без реального эффекта. Сверьте количество новых пользователей с независимым источником, например регистрациями, и проверьте assignment в эксперимент на этом же сегменте. Если знаменатель и сегментация корректны, тогда можно обсуждать реальное продуктовое влияние.
Проверь себя · 1/3разбор после ответа
В ежедневном дашборде
DAU и количество событий резко упали начиная с 02:00 и остаются низкими до конца дня. Что проверить первым, чтобы быстро понять, это missing data или реальный бизнес-эффект?Ещё вопросы по теме «Качество данных и инварианты»
- В ежедневном дашборде `DAU` и количество событий резко упали начиная с 02:00 и остаются низкими до конца дня. Что проверить первым, чтобы быстро понять, это `missing data` или реальный бизнес-эффект?
- Какой `invariant` наиболее уместно добавить в ежедневный отчет по воронке e-commerce, чтобы ловить ошибки данных?
- Выручка по событиям в продуктовой витрине на 5 процентов выше, чем в платежной системе за тот же день. Что логичнее всего проверить первым в рамках `reconciliation`?
- Вчера число событий `purchase` выросло в 2 раза, но число уникальных `order_id` почти не изменилось. Какой источник проблемы наиболее вероятен?
- Метрики за понедельник резко просели, а за вторник резко выросли, при этом сумма за 2 дня почти не изменилась. Какой `sanity check` лучше всего указывает на `time shift`?
- Все вопросы по «Качество данных и инварианты» →