После релиза вы увидели неожиданный рост конверсии, но подозреваете, что событие конверсии отправляется дважды. Какой признак лучше всего проверяет гипотезу о дублях?
AРаспределение числа событий на пользователя и наличие уникального идентификатора для дедупликации в
loggingBТолько среднее значение метрики по дням, без разрезов
CТолько p-value, потому что он показывает, есть ли дубли
DТолько общий объём трафика, не глядя на события
Правильный ответ. Дубли обычно видно по всплеску событий на пользователя и по наличию уникального идентификатора для дедупликации в
logging.Разбор
Если одно действие пользователя приводит к двум одинаковым событиям, у части пользователей будет аномально высокий event_count. Проверка уникального id (например, order_id) помогает понять, можно ли корректно дедуплицировать события. Без этой проверки рост метрики может оказаться не продуктовым эффектом, а артефактом instrumentation.
Проверь себя · 1/3разбор после ответа
Что такое
SRM (Sample Ratio Mismatch) (sample ratio mismatch) в контексте экспериментов?Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B‑эксперимент и хочет сначала запустить `A/A test`. Какова главная цель `A/A test`?
- Что такое `SRM` (Sample Ratio Mismatch) (`sample ratio mismatch`) в контексте экспериментов?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →