Вариант B показывает заметное падение числа покупок по событиям, но по базе транзакций покупок почти столько же, сколько в A. Что лучше всего сделать, чтобы подтвердить проблему трекинга?
AСчитать, что пользователи в B перестали покупать, потому что так показывает метрика
BПодобрать другую метрику, где различий нет, и продолжать rollout
CВыкинуть первые дни эксперимента, чтобы график стал ровнее
DСделать сверку
logging с источником истины (транзакциями) и проверить потери/дубли событий по вариантамПравильный ответ. Если события расходятся с источником истины, нужно делать сверку (
reconciliation) и искать потери/дубли в logging.Разбор
События могут теряться из-за сетевых ошибок, изменений схемы, условий отправки или багов клиента. Сверка с транзакциями помогает понять, что бизнес‑действие было, а событие не записалось, или записалось дважды. После подтверждения расхождения корректнее чинить instrumentation, чем интерпретировать падение как поведение пользователей.
Проверь себя · 1/3разбор после ответа
Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B‑эксперимент и хочет сначала запустить `A/A test`. Какова главная цель `A/A test`?
- Что такое `SRM` (Sample Ratio Mismatch) (`sample ratio mismatch`) в контексте экспериментов?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →