Вариант B показывает заметное падение числа покупок по событиям, но по базе транзакций покупок почти столько же, сколько в A. Что лучше всего сделать, чтобы подтвердить проблему инструментирования событий?
AСверить логи событий с таблицей транзакций как источником истины и проверить потери и дубликаты событий покупки
BПринять падение событий как реальное и зафиксировать просадку покупок только по дашборду событий без сверки с транзакциями
CПодобрать другую метрику успеха без расхождений между источниками и продолжить раскатку по альтернативной метрике без сверки
DСократить окно анализа до последних дней и пересчитать метрику только по свежим событиям, не сверяясь с базой транзакций
Правильный ответ. Если события расходятся с источником истины, нужно делать сверку и искать потери и дубликаты в логах.
Разбор
События могут теряться из-за сетевых ошибок, изменений схемы, условий отправки или багов клиента. Сверка с транзакциями помогает понять, что бизнес-действие было, а событие не записалось — или записалось дважды. После подтверждения расхождения корректнее чинить инструментирование событий, чем интерпретировать падение как поведение пользователей.
Проверь себя · 1/3разбор после ответа
Какое поведение p-value вы ожидаете увидеть в корректном A/A‑тесте, если проводить много независимых прогонов?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →