После релиза вы увидели неожиданный рост конверсии, но подозреваете, что событие конверсии отправляется дважды. Какой признак лучше всего проверяет гипотезу о дублях?

AПроверить распределение числа событий на пользователя и наличие уникального идентификатора, по которому можно дедуплицировать записи
BСравнить только сглаженное среднее значение метрики по неделям и оценивать наличие дублей по форме графика на дашборде
CСравнить значение p-value итогового теста с порогом и сделать вывод о наличии дублей по статистической значимости разницы
DСравнить общий объём трафика с предыдущей неделей и оценивать наличие дублей только по совокупному числу пользователей
Правильный ответ. Дубли обычно видно по всплеску событий на пользователя и по наличию уникального идентификатора для дедупликации.

Разбор

Если одно действие пользователя приводит к двум одинаковым событиям, у части пользователей будет аномально высокий счётчик событий. Проверка уникального идентификатора (например, order_id) помогает понять, можно ли корректно дедуплицировать события. Без этой проверки рост метрики может оказаться не продуктовым эффектом, а артефактом инструментирования. Сглаженный график, p-value и общий объём трафика про дубли ничего не говорят.

Проверь себя · 1/3разбор после ответа
Запустили A/B-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин SRM (Sample Ratio Mismatch) применительно к этой ситуации?
Тренировать A/B в Telegram

Ещё вопросы по теме «QA, SRM и раскатка»