После релиза вы увидели неожиданный рост конверсии, но подозреваете, что событие конверсии отправляется дважды. Какой признак лучше всего проверяет гипотезу о дублях?
AПроверить распределение числа событий на пользователя и наличие уникального идентификатора, по которому можно дедуплицировать записи
BСравнить только сглаженное среднее значение метрики по неделям и оценивать наличие дублей по форме графика на дашборде
CСравнить значение
p-value итогового теста с порогом и сделать вывод о наличии дублей по статистической значимости разницыDСравнить общий объём трафика с предыдущей неделей и оценивать наличие дублей только по совокупному числу пользователей
Правильный ответ. Дубли обычно видно по всплеску событий на пользователя и по наличию уникального идентификатора для дедупликации.
Разбор
Если одно действие пользователя приводит к двум одинаковым событиям, у части пользователей будет аномально высокий счётчик событий. Проверка уникального идентификатора (например, order_id) помогает понять, можно ли корректно дедуплицировать события. Без этой проверки рост метрики может оказаться не продуктовым эффектом, а артефактом инструментирования. Сглаженный график, p-value и общий объём трафика про дубли ничего не говорят.
Проверь себя · 1/3разбор после ответа
Запустили
A/B-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин SRM (Sample Ratio Mismatch) применительно к этой ситуации?Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →