В середине эксперимента команда изменила схему события и обновила логику подсчёта метрики, не зафиксировав версию. Какой подход к исправлению наиболее корректен?
AПринять смену схемы как часть нормального процесса и анализировать данные обоих периодов вместе без приведения к единому определению
BЗафиксировать версии, привести расчёт к единому определению (в идеале пересчитать историю) и при необходимости перезапустить эксперимент
CАнализировать только период до изменения схемы и игнорировать данные после смены, считая первую часть эксперимента самодостаточной
DЗаменить статистический критерий на менее чувствительный к различиям подсчёта, чтобы расхождения определений в отчёте стали незаметны
Правильный ответ. Изменение определения метрики без версионирования делает сравнение некорректным и требует унификации расчёта.
Разбор
Если метрика считалась по-разному в разные дни или в разных вариантах, вы сравниваете не одно и то же. В таких случаях нужно зафиксировать определение (версию) и пересчитать результаты единообразно для всего периода. Если пересчёт невозможен или смешение слишком сильное, честнее перезапустить эксперимент после исправления логирования. Замена критерия или удаление одного из вариантов проблему не решают, а только маскируют её.
Проверь себя · 1/3разбор после ответа
Вы запустили A/A тест и получили статистически значимую разницу по ключевой метрике. Что правильнее всего сделать перед запуском A/B?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →