Вы запустили A/A тест и получили статистически значимую разницу по ключевой метрике. Что правильнее всего сделать перед запуском A/B?

В A/A тесте эффект должен быть близок к нулю, а значимость должна появляться редко и случайно — не чаще, чем уровень alpha. Стабильное или большое различие обычно означает проблему: разные аудитории в вариантах, потерю событий, дубли, неверные фильтры включения, ошибки логирования. Если не исправить это, A/B может показать «победителя» из-за бага, а не из-за продукта. Игнорировать или менять метрику без диагностики — путь к неверным решениям.