Какое поведение p-value вы ожидаете увидеть в корректном A/A‑тесте, если проводить много независимых прогонов?
Ap-value всегда будет около 0.5 и никогда не опустится ниже 0.05 в большом числе прогонов
Bp-value всегда будет близок к нулю, потому что выборки берутся из одной и той же популяции
Cp-value всегда будет равен 1, так как реального эффекта между группами в A/A‑тесте нет вовсе
Dp-value распределён примерно равномерно, и около 5% прогонов случайно дадут p-value ниже 0.05
Правильный ответ. В корректном A/A‑тесте p-value распределён примерно равномерно, и около 5% прогонов случайно покажут p-value ниже 0.05.
Разбор
Если статистика и данные корректны, A/A‑тест имитирует ситуацию без эффекта. При уровне значимости 0.05 примерно 5% прогонов могут случайно показать «значимость» — это и есть ожидаемая частота ложных срабатываний. Если значимых результатов намного больше или они повторяются стабильно, это повод искать проблему в разбиении или сборе данных. Распределение p-value под нулевой гипотезой при правильно выбранном тесте близко к равномерному на отрезке от 0 до 1.
Проверь себя · 1/3разбор после ответа
В A/A-тесте вы заметили значимое отличие по инвариантным метрикам — например, по числу пользователей в эксперименте или по распределению платформ. Что это чаще всего означает?
Ещё вопросы по теме «QA, SRM и раскатка»
- Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
- Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
- В эксперименте конверсия в варианте B резко просела, но бизнес подозревает поломку трекинга. Какое действие лучше сделать в первую очередь?
- Эксперимент показал положительный эффект, и вы хотите выкатить фичу на всех пользователей. Какой план выкатки наиболее безопасен?
- В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
- Все вопросы по «QA, SRM и раскатка» →