Команда провела AA-тест на 100 000 пользователей. Конверсия в группе A — 4.8%, в группе B — 5.0%, p-value = 0.04. Обе группы видели одну и ту же версию. Как интерпретировать результат?
AРазница в 4% пренебрежимо мала — система работает корректно и можно запускать A/B-тесты
BНужно увеличить размер выборки AA-теста, чтобы убедиться в значимости отличия на 4%
CЗначимое различие при одинаковом воздействии — это ожидаемый результат в 5% случаев при альфа 0.05
DЗначимое различие в AA-тесте сигнализирует о проблемах в системе сплитования или сборе данных
Правильный ответ. Значимое различие в AA-тесте при большой выборке — серьёзный сигнал о проблемах в инфраструктуре эксперимента.
Разбор
При маленькой выборке значимый результат в AA-тесте может быть ложноположительным (5% шанс при альфа 0.05). Но при 100 000 пользователей обнаруженная разница в 0.2 п.п. — это скорее систематическое смещение. Нужно проверить: корректность рандомизации (SRM-тест), одинаковость логирования событий в обеих группах, отсутствие ботов или технических артефактов.
Проверь себя · 1/3разбор после ответа
Какая пара гипотез корректна для двустороннего
A/B test, где метрика — конверсия?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →