Продакт-менеджер видит, что через три дня после запуска A/B-теста p-value равен 0.03. Он хочет остановить тест и раскатить изменение. Какой подход к остановке теста будет корректным?
AКак только p-value станет меньше 0.05 — дальше держать тест бессмысленно
BКогда набран заранее рассчитанный размер выборки и прошёл минимальный срок в один полный бизнес-цикл
CРовно через семь дней после запуска, потому что неделя покрывает все дни недели
DКогда уверенность в результате субъективно кажется команде достаточно высокой
Правильный ответ. Тест останавливают по заранее рассчитанному размеру выборки, а не при первом значимом p-value.
Разбор
Подглядывание в результаты (peeking) и ранняя остановка при значимом p-value приводят к завышению ложноположительных результатов. P-value случайно проходит порог 0.05 по мере набора данных. Корректный подход — до запуска рассчитать нужный размер выборки с учётом мощности, MDE и базовой конверсии, и остановить тест только после его набора.
Проверь себя · 1/3разбор после ответа
Перед запуском серии A/B-тестов команда решила провести AA-тест: разделить пользователей на две группы, но обеим показать одну и ту же версию продукта. Зачем это нужно?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →