Команда сначала выкатывает новую версию корзины на 2% трафика (канареечный релиз), а через сутки запускает полноценный A/B-тест на 50/50. Зачем нужны оба этапа?
AКанареечный релиз проверяет стабильность и отсутствие критических багов, а A/B-тест измеряет влияние на метрики
BКанареечный релиз и A/B-тест — одно и то же, просто разные названия для одного процесса
CКанареечный релиз точнее измеряет эффект на конверсию, потому что использует меньшую выборку
DA/B-тест проверяет технические ошибки, а канареечный релиз измеряет бизнес-метрики
Правильный ответ. Канареечный релиз ловит технические проблемы на малом трафике, а A/B-тест — измеряет бизнес-эффект на статистически значимой выборке.
Разбор
Канареечный (phased) релиз — это постепенная раскатка на 1-5% трафика для выявления крашей, ошибок, деградации производительности. Даже серьёзный баг затронет малую долю пользователей. A/B-тест требует больших выборок для статистической мощности и не годится для раннего обнаружения поломок. Двухэтапный процесс сочетает безопасность и точность измерения.
Проверь себя · 1/3разбор после ответа
Вы сравнили метрику до изменения и после изменения и увидели рост. Какой риск чаще всего делает такой вывод о причинности ненадёжным?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →