Команда одновременно запускает два A/B-теста: новая главная страница и новый алгоритм рекомендаций. Оба теста влияют на одну метрику — конверсию в покупку. Как минимизировать риск неверных выводов?
AЗапускать тесты строго последовательно, потому что параллельные тесты всегда дают некорректные результаты
BИспользовать ортогональное разбиение трафика и проверять наличие эффекта взаимодействия между тестами
CДелить трафик пополам и отдавать каждому тесту свою половину без пересечений
DЗапускать оба теста на одних и тех же пользователях и считать результаты полностью независимыми
Правильный ответ. При параллельных тестах на одну метрику нужно ортогональное разбиение и проверка взаимодействия.
Разбор
Ортогональное разбиение означает, что назначение пользователя в группу одного теста не зависит от его группы в другом тесте. Это позволяет запускать тесты параллельно. Но если изменения взаимодействуют (новая страница + новые рекомендации усиливают друг друга), эффект каждого теста по отдельности будет неточным. Нужно проверять наличие взаимодействия через анализ четырёх комбинаций групп.
Проверь себя · 1/3разбор после ответа
Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения
control и treatment?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →