Сервис такси тестирует новый алгоритм ценообразования. Если часть водителей видит новые цены, а часть — старые, пассажиры будут переключаться между ними, а водители — менять районы работы. Какой дизайн эксперимента решит эту проблему?
AРандомизировать каждого водителя индивидуально и анализировать на уровне поездок за последний месяц
BРандомизировать по времени суток: утренние поездки — тест, вечерние — контроль
CРандомизировать по типу автомобиля: эконом — тест, комфорт — контроль, для чистоты сравнения
DРандомизировать по городам или районам, чтобы водители и пассажиры внутри кластера были в одной группе
Правильный ответ. Кластерная рандомизация по географии предотвращает перетекание пользователей между тестовой и контрольной группами.
Разбор
В двустороннем маркетплейсе (такси, доставка) индивидуальная рандомизация нарушает принцип SUTVA — стабильности эффекта. Водители и пассажиры взаимодействуют, создавая перетекание между группами. Кластерная рандомизация по географии (город, район) гарантирует, что все участники рынка в одном кластере видят одинаковые условия. Минус — нужно больше кластеров для статистической мощности.
Проверь себя · 1/3разбор после ответа
Команда раскатила успешный A/B-тест на всех пользователей. Через полгода продакт хочет проверить, сохранился ли долгосрочный эффект. Какой подход позволит это измерить?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →