Компания провела A/B-тест бесплатной доставки на российском рынке: конверсия выросла на 15%. Продакт хочет раскатить это на все страны без дополнительных тестов. Корректен ли такой подход?
AНет, потому что размер выборки должен быть не менее миллиона пользователей для международных выводов
BДа, рандомизация гарантирует, что результаты применимы к любой аудитории в любой стране
CДа, если конверсия статистически значима, результат автоматически распространяется на все рынки
DНет, потому что поведение пользователей зависит от культуры, уровня цен и конкурентной среды на рынке
Правильный ответ. Внешняя валидность — применимость результатов за пределами конкретного эксперимента.
Разбор
Результат A/B-теста внутренне валиден (эффект реален для данной аудитории), но его нельзя автоматически переносить на другие условия. Бесплатная доставка в России, где средний чек и стоимость логистики одни, может не работать в стране с другой структурой расходов. Культурные различия, конкуренция, привычки — всё влияет. Для каждого нового рынка нужен отдельный тест или как минимум проверка на подвыборке.
Проверь себя · 1/3разбор после ответа
Какая пара гипотез корректна для двустороннего
A/B test, где метрика — конверсия?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →