В группе treatment вы одновременно изменили текст баннера и логику расчёта скидки, а группу control оставили без изменений. Если метрика изменилась, в чём главная проблема интерпретации?
AПроблемы нет: чем больше изменений в
treatment, тем сильнее ожидаемый размер эффекта по основной метрикеBПроблема только в том, что размеры
treatment и control могут отличаться на одного-двух пользователей за счёт случайностиCПроблема только в том, что нулевую гипотезу нельзя сформулировать, когда в
treatment сразу два изменения вместо одногоDНельзя понять, какое из изменений дало эффект в
treatment: фактор не один, и причинная атрибуция сливается между составляющимиПравильный ответ. Если различий между группами
control и treatment несколько, причинную атрибуцию конкретного изменения легко потерять.Разбор
В эксперименте важно менять один фактор, иначе результат — это смесь эффектов. Если в treatment поменяли и текст, и скидку, по итогу нельзя сказать, сработал текст, скидка или их комбинация. Это усложняет продуктовые решения и делает повторение результата менее предсказуемым. Случайные различия в размерах групп — отдельный технический вопрос, а нулевая гипотеза формулируется и для составной интервенции; главная проблема именно в смешении факторов.
Проверь себя · 1/3разбор после ответа
Команда провела AA-тест на 100 000 пользователей. Конверсия в группе A — 4.8%, в группе B — 5.0%, p-value = 0.04. Обе группы видели одну и ту же версию. Как интерпретировать результат?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →