В treatment вы одновременно изменили текст баннера и логику расчёта скидки, а control оставили как есть. Если метрика изменилась, в чём главная проблема интерпретации?
AПроблемы нет, чем больше изменений, тем сильнее
effect sizeBПроблема только в том, что размер групп может отличаться на 1–2 пользователя
CПроблема только в том, что
H0 нельзя сформулировать при двух измененияхDНельзя понять, какое из изменений вызвало эффект, потому что фактор не один
Правильный ответ. Если различий между
control и treatment несколько, причинную интерпретацию конкретного изменения потерять легко.Разбор
В эксперименте важно менять один фактор, иначе вы получаете смесь эффектов. В такой постановке вы не сможете сказать, сработал текст, скидка или их комбинация. Это усложняет продуктовые решения и делает повторение результата менее предсказуемым.
Проверь себя · 1/3разбор после ответа
Вы сравнили метрику до изменения и после изменения и увидели рост. Какой риск чаще всего делает такой вывод о причинности ненадёжным?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →