Вы сравнили метрику до изменения и после изменения и увидели рост. Какой риск чаще всего делает такой вывод о причинности ненадёжным?
AМетрика не может меняться без изменения продукта
BЕсли есть рост, то
H0 автоматически отвергнутаCВнешние факторы и сезонность могли изменить метрику одновременно с релизом
DРандомизация всегда ухудшает метрику, поэтому сравнение до/после лучше
Правильный ответ. Сравнение до/после смешивает эффект изменения с любыми внешними событиями и трендами.
Разбор
Даже если продукт не менялся, метрика может расти из-за праздников, новостей, маркетинга или изменения трафика. Поэтому рост после релиза не равен причинному эффекту релиза. A/B test добавляет параллельную контрольную группу и помогает отделить эффект от внешнего фона.
Проверь себя · 1/3разбор после ответа
В
treatment вы одновременно изменили текст баннера и логику расчёта скидки, а control оставили как есть. Если метрика изменилась, в чём главная проблема интерпретации?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →