Какая формулировка лучше всего соответствует проверяемой hypothesis для A/B test?
AЕсли добавить подсказку с итоговой стоимостью доставки на чекауте, то
primary metric purchase_conversion вырастет, а guardrail metric refund_rate не ухудшитсяBСделаем чекаут удобнее, чтобы пользователям больше нравилось
CНужно увеличить выручку, поэтому сделаем новый дизайн
DНовый дизайн чекаута точно улучшит все метрики
Правильный ответ. Хорошая
hypothesis связывает изменение с ожидаемым эффектом и явно называет primary metric и guardrail metric.Разбор
Проверяемая hypothesis должна содержать: что меняем, для кого, какой ожидаем эффект и как именно его измеряем. Вариант с purchase_conversion и refund_rate задаёт и критерий успеха, и ограничение риска. Остальные варианты слишком расплывчаты: они не фиксируют метрику, не задают проверяемый ожидаемый результат и легко приводят к спорной интерпретации итогов.
Проверь себя · 1/3разбор после ответа
Что в
A/B test обычно означает разделение на control и treatment?Ещё вопросы по теме «A/B-тесты в продуктовой аналитике»
- Что в `A/B test` обычно означает разделение на `control` и `treatment`?
- Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как `primary metric` для решения о запуске?
- Вы увеличиваете частоту push-уведомлений, ожидая рост заказов. Какая метрика наиболее уместна как `guardrail metric`?
- Когда `A/B test` обычно предпочтительнее, чем сразу делать полный `rollout` изменения?
- Какой подход к остановке эксперимента лучше всего снижает риск `peeking` (подглядывания) и спорных выводов?
- Все вопросы по «A/B-тесты в продуктовой аналитике» →