В эксперименте с новым баннером 30% пользователей тестовой группы не дошли до экрана с баннером и не увидели изменение. Как правильно посчитать конверсию по принципу intention-to-treat?
AСчитать конверсию только среди тех, кто кликнул по баннеру и увидел новую страницу
BИсключить из анализа пользователей, которые закрыли приложение до загрузки нового баннера
CСчитать конверсию среди всех пользователей тестовой группы, независимо от того, увидели ли они баннер
DРазделить тестовую группу на видевших и не видевших баннер, посчитать конверсию отдельно
Правильный ответ. Принцип intention-to-treat: анализируем всех назначенных в группу, даже если они не увидели изменение.
Разбор
Intention-to-treat (ITT) — анализ по назначению в группу — включает в расчёт всех участников группы, а не только тех, кто реально увидел изменение. Это предотвращает систематическую ошибку: если исключить не-увидевших, остаются более активные пользователи, и результат будет завышен. ITT даёт консервативную, но честную оценку эффекта на весь трафик.
Проверь себя · 1/3разбор после ответа
В
treatment вы одновременно изменили текст баннера и логику расчёта скидки, а control оставили как есть. Если метрика изменилась, в чём главная проблема интерпретации?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →