Аналитик посчитал эффект нового чекаута двумя способами: по intention-to-treat вышло +2% к конверсии, а по per-protocol (только среди увидевших изменение) — +7%. Менеджер хочет использовать per-protocol как основной результат. В чём проблема?
APer-protocol точнее, потому что исключает шум от пользователей, которые не видели изменение
BPer-protocol показывает эффект на весь трафик, а ITT — только на активных пользователей
CОба подхода дадут одинаковый результат, если рандомизация была выполнена корректно
DPer-protocol оценивает эффект среди увидевших изменение, но завышает результат из-за смещения выборки
Правильный ответ. Per-protocol анализ завышает эффект, потому что включает только активных пользователей, а не всю выборку.
Разбор
Per-protocol анализ включает только пользователей, которые реально увидели изменение. Проблема в том, что эти пользователи систематически отличаются от исключённых — они более активны, чаще доходят до нужного экрана. Это вносит смещение выборки и завышает результат. ITT даёт честную оценку для бизнеса: именно столько компания получит, раскатив изменение на всех.
Проверь себя · 1/3разбор после ответа
Перед запуском серии A/B-тестов команда решила провести AA-тест: разделить пользователей на две группы, но обеим показать одну и ту же версию продукта. Зачем это нужно?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →