Перед запуском серии A/B-тестов команда решила провести AA-тест: разделить пользователей на две группы, но обеим показать одну и ту же версию продукта. Зачем это нужно?
AОпределить базовую конверсию продукта для расчёта размера выборки будущих тестов
BНайти сегменты пользователей, которые реагируют на изменения сильнее остальных
CПроверить корректность системы сплитования: при одинаковом воздействии метрики групп не должны отличаться
DОбучить модель машинного обучения на данных без изменений для последующего прогнозирования
Правильный ответ. AA-тест проверяет, что система сплитования работает корректно и не вносит систематических различий между группами.
Разбор
В AA-тесте обе группы получают одинаковое воздействие. Если метрики статистически значимо отличаются — значит, в системе рандомизации есть баг, данные собираются с ошибкой или есть систематическое смещение. Обнаружить такую проблему до запуска реального теста критически важно, иначе все результаты будут недостоверными.
Проверь себя · 1/3разбор после ответа
Команда раскатила успешный A/B-тест на всех пользователей. Через полгода продакт хочет проверить, сохранился ли долгосрочный эффект. Какой подход позволит это измерить?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →