Что рандомизация НЕ гарантирует в конкретном запуске A/B-теста?
AНазначение варианта, не зависящее от поведения пользователя и его прошлых действий в продукте до старта эксперимента
BИдеально одинаковые доли по каждому признаку (например, страна, устройство) в каждой группе в любом конкретном запуске
CВозможность оценивать причинный эффект через сравнение групп при достаточно большой выборке и аккуратной интерпретации
DОтсутствие систематического смещения в назначении контрольной и тестовой групп при долгосрочном повторении экспериментов
Правильный ответ. Рандомизация не обещает идеального баланса по всем признакам в каждом конкретном эксперименте.
Разбор
Случайное распределение делает группы сопоставимыми в среднем, но в отдельном запуске возможны небольшие перекосы по признакам из-за случайности. Это нормально и часто уменьшается при росте выборки. Важно проводить проверки согласованности групп, но не пытаться «ручным образом» исправлять рандомизацию постфактум через выбрасывание пользователей.
Проверь себя · 1/3разбор после ответа
Перед запуском A/B-теста аналитик предлагает неделю собирать данные по обеим группам без включения изменения. Зачем нужен этот пре-экспериментальный период?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →