Что randomization НЕ гарантирует в конкретном запуске A/B test?
AНазначение варианта, не зависящее от поведения пользователя
BИдеально одинаковые доли по каждому признаку (например, страна, устройство) в каждой группе
CВозможность оценивать причинный эффект через сравнение групп
DОтсутствие систематического смещения в назначении
control и treatmentПравильный ответ.
randomization не обещает идеального баланса по всем признакам в каждом конкретном эксперименте.Разбор
Случайное распределение делает группы сопоставимыми в среднем, но в отдельном запуске возможны небольшие перекосы по признакам из-за случайности. Это нормально и часто уменьшается при росте выборки. Важно проводить sanity checks, но не пытаться «ручным образом» исправлять рандомизацию постфактум.
Проверь себя · 1/3разбор после ответа
Команда социальной сети тестирует новый алгоритм рекомендаций. Пользователи рандомизированы индивидуально. Тестовая группа делает на 20% больше репостов, но и в контрольной группе репосты выросли на 8%. Что наиболее вероятно произошло?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →