После случайного назначения вы заметили, что в тестовой группе чуть больше пользователей iOS, чем в контрольной. Какое действие наиболее корректно на уровне основ экспериментов?
AПерераспределить пользователей вручную, чтобы добиться идеального равенства по платформам в каждой группе
BПонимать, что небольшой дисбаланс возможен случайно, сделать проверки согласованности и продолжать с детерминированной случайной разбивкой
CСразу признать эксперимент некорректным, потому что любое отличие в составе означает провал случайного назначения
DУдалить из анализа всех пользователей
iOS, чтобы состав групп точно совпал по платформам после фильтрацииПравильный ответ. Небольшие перекосы по признакам возможны даже при случайной разбивке, поэтому важно делать проверки, но не «чинить» группы вручную постфактум.
Разбор
Случайное распределение не гарантирует идеального совпадения характеристик в каждой конкретной выборке. Обычно проверяют крупные аномалии и корректность назначения вариантов, но не меняют распределение постфактум. Если дисбаланс небольшой, он часто уменьшается при росте выборки и не ломает базовую идею причинного сравнения. Удалять подгруппу или объявлять провал по любому отклонению — это неоправданная переоценка случайных колебаний.
Проверь себя · 1/3разбор после ответа
Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
- Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
- Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
- Что в первую очередь даёт рандомизация в A/B-тесте?
- Все вопросы по «Основы A/B-тестирования» →