После randomization вы заметили, что в treatment чуть больше пользователей iOS, чем в control. Какое действие наиболее корректно на уровне основ экспериментов?
AПерераспределить пользователей вручную до идеального равенства по платформам
BСразу признать эксперимент некорректным, потому что любое отличие означает провал рандомизации
CУдалить всех iOS пользователей из анализа, чтобы группы совпали
DПонимать, что небольшой дисбаланс возможен случайно, сделать sanity checks и продолжать с детерминированной рандомизацией
Правильный ответ. Небольшие перекосы по признакам возможны даже при
randomization, поэтому важно делать проверки, но не «чинить» группы вручную.Разбор
Случайное распределение не гарантирует идеального совпадения характеристик в каждой конкретной выборке. Обычно проверяют крупные аномалии и корректность назначения вариантов, но не меняют распределение постфактум. Если дисбаланс небольшой, он часто уменьшается при росте выборки и не ломает базовую идею причинного сравнения.
Проверь себя · 1/3разбор после ответа
Какая пара гипотез корректна для двустороннего
A/B test, где метрика — конверсия?Ещё вопросы по теме «Основы A/B-тестирования»
- После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
- Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
- Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
- Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
- Что в первую очередь даёт `randomization` в `A/B test`?
- Все вопросы по «Основы A/B-тестирования» →