Основы A/B-тестирования: вопросы для собеседования (часть 4)
Основы A/B-тестирования — обязательный блок для любого аналитика в продуктовой компании. Что такое нулевая гипотеза, как определить размер выборки, когда можно останавливать тест — базовые вопросы, которые задают в первую очередь. Без понимания основ невозможно корректно интерпретировать результаты экспериментов.
Вопросы 16–20 из 40
16Вы сравнили метрику до изменения и после изменения и увидели рост. Какой риск чаще всего делает такой вывод о причинности ненадёжным?
AМетрика без изменения продукта меняться не может, поэтому любой рост после релиза доказывает причинный эффект изменения.
BВнешние факторы и сезонность могли сдвинуть метрику одновременно с релизом, поэтому рост не равен причинному эффекту.
CРост после релиза автоматически отвергает нулевую гипотезу и не требует контрольной группы для подтверждения причинности.
DСравнение до/после считается более надёжным, чем рандомизация, и обычно даёт более чистую оценку эффекта.
Ответ: Сравнение до/после спутывается с внешними факторами: рост может быть вызван сезонностью или совпавшим внешним событием, а не самим релизом.
Без контрольной группы у нас нет «второй вселенной», где релиза не было, поэтому мы не знаем, как метрика повела бы себя без изменения. Рост после релиза легко объясняется сезонностью, маркетинговой акцией, изменением трафика или другим внешним фактором, совпавшим по времени. Именно поэтому в A/B-тесте контрольная группа существует одновременно с тестовой, и обе подвергаются одним и тем же внешним влияниям. «До/после» без рандомизации — это слабый дизайн с высоким риском перепутать корреляцию с причинностью.
Подробный разбор → 17В группе `treatment` вы одновременно изменили текст баннера и логику расчёта скидки, а группу `control` оставили без изменений. Если метрика изменилась, в чём главная проблема интерпретации?
AПроблемы нет: чем больше изменений в `treatment`, тем сильнее ожидаемый размер эффекта по основной метрике
BПроблема только в том, что размеры `treatment` и `control` могут отличаться на одного-двух пользователей за счёт случайности
CПроблема только в том, что нулевую гипотезу нельзя сформулировать, когда в `treatment` сразу два изменения вместо одного
DНельзя понять, какое из изменений дало эффект в `treatment`: фактор не один, и причинная атрибуция сливается между составляющими
Ответ: Если различий между группами `control` и `treatment` несколько, причинную атрибуцию конкретного изменения легко потерять.
В эксперименте важно менять один фактор, иначе результат — это смесь эффектов. Если в `treatment` поменяли и текст, и скидку, по итогу нельзя сказать, сработал текст, скидка или их комбинация. Это усложняет продуктовые решения и делает повторение результата менее предсказуемым. Случайные различия в размерах групп — отдельный технический вопрос, а нулевая гипотеза формулируется и для составной интервенции; главная проблема именно в смешении факторов.
Подробный разбор → 18Как чаще всего рассчитывают относительный прирост метрики между тестовой и контрольной группами в A/B-тесте?
AСумма метрик в тестовой и контрольной группах, делённая на размер выборки
BРазница метрик между тестовой и контрольной группами, делённая на значение в контроле
CРазница метрик между контрольной и тестовой группами, делённая на значение в тесте
DОтношение метрики в тестовой группе к метрике в контрольной группе без вычитания
Ответ: Относительный `lift` — это разница, нормированная на базовое значение `control`.
Формула «разница, делённая на контроль» показывает, на сколько процентов значение в тестовой группе отличается от базы. Это удобно, чтобы сравнивать эффекты для метрик с разными масштабами и сообщать результат в процентах. Абсолютный эффект при этом считается просто как разница двух средних в исходных единицах. Деление на тест в знаменателе или простое отношение без вычитания дают другую величину и легко вводят в заблуждение при отчётности.
Подробный разбор → 19ARPU в контрольной группе равен 200, в тестовой — 210. Как корректно описать абсолютный и относительный эффект?
AАбсолютный эффект `200`, относительный эффект `210`
BАбсолютный эффект `+5%`, относительный эффект `+10` единиц
CАбсолютный эффект `+10` единиц, относительный эффект `+5%`
DАбсолютный эффект `+10%`, относительный эффект `+10` единиц `ARPU`
Ответ: Абсолютный эффект — разница в единицах метрики (210 − 200 = 10), относительный — та же разница в процентах от базы контроля (10 / 200 = 5%).
ARPU вырос с 200 до 210, поэтому абсолютный эффект — это `+10` денежных единиц. Относительный эффект считается как изменение, делённое на базу контрольной группы: 10 / 200 = 0.05, то есть `+5%`. Подставлять сами значения метрик вместо разницы или путать местами проценты и денежные единицы — типичные ошибки. И обратите внимание: `+10%` в качестве абсолютного эффекта — это всё ещё процент, а не абсолютная величина.
Подробный разбор → 20После случайного назначения вы заметили, что в тестовой группе чуть больше пользователей `iOS`, чем в контрольной. Какое действие наиболее корректно на уровне основ экспериментов?
AПерераспределить пользователей вручную, чтобы добиться идеального равенства по платформам в каждой группе
BПонимать, что небольшой дисбаланс возможен случайно, сделать проверки согласованности и продолжать с детерминированной случайной разбивкой
CСразу признать эксперимент некорректным, потому что любое отличие в составе означает провал случайного назначения
DУдалить из анализа всех пользователей `iOS`, чтобы состав групп точно совпал по платформам после фильтрации
Ответ: Небольшие перекосы по признакам возможны даже при случайной разбивке, поэтому важно делать проверки, но не «чинить» группы вручную постфактум.
Случайное распределение не гарантирует идеального совпадения характеристик в каждой конкретной выборке. Обычно проверяют крупные аномалии и корректность назначения вариантов, но не меняют распределение постфактум. Если дисбаланс небольшой, он часто уменьшается при росте выборки и не ломает базовую идею причинного сравнения. Удалять подгруппу или объявлять провал по любому отклонению — это неоправданная переоценка случайных колебаний.
Подробный разбор →