Основы A/B-тестирования: вопросы для собеседования (часть 3)
Основы A/B-тестирования — обязательный блок для любого аналитика в продуктовой компании. Что такое нулевая гипотеза, как определить размер выборки, когда можно останавливать тест — базовые вопросы, которые задают в первую очередь. Без понимания основ невозможно корректно интерпретировать результаты экспериментов.
Вопросы 11–15 из 40
11После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без `A/B test` нельзя уверенно сказать, что рост вызван именно редизайном?
AПотому что без `randomization` мы не знаем `counterfactual` и рост мог быть из-за внешних факторов
BПотому что любые изменения интерфейса всегда улучшают метрики, и тест не нужен
CПотому что сравнение с прошлой неделей автоматически доказывает причинность
DПотому что `A/B test` измеряет только корреляции, а не причинность
Ответ: `A/B test` нужен, чтобы оценить причинный эффект через сравнение `control` и `treatment` при `randomization`.
Рост метрики после релиза может совпасть по времени с сезоном, маркетинговой кампанией или изменением аудитории. Без `randomization` нельзя корректно оценить `counterfactual` — что было бы, если бы редизайн не показывали. В `A/B test` группы формируются случайно, поэтому разница метрик лучше отражает причинный эффект изменения.
12Какая пара гипотез корректна для двустороннего `A/B test`, где метрика — конверсия?
A`H0`: конверсия в `treatment` выше, `H1`: конверсия одинакова
B`H0`: конверсия в `treatment` всегда ниже, `H1`: конверсия всегда выше
C`H0`: конверсия в `treatment` равна конверсии в `control`, `H1`: конверсии различаются
D`H0`: конверсия выросла на 10%, `H1`: конверсия выросла на 5%
Ответ: Обычно `H0` формулируют как отсутствие эффекта, а `H1` — как наличие отличий.
В двустороннем тесте нас интересует любое изменение метрики, а не только рост или падение. Поэтому стандартно `H0` — равенство метрик в `control` и `treatment`. Альтернатива `H1` — метрики различаются, то есть эффект не равен нулю.
13Конверсия в `control` 10%, в `treatment` 11%. Как корректно описать абсолютный и относительный `lift`?
AАбсолютный `lift` 10%, относительный 1 процентный пункт
BАбсолютный `lift` 1%, относительный 11%
CАбсолютный `lift` 11%, относительный 10%
DАбсолютный `lift` +1 процентный пункт, относительный `lift` +10%
Ответ: Абсолютный `lift` — разница в процентных пунктах, относительный `lift` — отношение разницы к базовой величине.
Абсолютная разница: 11% − 10% = 1 процентный пункт. Относительный `lift` считается относительно базы: (11% − 10%) / 10% = 10%. Эти два числа отвечают на разные вопросы и не должны путаться.
14Что в первую очередь даёт `randomization` в `A/B test`?
AСнижает систематические различия между группами и помогает оценить причинный эффект
BГарантирует идеально одинаковый состав групп по каждому признаку в любой выборке
CОбеспечивает, что каждый пользователь увидит и `control`, и `treatment`
DГарантирует, что `lift` всегда будет положительным
Ответ: `randomization` делает назначение варианта независимым от свойств пользователя и снижает смещения.
При случайном назначении вероятность попасть в `control` или `treatment` не зависит от поведения и характеристик пользователей. Это помогает сделать группы сопоставимыми и уменьшить влияние конфаундеров. Поэтому разница метрик между группами лучше интерпретируется как причинный эффект изменения.
15Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
AПотому что VIP-пользователи обычно менее активны и это всегда искажает метрику
BПотому что есть смещение отбора: VIP отличаются от остальных и рост мог быть их особенностью, а не эффектом изменения
CПотому что `A/B test` применим только к конверсии, а не к среднему чеку
DПотому что если метрика растёт, это всегда означает, что `H0` верна
Ответ: Без случайного распределения групп нельзя отделить эффект изменения от различий в аудитории.
Если новая функция показана только VIP, вы сравниваете не варианты продукта, а разные сегменты пользователей. VIP могут иметь другой чек и поведение даже без изменения, поэтому наблюдаемая разница не является причинной. `A/B test` с `randomization` помогает избежать такого смещения.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram