Основы A/B-тестирования: вопросы для собеседования (часть 3)
Основы A/B-тестирования — обязательный блок для любого аналитика в продуктовой компании. Что такое нулевая гипотеза, как определить размер выборки, когда можно останавливать тест — базовые вопросы, которые задают в первую очередь. Без понимания основ невозможно корректно интерпретировать результаты экспериментов.
Вопросы 11–15 из 40
11После редизайна главной страницы конверсия выросла по сравнению с прошлой неделей. Почему без A/B теста нельзя уверенно сказать, что рост вызван именно редизайном?
AПотому что любые изменения интерфейса всегда улучшают метрики, и поэтому формальный тест не нужен для принятия решения
BПотому что без рандомизации мы не знаем контрфактический сценарий, и рост мог быть из-за внешних факторов вроде сезона или маркетинга
CПотому что сравнение с прошлой неделей автоматически доказывает причинность роста и снимает вопрос о влиянии посторонних эффектов
DПотому что A/B тест измеряет только корреляции между группами, а не причинный эффект изменения интерфейса на конверсию
Ответ: A/B тест нужен, чтобы оценить причинный эффект через сравнение контрольной и тестовой групп при рандомизации.
Рост метрики после релиза может совпасть по времени с сезоном, маркетинговой кампанией или изменением аудитории. Без рандомизации нельзя корректно оценить контрфактический сценарий — что было бы, если бы редизайн не показывали. В A/B тесте группы формируются случайно, поэтому разница метрик лучше отражает причинный эффект изменения. Варианты про «всегда улучшают» и «доказывает причинность» опираются на неверные допущения.
Подробный разбор → 12Какая пара гипотез корректна для двустороннего A/B-теста, где метрика — конверсия?
A`H0`: конверсия в тестовой группе равна конверсии в контрольной, `H1`: конверсии в тестовой и контрольной различаются
B`H0`: конверсия в тестовой группе выше контрольной, `H1`: конверсия в обеих группах одинакова при двустороннем тесте
C`H0`: конверсия в тестовой группе всегда ниже контрольной, `H1`: конверсия в тестовой всегда строго выше контрольной
D`H0`: конверсия выросла на 10% относительно базы, `H1`: конверсия выросла ровно на 5% относительно той же базы
Ответ: Обычно `H0` формулируют как отсутствие эффекта, а `H1` — как наличие отличий.
В двустороннем тесте нас интересует любое изменение метрики, а не только рост или падение. Поэтому стандартно `H0` — равенство метрик в контрольной и тестовой группах. Альтернатива `H1` — метрики различаются, то есть эффект не равен нулю. Формулировки про «всегда выше» или конкретные численные эффекты не описывают пару гипотез корректно.
Подробный разбор → 13Конверсия в контрольной группе 10%, в тестовой 11%. Как корректно описать абсолютный и относительный прирост?
AАбсолютный прирост 10 процентных пунктов, относительный прирост 1 процент
BАбсолютный прирост 1 процент, относительный прирост 11 процентов
CАбсолютный прирост 11 процентных пунктов, относительный прирост 10 процентов
DАбсолютный прирост +1 процентный пункт, относительный прирост +10 процентов
Ответ: Абсолютный прирост — разница в процентных пунктах, относительный — отношение разницы к базовой величине.
Абсолютная разница: 11% − 10% = 1 процентный пункт. Относительный прирост считается относительно базы: (11% − 10%) / 10% = 10%. Эти два числа отвечают на разные вопросы и не должны путаться: первое описывает разницу в долях, второе — во сколько раз стало больше.
Подробный разбор → 14Что в первую очередь даёт рандомизация в A/B-тесте?
AСнижает систематические различия между группами и помогает интерпретировать разницу метрик как причинный эффект изменения
BГарантирует идеально одинаковый состав групп по каждому признаку в любой выборке, независимо от её размера и сегментов
CОбеспечивает, что каждый пользователь обязательно увидит и контрольный, и тестовый варианты в течение жизни эксперимента
DГарантирует, что относительный прирост метрики в тестовой группе всегда будет положительным, если рандомизация выполнена корректно
Ответ: Рандомизация делает назначение варианта независимым от свойств пользователя и поддерживает причинную интерпретацию.
При случайном назначении вероятность попасть в контрольную или тестовую группу не зависит от поведения и характеристик пользователей. Это делает группы сопоставимыми и уменьшает влияние конфаундеров. Поэтому разница метрик между группами лучше интерпретируется как причинный эффект изменения. Идеального совпадения признаков рандомизация не обещает, пользователи в одном тесте обычно видят только один вариант, а знак прироста метрики не гарантирован.
Подробный разбор → 15Вы включили новую функцию сначала только VIP-пользователям, и средний чек вырос. Почему это не доказывает, что функция увеличила чек?
AПотому что VIP обычно менее активны и любое сравнение их со всеми остальными неизбежно искажает значение целевой метрики
BПотому что есть смещение отбора: VIP отличаются от остальных, и рост мог быть их особенностью, а не эффектом изменения продукта
CПотому что A/B-тест применим только к показателям конверсии и не подходит для среднего чека или метрик выручки на пользователя
DПотому что если метрика растёт после запуска, это всегда означает, что нулевая гипотеза верна и наблюдаемая разница случайна
Ответ: Без случайного распределения групп нельзя отделить эффект изменения от различий между сегментами аудитории.
Если новая функция показана только VIP, вы сравниваете не варианты продукта, а разные сегменты пользователей. VIP могут иметь другой чек и поведение даже без изменения, поэтому наблюдаемая разница не является причинной. A/B-тест с рандомизацией помогает избежать такого смещения, потому что назначение варианта не зависит от свойств пользователя. Утверждения «VIP менее активны», «A/B-тест не подходит для среднего чека» или «рост означает верность нулевой гипотезы» — неверны и не объясняют, почему наблюдение нельзя интерпретировать как эффект.
Подробный разбор →