Основы A/B-тестирования: вопросы для собеседования (часть 8)
Основы A/B-тестирования — обязательный блок для любого аналитика в продуктовой компании. Что такое нулевая гипотеза, как определить размер выборки, когда можно останавливать тест — базовые вопросы, которые задают в первую очередь. Без понимания основ невозможно корректно интерпретировать результаты экспериментов.
Вопросы 36–40 из 40
36Вы провели A/B-тест и не смогли отвергнуть `H0`. Какая интерпретация наиболее корректна?
AЭто строгое доказательство, что эффекта нет и варианты полностью эквивалентны на всей популяции
BЭто означает, что тестовый вариант точно хуже контрольного на любой подвыборке пользователей
CЭто означает, что альтернативная гипотеза `H1` ложна во всех возможных условиях и сегментах
DЭто означает, что данных могло не хватить для обнаружения эффекта, и он всё ещё возможен
Ответ: Неотвержение `H0` не доказывает отсутствие эффекта, а лишь говорит, что данных недостаточно, чтобы показать отличие.
Результат «не отвергли `H0`» означает, что наблюдаемые данные совместимы с гипотезой отсутствия эффекта. Это может случиться, если реальный размер эффекта маленький или выборка недостаточна. Поэтому важно заранее определять ожидаемый эффект и интерпретировать результат вместе с практической значимостью.
Подробный разбор → 37Вы тестируете новый текст рассылки и измеряете конверсию в покупку за неделю. Что обычно лучше выбрать как единицу рандомизации, чтобы один и тот же пользователь не попадал в разные варианты?
AРандомизировать по просмотру страницы, чтобы получить максимум событий и не уменьшать выборку на старте теста
BРандомизировать по клику, чтобы видеть в группах только заинтересованных пользователей и сделать сравнение более чистым
CРандомизировать по пользователю или аккаунту, чтобы каждый пользователь видел только один вариант рассылки
DНе рандомизировать вообще: сравнить неделю с прошлой и считать разницу эффектом нового текста рассылки
Ответ: Единица рандомизации должна предотвращать попадание одного пользователя сразу в две группы и смешивание вариантов.
Если один пользователь увидит и контрольный, и тестовый вариант, эффект может размыться или стать неинтерпретируемым. Для недельной метрики покупки обычно важно закрепить вариант за пользователем или аккаунтом. Так вы снижаете контаминацию и лучше соблюдаете идею сравнения двух альтернативных опытов. Рандомизация по просмотрам или кликам не закрепляет вариант за человеком, а сравнение с прошлой неделей не контролирует сезонность и внешние факторы.
Подробный разбор → 38Что в контексте `A/B` теста означает контрфактический исход?
AСреднее значение метрики в обеих группах вместе, посчитанное после раскатки функции на всю аудиторию продукта целиком
BЛюбая корреляция между изменением и метрикой, наблюдаемая на исторических данных без проведения отдельного эксперимента
CИсход для тех же пользователей в мире, где они получили бы другой вариант (например, контроль вместо тестовой версии продукта)
DМетрика после запуска функции на всех пользователей, измеренная сразу же по итогу первой недели после раскатки
Ответ: Контрфактический исход — это результат, который нельзя наблюдать напрямую, но `A/B` тест приближает его через сравнение групп.
Для конкретного пользователя нельзя одновременно показать и контроль, и тестовую версию в одном и том же моменте, поэтому прямой контрфактический исход недоступен. Эксперимент создаёт две сопоставимые группы, чтобы среднее одной служило приближением того, что произошло бы с другой без изменения. Это основа причинного вывода в продуктовых экспериментах. Корреляция на истории или среднее по всем пользователям после раскатки контрфактическим исходом не являются.
Подробный разбор → 39A/B-тест показывает: общая конверсия контроля 5.0%, теста 4.5%. Но при разбивке по устройствам: мобильные — контроль 3.0%, тест 3.5%; десктоп — контроль 7.0%, тест 7.5%. Тест лучше в каждом сегменте, но хуже в сумме. Что произошло?
AЭто парадокс Симпсона: разное соотношение мобильных и десктопных пользователей в группах меняет общий результат
BТест содержит баг в логировании: события с мобильных устройств не записываются в тестовой группе
CРезультат по сегментам статистически незначим из-за маленьких подвыборок внутри каждого сегмента
DРандомизация нарушена: тестовая группа получила непропорционально много мобильных пользователей
Ответ: Парадокс Симпсона: тренд по сегментам может развернуться в агрегированных данных из-за разного веса сегментов.
Парадокс Симпсона возникает, когда в тестовой группе непропорционально больше пользователей из сегмента с низкой базовой конверсией (мобильные). Даже при улучшении в каждом сегменте взвешенная сумма оказывается ниже. Решение — анализировать с поправкой на состав: стратификация при рандомизации или пост-стратификация при анализе. SRM-тест также помог бы обнаружить перекос.
Подробный разбор → 40Сервис такси тестирует новый алгоритм ценообразования. Если часть водителей видит новые цены, а часть — старые, пассажиры будут переключаться между ними, а водители — менять районы работы. Какой дизайн эксперимента решит эту проблему?
AРандомизировать каждого водителя индивидуально и анализировать на уровне поездок за последний месяц
BРандомизировать по времени суток: утренние поездки — тест, вечерние — контроль
CРандомизировать по типу автомобиля: эконом — тест, комфорт — контроль, для чистоты сравнения
DРандомизировать по городам или районам, чтобы водители и пассажиры внутри кластера были в одной группе
Ответ: Кластерная рандомизация по географии предотвращает перетекание пользователей между тестовой и контрольной группами.
В двустороннем маркетплейсе (такси, доставка) индивидуальная рандомизация нарушает принцип SUTVA — стабильности эффекта. Водители и пассажиры взаимодействуют, создавая перетекание между группами. Кластерная рандомизация по географии (город, район) гарантирует, что все участники рынка в одном кластере видят одинаковые условия. Минус — нужно больше кластеров для статистической мощности.
Подробный разбор →