A/B тестирование: вопросы на собеседовании аналитика

Что спрашивают по A/B-тестированию

A/B-тестирование — ключевой блок для продуктовых аналитиков. Компании, которые принимают решения на данных, хотят видеть, что кандидат понимает не только «зелёная кнопка vs красная», а полный цикл эксперимента.

Основные темы вопросов:

Базовый уровень:

• Что такое A/B-тест и зачем он нужен
• Нулевая и альтернативная гипотезы
• Ошибки I и II рода (alpha, beta)
• Статистическая значимость и p-value
• Размер выборки: зачем считать заранее

Средний уровень:

• AA-тест и его назначение
• Метрики: основные, guardrail, proxy
• Длительность эксперимента
• Множественное тестирование (поправка Бонферрони)
• Ratio-метрики и их дисперсия

Продвинутый уровень:

• CUPED и снижение дисперсии
• Стратификация и бакетирование
• Network effects и проблема интерференции
• Sequential testing
• Байесовский подход vs фреквентистский

Почему A/B-тесты — сложная тема

Проблема не в математике, а в понимании «зачем». Многие кандидаты могут посчитать p-value, но не могут ответить:

• Почему нельзя остановить тест, когда p < 0.05?
• Зачем нужен AA-тест, если рандомизация «и так случайная»?
• Что делать, если метрика улучшилась, но guardrail просел?
• Почему нельзя просто взять побольше выборку и не считать power?

Именно эти вопросы отличают кандидата, который «читал статью», от того, кто понимает тему.

Примеры вопросов

1. Зачем нужен AA-тест? Проверить корректность рандомизации и системы подсчёта. Если в AA-тесте видна разница — проблема в инфраструктуре, а не в продукте.

2. Ошибка I рода — это… Отклонить нулевую гипотезу, когда она верна. Проще: увидеть эффект там, где его нет.

3. Что делает CUPED? Уменьшает дисперсию метрики с помощью ковариаты (обычно — значение метрики до эксперимента). Меньше дисперсия → быстрее детектируем эффект → короче эксперимент.

4. Можно ли останавливать тест раньше, если p-value уже маленький? Нет — при фреквентистском подходе ранняя остановка завышает false positive rate. Нужен sequential testing или заранее определённый sample size.

5. Что такое MDE (Minimum Detectable Effect)? Минимальный размер эффекта, который тест способен обнаружить с заданной мощностью. Если реальный эффект меньше MDE — тест его не увидит.

6. Как Network effects влияют на A/B-тест? Нарушают предположение о независимости: действия пользователя из тестовой группы влияют на контрольную. Пример: маркетплейс, соцсети.

В Карьернике 200+ вопросов по A/B-тестированию — от базовых определений до CUPED и sequential testing.

Другие темы

• Подготовка к собеседованию аналитика данных
• Вопросы по SQL на собеседовании
• Вопросы по Python на собеседовании
• Продуктовая аналитика: собеседование
• Статистика и вероятности
• Задачи на логику для аналитика

Как готовиться

1. Начните с основ — убедитесь, что чётко понимаете ошибки I и II рода, p-value и power. Без этого остальное не ложится.

2. Разберите полный цикл — от формулировки гипотезы до принятия решения. На собеседовании часто просят описать весь процесс.

3. Учите «зачем», а не «как» — формулы можно загуглить, а объяснить смысл AA-теста или CUPED нужно своими словами.

4. Знайте ловушки — peeking problem, множественное тестирование, Simpson's paradox. Интервьюеры любят проверять на краевых случаях.

FAQ

Спрашивают ли A/B-тесты на junior-позициях?

На junior-позициях обычно спрашивают базу: что такое A/B-тест, ошибки I и II рода, что такое p-value. CUPED и sequential testing — это middle/senior.

Что важнее на собеседовании — теория или опыт проведения?

Опыт, но теория — фундамент. Если проводили тесты — расскажите кейс. Если нет — покажите, что понимаете процесс и подводные камни. Именно для этого нужна практика на вопросах.

Нужно ли знать формулы наизусть?

Нет. Нужно понимать, что за ними стоит. Например: «мощность теста зависит от размера выборки, дисперсии метрики и размера эффекта» — это важнее, чем формула power.