A/B-тесты в продуктовой аналитике: вопросы для собеседования (часть 2)
Как выбрать метрику для эксперимента, интерпретировать результаты и принять решение о раскатке — продуктовый взгляд на A/B-тесты. На собеседовании дают кейс: «тест показал рост кликов, но падение retention — что делать?» Здесь важна не статистика, а продуктовое мышление и умение балансировать метрики.
Вопросы 6–10 из 20
6Вы тестируете новую страницу товара; цель — увеличить покупки. Какая метрика наиболее логична как основная метрика для решения о запуске?
AСреднее время на странице товара в секундах среди пользователей, увидевших страницу хотя бы один раз за период
BКоличество скроллов на странице товара в среднем на сессию среди пользователей, открывших страницу за период
CКонверсия в покупку среди пользователей, увидевших страницу товара хотя бы один раз за период
DКоличество просмотренных изображений товара в среднем на сессию среди пользователей, открывших страницу за период
Ответ: Основная метрика должна напрямую отражать цель эксперимента, а не промежуточные действия.
Если продуктовая цель — покупки, то решающая метрика должна измерять именно покупку или шаг, максимально близкий к ней. Время на странице и скроллы могут быть полезными диагностическими показателями, но они легко растут из-за фрикции. Поэтому их уместнее держать как дополнительные, а конверсию в покупку — как основную метрику.
Подробный разбор → 7Что в A/B-тесте обычно означает разделение на контрольную и тестовую группы?
AКонтроль: базовый опыт без изменения; тест: вариант с изменением; распределение пользователей случайное
BКонтроль: пользователи прошлого месяца; тест: пользователи текущего месяца с включённой версией
CКонтроль: пользователи одного города или региона; тест: пользователи другого города или региона
DТестовая группа получает больше трафика, чем контроль, для ускорения статистической значимости
Ответ: Контроль и тест — это два варианта опыта, которые сравнивают при случайном распределении пользователей.
В контрольной группе пользователи видят текущую версию продукта, а в тестовой — экспериментальное изменение. Ключевой принцип — рандомизация, чтобы группы были сопоставимы по составу. Сравнение разных месяцев или городов без рандомизации легко смешивает эффект фичи с внешними факторами, например с сезонностью.
Подробный разбор → 8Какая формулировка лучше всего соответствует проверяемой гипотезе для A/B-теста?
AЕсли сделать новый дизайн чекаута удобнее, основная метрика `purchase_conversion` не изменится, а лояльность пользователей вырастет за счёт привлекательного интерфейса
BЕсли внедрить редизайн чекаута, выручка вырастет в любом случае, ведь похожие изменения у конкурентов уже доказали эффективность подобного подхода
CЕсли изменить визуал чекаута, основная метрика `purchase_conversion` и защитная метрика `refund_rate` улучшатся одновременно благодаря лучшему восприятию страницы
DЕсли добавить подсказку с итоговой стоимостью доставки на чекауте, основная метрика `purchase_conversion` вырастет, а защитная метрика `refund_rate` не ухудшится
Ответ: Хорошая гипотеза связывает изменение с ожидаемым эффектом и явно называет основную и защитную метрики.
Проверяемая гипотеза должна содержать: что меняем, для кого, какой ожидаем эффект и как именно его измеряем. Вариант с `purchase_conversion` и `refund_rate` задаёт и критерий успеха, и ограничение риска. Остальные варианты слишком расплывчаты: «удобнее», «увеличим выручку» и «улучшит все метрики» не фиксируют ни изменение, ни метрику, ни ожидаемый результат, и легко приводят к спорной интерпретации итогов теста.
Подробный разбор → 9Вы смотрите результаты `A/B`-теста каждый день и останавливаете эксперимент, как только основная метрика стала «значимо лучше». Какой риск вы повышаете в первую очередь?
AРиск нарушения соотношения групп `SRM`, потому что частый просмотр результатов меняет фактический сплит между вариантами
BРиск сезонности, потому что значимость основной метрики сильно зависит от того, в какой день недели вы смотрите результаты эксперимента
CРиск утечки воздействия из тестовой группы в контрольную, потому что регулярный просмотр данных делает разделение групп менее чистым
DРиск ложноположительного вывода из-за подглядывания и остановки эксперимента на случайном пике основной метрики
Ответ: Подглядывание часто приводит к остановке на шуме и повышает шанс принять случайность за реальный эффект.
Если многократно смотреть на метрику и принимать решение по первому удачному моменту, вероятность ошибочно «найти победителя» растёт. Это не обязательно связано с нарушением соотношения групп или сезонностью, а именно с процедурой принятия решения. Чтобы снизить риск, заранее фиксируют правило остановки или используют корректный последовательный подход к остановке.
Подробный разбор → 10Какую проверку разумно сделать до обсуждения эффекта по основной метрике, чтобы быстрее поймать проблемы качества данных и `SRM`?
AПроверить только финальную метрику и игнорировать всё остальное, чтобы не тратить время на лишние шаги и быстрее принять решение по эксперименту
BСразу удалить пользователей с редкими событиями и нестандартным поведением, чтобы основная метрика стала стабильнее и шум в данных уменьшился
CПроверить баланс групп и базовые инварианты (размеры тестовой и контрольной групп, платформы, страны) и убедиться, что нет `SRM`
DСмешать тестовую и контрольную группы в одну выборку и пересчитать основную метрику, чтобы быстрее увидеть финальный эффект эксперимента
Ответ: Проверки адекватности и поиск `SRM` помогают убедиться, что сравнение тестовой и контрольной групп корректно ещё до интерпретации эффекта.
Даже хороший эксперимент может быть испорчен ошибкой назначения, фильтрами или логированием. Проверка размеров групп и базового состава по сегментам помогает заметить `SRM` и перекосы. Если такие проблемы есть, обсуждать эффект по основной метрике бессмысленно, пока не восстановлена валидность данных.
Подробный разбор → Другие темы: Продуктовая аналитика