Вопросы по теме «Основы A/B-тестирования»
Основы A/B-тестирования — обязательный блок для любого аналитика в продуктовой компании. Что такое нулевая гипотеза, как определить размер выборки, когда можно останавливать тест — базовые вопросы, которые задают в первую очередь. Без понимания основ невозможно корректно интерпретировать результаты экспериментов.
Всего в этом разделе 40 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 8 частей по 5 вопросов.
Вопросы 1–5 из 40
1Команда запустила новый дизайн карточки товара в A/B-тесте. В первые три дня конверсия в тестовой группе на 15% выше, но к концу второй недели разница упала до 2%. Как грамотно учесть эффект новизны?
AПодождать две-три недели и сравнить метрики за период после привыкания с первой неделей
BЗафиксировать результат за первые два дня и принять решение на этих данных
CУвеличить выборку в три раза, чтобы эффект новизны не влиял на статистическую значимость
DПерезапустить тест с новыми пользователями, которые никогда не видели старый дизайн
Ответ: Эффект новизны — временный рост метрик из-за любопытства пользователей к новому интерфейсу.
Эффект новизны (novelty effect) возникает, когда пользователи активнее взаимодействуют с изменением просто потому, что оно новое. Через одну-две недели поведение стабилизируется. Грамотный подход — дождаться этой стабилизации и анализировать данные за устойчивый период. Принимать решение по первым дням опасно: эффект может полностью исчезнуть.
2Компания тестирует новый дашборд для менеджеров по продажам. Тестовой группе сообщили, что они участвуют в эксперименте по повышению эффективности. Продажи в тестовой группе выросли на 12%. Что может искажать результат?
AНовый дашборд действительно мотивирует менеджеров работать эффективнее на постоянной основе
BМенеджеры стали работать лучше, потому что знают об участии в эксперименте, а не из-за самого дашборда
CРост продаж объясняется сезонностью, совпавшей с периодом проведения эксперимента
DРазмер тестовой группы слишком мал, и результат статистически незначим для таких выводов
Ответ: Хоторнский эффект: люди меняют поведение, когда знают, что за ними наблюдают.
Хоторнский эффект (Hawthorne effect) — изменение поведения участников из-за осознания того, что они находятся под наблюдением. Менеджеры могли стараться сильнее не благодаря дашборду, а потому что знали об эксперименте. В идеале участники не должны знать о своём участии в тесте. Если это невозможно — контрольной группе тоже сообщают об «эксперименте» (плацебо-контроль).
3Перед запуском серии A/B-тестов команда решила провести AA-тест: разделить пользователей на две группы, но обеим показать одну и ту же версию продукта. Зачем это нужно?
AОпределить базовую конверсию продукта для расчёта размера выборки будущих тестов
BНайти сегменты пользователей, которые реагируют на изменения сильнее остальных
CПроверить корректность системы сплитования: при одинаковом воздействии метрики групп не должны отличаться
DОбучить модель машинного обучения на данных без изменений для последующего прогнозирования
Ответ: AA-тест проверяет, что система сплитования работает корректно и не вносит систематических различий между группами.
В AA-тесте обе группы получают одинаковое воздействие. Если метрики статистически значимо отличаются — значит, в системе рандомизации есть баг, данные собираются с ошибкой или есть систематическое смещение. Обнаружить такую проблему до запуска реального теста критически важно, иначе все результаты будут недостоверными.
4Как обычно определяют группу `treatment` в `A/B test`?
AЭто группа с меньшим размером выборки, чтобы снизить риски
BЭто группа, где показывают старую версию, чтобы сравнить с новой
CЭто группа, где показывают новое изменение, которое тестируют
DЭто группа, где метрика не измеряется, чтобы не было шума
Ответ: `treatment` — это вариант, в который внесли тестируемое изменение.
В типичном эксперименте `control` получает текущий опыт, а `treatment` — новую версию или новое правило. Так легче трактовать разницу в метриках как эффект внедрения изменения. Если перепутать определения, можно неверно интерпретировать знак и величину эффекта.
5Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения `control` и `treatment`?
AВ `treatment` можно одновременно поменять текст и цвет кнопки, так результат будет надёжнее
BВ `control` и `treatment` всё одинаково, кроме тестируемого изменения
CГруппы должны отличаться составом пользователей, чтобы эффект был заметнее
DВ `control` нельзя измерять метрику, измерять нужно только в `treatment`
Ответ: В хорошем эксперименте `control` и `treatment` должны отличаться только тестируемым фактором.
Если вместе с текстом поменять ещё что-то, станет непонятно, что именно вызвало разницу в метриках. Поэтому в `control` оставляют текущий опыт, а в `treatment` вводят ровно одно изменение. Так проще связать наблюдаемую разницу с конкретной причиной.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram