Компания тестирует новый дашборд для менеджеров по продажам. Тестовой группе сообщили, что они участвуют в эксперименте по повышению эффективности. Продажи в тестовой группе выросли на 12%. Что может искажать результат?
Основы A/B-тестирования — обязательный блок для любого аналитика в продуктовой компании. Что такое нулевая гипотеза, как определить размер выборки, когда можно останавливать тест — базовые вопросы, которые задают в первую очередь. Без понимания основ невозможно корректно интерпретировать результаты экспериментов.
Всего в этом разделе 40 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 8 частей по 5 вопросов.
1Команда запустила новый дизайн карточки товара в A/B-тесте. В первые три дня конверсия в тестовой группе на 15% выше, но к концу второй недели разница упала до 2%. Как грамотно учесть эффект новизны?
AПодождать две-три недели и сравнить метрики за период после привыкания с первой неделей
BЗафиксировать результат за первые два дня и принять решение на этих данных
CУвеличить выборку в три раза, чтобы эффект новизны не влиял на статистическую значимость
DПерезапустить тест с новыми пользователями, которые никогда не видели старый дизайн
Ответ: Эффект новизны — временный рост метрик из-за любопытства пользователей к новому интерфейсу.
Эффект новизны (novelty effect) возникает, когда пользователи активнее взаимодействуют с изменением просто потому, что оно новое. Через одну-две недели поведение стабилизируется. Грамотный подход — дождаться этой стабилизации и анализировать данные за устойчивый период. Принимать решение по первым дням опасно: эффект может полностью исчезнуть.
2Компания тестирует новый дашборд для менеджеров по продажам. Тестовой группе сообщили, что они участвуют в эксперименте по повышению эффективности. Продажи в тестовой группе выросли на 12%. Что может искажать результат?
AНовый дашборд действительно мотивирует менеджеров работать эффективнее на постоянной основе
BМенеджеры стали работать лучше, потому что знают об участии в эксперименте, а не из-за самого дашборда
CРост продаж объясняется сезонностью, совпавшей с периодом проведения эксперимента
DРазмер тестовой группы слишком мал, и результат статистически незначим для таких выводов
Ответ: Хоторнский эффект: люди меняют поведение, когда знают, что за ними наблюдают.
Хоторнский эффект (Hawthorne effect) — изменение поведения участников из-за осознания того, что они находятся под наблюдением. Менеджеры могли стараться сильнее не благодаря дашборду, а потому что знали об эксперименте. В идеале участники не должны знать о своём участии в тесте. Если это невозможно — контрольной группе тоже сообщают об «эксперименте» (плацебо-контроль).
3Перед запуском серии A/B-тестов команда решила провести AA-тест: разделить пользователей на две группы, но обеим показать одну и ту же версию продукта. Зачем это нужно?
AОпределить базовую конверсию продукта для расчёта размера выборки будущих тестов
BНайти сегменты пользователей, которые реагируют на изменения сильнее остальных
CПроверить корректность системы сплитования: при одинаковом воздействии метрики групп не должны отличаться
DОбучить модель машинного обучения на данных без изменений для последующего прогнозирования
Ответ: AA-тест проверяет, что система сплитования работает корректно и не вносит систематических различий между группами.
В AA-тесте обе группы получают одинаковое воздействие. Если метрики статистически значимо отличаются — значит, в системе рандомизации есть баг, данные собираются с ошибкой или есть систематическое смещение. Обнаружить такую проблему до запуска реального теста критически важно, иначе все результаты будут недостоверными.
4В A/B-тесте новой кнопки оплаты часть пользователей получает обновлённый интерфейс, а остальные — старый. Что в такой постановке принято называть группой `treatment`?
AГруппе показывают новое изменение продукта, эффект которого хотим измерить.
BГруппе показывают старую версию продукта для сравнения с новой.
CГруппе намеренно занижают размер выборки, чтобы снизить риск релиза.
DГруппе перестают записывать метрику, чтобы исключить шум из сравнения.
Ответ: `treatment` — это группа, которой показывают тестируемое изменение, и именно её сравнивают с `control` для оценки эффекта.
В терминологии экспериментов `control` получает текущий опыт, а `treatment` — новую версию или новое правило. Сравнение метрик между ними и даёт оценку эффекта изменения. Группа со старой версией — это `control`, а не `treatment`. Намеренное занижение размера выборки или отказ от измерения метрики не определяют сути группы и просто ломают статистику теста.
5Вы тестируете новый текст кнопки оплаты. Что должно быть верно для корректного сравнения контрольной и тестовой группы?
AВ тестовой группе разрешено одновременно поменять и текст кнопки оплаты, и её цвет для надёжности результата
BКонтрольная и тестовая группы должны совпадать во всём, кроме одного тестируемого изменения интерфейса
CГруппы должны заметно отличаться составом пользователей, чтобы эффект изменения был лучше виден на метриках
DВ контрольной группе метрику можно не измерять: достаточно собирать данные только в тестовой группе после релиза
Ответ: В корректном эксперименте контрольная и тестовая группы должны отличаться только тестируемым фактором.
Если вместе с текстом поменять ещё что-то, станет непонятно, что именно вызвало разницу в метриках. Поэтому в контрольной группе оставляют текущий опыт, а в тестовой вводят ровно одно изменение. Состав пользователей, наоборот, должен быть как можно более похожим — это обеспечивает рандомизация. И метрику нужно считать в обеих группах, иначе сравнивать будет не с чем.