Основы A/B-тестирования: вопросы для собеседования (часть 7)
Основы A/B-тестирования — обязательный блок для любого аналитика в продуктовой компании. Что такое нулевая гипотеза, как определить размер выборки, когда можно останавливать тест — базовые вопросы, которые задают в первую очередь. Без понимания основ невозможно корректно интерпретировать результаты экспериментов.
Вопросы 31–35 из 40
31Компания провела A/B-тест бесплатной доставки на российском рынке: конверсия выросла на 15%. Продакт хочет раскатить это на все страны без дополнительных тестов. Корректен ли такой подход?
AНет, потому что размер выборки должен быть не менее миллиона пользователей для международных выводов
BДа, рандомизация гарантирует, что результаты применимы к любой аудитории в любой стране
CДа, если конверсия статистически значима, результат автоматически распространяется на все рынки
DНет, потому что поведение пользователей зависит от культуры, уровня цен и конкурентной среды на рынке
Ответ: Внешняя валидность — применимость результатов за пределами конкретного эксперимента.
Результат A/B-теста внутренне валиден (эффект реален для данной аудитории), но его нельзя автоматически переносить на другие условия. Бесплатная доставка в России, где средний чек и стоимость логистики одни, может не работать в стране с другой структурой расходов. Культурные различия, конкуренция, привычки — всё влияет. Для каждого нового рынка нужен отдельный тест или как минимум проверка на подвыборке.
Подробный разбор → 32Вы заранее формулируете `H1` как рост конверсии в тестовой группе по сравнению с контрольной. Какая `H0` соответствует односторонней проверке?
A`H0`: конверсии в группах различаются в любую сторону без указания направления эффекта
B`H0`: конверсия в тестовой группе не выше конверсии в контрольной группе по итогам эксперимента
C`H0`: конверсия в тестовой группе строго выше конверсии в контрольной группе по итогам эксперимента
D`H0`: рандомизация распределяет пользователей между тестом и контролем ровно в пропорции 50/50
Ответ: При односторонней проверке `H0` обычно утверждает, что улучшения нет: эффект нулевой или отрицательный.
Если `H1` говорит про рост метрики, то нулевая гипотеза должна покрывать все случаи без улучшения: и отсутствие разницы, и ухудшение. Поэтому `H0` формулируют как «метрика в тесте не выше, чем в контроле». Это фиксирует направление проверки и помогает корректно трактовать результат `p-value`. Двусторонняя формулировка, обратное направление или утверждение про распределение 50/50 — это другие гипотезы и не соответствуют односторонней проверке роста.
Подробный разбор → 33Тест запущен в понедельник и к пятнице набрал нужный размер выборки. Конверсия теста на 8% выше контроля, p-value = 0.01. Аналитик предлагает продлить тест до следующего понедельника. Зачем?
AНужный размер выборки набран, поэтому тест можно остановить и зафиксировать результат
BПяти дней достаточно для любого теста, потому что конверсия стабилизируется после первых 48 часов
CТест нужно продлить минимум до полного бизнес-цикла, потому что поведение в будни и выходные различается
DНужно перезапустить тест, потому что данные за пять рабочих дней содержат систематическую ошибку
Ответ: Тест должен охватывать минимум один полный бизнес-цикл, потому что поведение пользователей различается по дням недели.
Покупательское поведение в будни и выходные может сильно отличаться: разный трафик, разная конверсия, разная аудитория. Если тест длился только рабочие дни, результат не учитывает выходных. Эффект, значимый в будни, может исчезнуть в выходные — или наоборот. Минимальная длительность теста — один полный недельный цикл, а для продуктов с месячной периодичностью — один месяц.
Подробный разбор → 34В эксперименте часть пользователей увидела и контрольный, и тестовый вариант (например, на разных устройствах). Какое последствие наиболее вероятно?
AЭффект интерпретируется сложнее, оценка размывается из-за смешивания опыта между вариантами
BНаоборот, эксперимент становится точнее: один пользователь сравнивает оба варианта сразу
CЭто значит, что рандомизация прошла идеально и результатам теста можно доверять
DЭто означает, что нулевая гипотеза верна и наблюдаемая разница объясняется случайностью
Ответ: Если пользователи получают оба варианта, нарушается чистота сравнения контроля и теста и падает интерпретируемость эффекта.
Смешивание вариантов у одного пользователя создаёт контаминацию: опыт перестаёт быть строго разделён на две альтернативы. Это может уменьшить наблюдаемый размер эффекта или даже изменить его направление. Поэтому обычно закрепляют вариант за пользователем и следят за тем, чтобы показы были консистентны между устройствами. Утверждения «так точнее», «рандомизация идеальна» и «значит, нулевая верна» — типичные ошибки.
Подробный разбор → 35Что рандомизация НЕ гарантирует в конкретном запуске A/B-теста?
AНазначение варианта, не зависящее от поведения пользователя и его прошлых действий в продукте до старта эксперимента
BИдеально одинаковые доли по каждому признаку (например, страна, устройство) в каждой группе в любом конкретном запуске
CВозможность оценивать причинный эффект через сравнение групп при достаточно большой выборке и аккуратной интерпретации
DОтсутствие систематического смещения в назначении контрольной и тестовой групп при долгосрочном повторении экспериментов
Ответ: Рандомизация не обещает идеального баланса по всем признакам в каждом конкретном эксперименте.
Случайное распределение делает группы сопоставимыми в среднем, но в отдельном запуске возможны небольшие перекосы по признакам из-за случайности. Это нормально и часто уменьшается при росте выборки. Важно проводить проверки согласованности групп, но не пытаться «ручным образом» исправлять рандомизацию постфактум через выбрасывание пользователей.
Подробный разбор →