В A/A-тесте вы заметили значимое отличие по инвариантным метрикам — например, по числу пользователей в эксперименте или по распределению платформ. Что это чаще всего означает?
SRM (Sample Ratio Mismatch) — один из главных диагностических инструментов: если группы разъехались по размеру, результатам эксперимента нельзя доверять. На собеседовании спрашивают, как обнаружить SRM, какие причины за ним стоят и как безопасно раскатывать изменения после успешного теста.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1Команда готовит крупный A/B-эксперимент и хочет сначала запустить A/A-тест. Какова главная цель A/A-теста?
AПроверить, что разбиение трафика, сбор метрик и пайплайн анализа не создают ложных различий между одинаковыми вариантами
BЗаранее оценить эффект будущей фичи на основной метрике и сократить требуемый размер выборки на основном A/B-тесте
CПроверить устойчивость метрики к разным определениям активного пользователя по числу сессий и продолжительности окна
DСэкономить трафик на основном тесте за счёт переиспользования наблюдений из подготовительной фазы при анализе
Ответ: A/A-тест используют, чтобы проверить корректность рандомизации, сбора событий и расчёта метрик до запуска настоящего A/B.
В A/A-тесте оба варианта логически одинаковые, поэтому существенных различий в метриках быть не должно. Если различия появляются, это часто указывает на проблемы с разбиением трафика, сегментацией или подсчётом метрик. Такой тест помогает поймать ошибки до запуска настоящего A/B, где иначе можно принять баг за реальный эффект. Утверждения про «выбрать победителя без статистики» или «уменьшить дисбаланс выборок третьим вариантом» — типичные ошибки в постановке.
2Запустили `A/B`-тест с планом 50/50, а в логах видим 53/47 при миллионе пользователей. Что описывает термин `SRM` (Sample Ratio Mismatch) применительно к этой ситуации?
AСитуация, когда средние значения метрик в вариантах отличаются сильнее ожидаемого по тесту
BОтклонение фактических долей трафика по вариантам от ожидаемого распределения при разбивке
CСезонный эффект, который делает результаты эксперимента нерепрезентативными для всей аудитории
DСлучай, когда `p-value` слишком маленький из-за очень большой выборки и незначимого эффекта
Ответ: `SRM` означает, что фактические доли пользователей в вариантах отличаются от запланированных.
Обычно в эксперименте ожидают распределение вроде 50/50 или 90/10, но фактически получают другое. Это может быть из-за ошибок в раздаче вариантов, фильтров, сбоев трекинга или особенностей доставки фичи. `SRM` опасен тем, что группы становятся несопоставимыми и выводы по эффекту перестают быть надёжными. Поэтому проверка `SRM` (например, через `chi-square`) — стандартная страховочная процедура перед чтением результатов теста.
3Команда смотрит результаты каждый день и останавливает эксперимент, как только видит p-value < 0.05. Какой основной риск такого подхода?
AРиск `SRM` (Sample Ratio Mismatch) автоматически возрастает с каждым просмотром дашборда
BУвеличивается вероятность ложноположительных выводов из-за множественных проверок без правил остановки
CНевозможно посчитать среднее значение метрики без полного месяца данных
DЭксперимент всегда покажет нулевой эффект, если проверять часто
Ответ: Частые проверки и остановка «как только стало значимо» (optional stopping) увеличивают риск ложноположительных выводов без корректного sequential-дизайна.
Если останавливать тест при первом «красивом» p-value, вы фактически делаете много попыток найти значимость. Это ведёт к завышенной доле ложноположительных результатов и нестабильным решениям. Лучше заранее определить длительность, критерии остановки или использовать корректные последовательные методы.
4Почему `SRM` (расхождение долей трафика по группам) опасен, даже если целевая метрика выглядит хорошей?
A`SRM` влияет только на оформление графиков мониторинга и не затрагивает статистику, поэтому выводы по эксперименту остаются корректными
BПри обнаружении `SRM` достаточно пересчитать `p-value` с поправкой на наблюдаемое разбиение, и проблема исчезнет без дальнейшей диагностики причин
C`SRM` всегда означает, что в эксперименте по факту выиграл вариант B, и это просто способ зафиксировать наблюдаемое смещение результата
D`SRM` может означать несопоставимые группы и смещение оценки эффекта, поэтому выводы по эксперименту становятся ненадёжными до устранения причины
Ответ: `SRM` нарушает предпосылку корректного сравнения групп и может смещать оценку эффекта эксперимента.
Если фактические доли трафика по группам не соответствуют ожидаемому разбиению, это часто значит, что в эксперимент попали разные типы пользователей или часть трафика пропала. Тогда даже «красивый» эффект может быть артефактом. Поэтому при обнаружении `SRM` обычно сначала чинят причину и только потом доверяют результатам.
5В первые сутки эксперимента метрика выросла на 12%, но через 3 дня рост исчез и эффект стал около 0. Какое объяснение наиболее вероятно и что делать дальше?
AРост в первый день уже надёжный сигнал успеха: стоит сразу выкатывать вариант на 100% без проверки устойчивости эффекта
BЭто явный признак SRM (несбалансированный сплит): нужно пересчитать тест, исключить группу A и считать заново
CЭксперимент сломался: данные после первого дня нужно выбросить и не учитывать в итоговой оценке выкатки
DЭто похоже на эффект новизны: смотреть результаты на длинном горизонте и проверять устойчивость по когортам
Ответ: Краткосрочный всплеск может быть из-за эффекта новизны и календарных факторов, поэтому важно проверять устойчивость эффекта на длинном горизонте.
Пользователи могут активно взаимодействовать с новой фичей из любопытства, но затем возвращаются к прежнему поведению. Поэтому важно смотреть не только быстрый рост, но и устойчивость эффекта на неделе или дольше, а также разрезы по новым и старым пользователям. Если долгосрочного эффекта нет, выкатка может не принести реальной пользы. SRM здесь почти ни при чём — это про несбалансированный сплит трафика, а не про затухание эффекта во времени.