Размер выборки и мощность теста: вопросы для собеседования (часть 3)
Расчёт размера выборки, MDE, мощность теста, ошибка второго рода — без этого нельзя корректно спланировать эксперимент. Сколько дней держать тест? Хватит ли трафика для обнаружения эффекта в 2%? На собеседовании эти вопросы задают почти всегда, и от кандидата ждут конкретных формул и рассуждений.
Вопросы 11–15 из 20
11Вы хотите сравнить три варианта `A/B/C` вместо классического `A/B` при том же общем трафике и тех же `alpha`, мощности и `MDE` на каждое сравнение. Что будет с длительностью теста для набора нужного размера выборки в каждой группе?
AДлительность теста сократится, потому что больше вариантов ускоряют сбор данных и набор статистической мощности на каждое сравнение
BДлительность теста не изменится, потому что общий поток трафика остаётся прежним и в сумме мы видим столько же пользователей за период
CДлительность теста вырастет, потому что трафик делится на 3 группы и нужный размер выборки в каждой набирается медленнее, чем при двух группах
DДлительность теста станет меньше, потому что уровень значимости `alpha` автоматически делится на 3 при увеличении числа вариантов в тесте
Ответ: При трёх вариантах трафик на группу меньше, поэтому для того же размера выборки обычно нужна большая длительность теста.
Если общий поток пользователей фиксирован, то при трёх группах каждая получает около одной трети трафика вместо половины. Чтобы набрать тот же размер выборки на группу, потребуется больше времени. Дополнительно множественные сравнения могут потребовать контроля `alpha` на уровне набора гипотез — но сам по себе этот контроль длительность не сокращает. Идея, что больше вариантов ускоряют тест или что `alpha` сама делится на 3 в нашу пользу, — частые ошибки.
Подробный разбор → 12Какой принцип наиболее здравый при выборе `MDE` перед запуском эксперимента?
AСтавить `MDE` как можно меньше, чтобы тест точно поймал любые мелкие изменения метрики на доступном трафике
BЗапустить тест на полный трафик и подобрать `MDE` постфактум по той разнице, которую покажут промежуточные результаты
CВыбирать `MDE` как минимально значимый для бизнеса эффект и проверять реалистичность размера выборки и длительности
DСтавить `MDE` равным нулю, чтобы тест не пропустил ни одного эффекта даже на короткой выборке и узком окне
Ответ: Практичный `MDE` — это минимально важный для бизнеса эффект, который можно реально поймать с приемлемыми размером выборки и длительностью теста.
Слишком маленький `MDE` может сделать эксперимент непрактичным: потребуется огромный размер выборки и очень длинная длительность теста. Слишком большой `MDE` рискует пропустить важные улучшения. Поэтому обычно выбирают бизнес-значимый порог и сверяют его с доступным трафиком и целевой мощностью.
Подробный разбор → 13Эксперимент по всей аудитории рассчитан на длительность 14 дней при заданных уровне значимости, мощности и `MDE`. Продакт хочет сделать столь же надёжный вывод по сегменту, который составляет 20% трафика. Что ожидаемо произойдёт с нужной длительностью для этого сегмента?
AОстанется около 14 дней: размер сегмента не влияет на скорость набора выборки внутри сегмента
BСократится примерно в 2 раза за счёт большей однородности поведения внутри сегмента и меньшей дисперсии
CУвеличится примерно в 5 раз: сегмент составляет 20% трафика и набирает наблюдения в 5 раз медленнее
DУвеличится примерно в 10 раз из-за более высокой дисперсии и пропорционального снижения `MDE` в сегменте
Ответ: При анализе сегмента с меньшей долей трафика падает скорость набора выборки, поэтому нужная длительность увеличивается обратно пропорционально доле.
Если сегмент — 20% трафика, то при прочих равных вы набираете в нём наблюдения примерно в 5 раз медленнее. Чтобы получить тот же размер выборки на группу при тех же уровне значимости, мощности и `MDE`, нужно примерно в 5 раз больше времени. Поэтому сегментный вывод стоит планировать заранее и оценивать по доступному трафику, иначе он окажется недомощным. Сокращение времени или ссылка на «однородность» сегмента не выдерживают проверки расчётом.
Подробный разбор → 14Метрика «выручка на пользователя» очень шумная: есть редкие большие чеки, из-за чего дисперсия высокая и требуемый размер выборки растёт. Что чаще всего уменьшит размер выборки при неизменных `alpha` и мощности, не меняя смысл метрики полностью?
AИсключить пользователей с покупками для снижения дисперсии метрики, чтобы быстрее достичь нужного размера выборки в эксперименте
BПоднять уровень значимости `alpha` до 0.1 или 0.2 ради меньшего размера выборки при сохранении прежней мощности теста
CДобавить третий вариант `C` в тест и распределять трафик на три группы, чтобы увеличить общее число наблюдений в эксперименте
DСнизить дисперсию метрики устойчивыми техниками `winsorization` или `trimming` при сохранении смысла исходной метрики
Ответ: Снижение дисперсии метрики через устойчивую агрегацию часто уменьшает необходимый размер выборки при заданных `alpha` и мощности.
Метрики с тяжёлыми хвостами дают большую дисперсию, поэтому для стабильной оценки среднего нужно больше данных. Устойчивые техники вроде `winsorization` (усечение на крайних процентилях) или `trimming` уменьшают влияние редких экстремальных значений и сохраняют интерпретацию, близкую к исходной метрике. Это снижает дисперсию и, следовательно, уменьшает требуемый размер выборки при тех же `alpha` и мощности. Удаление всех платящих ломает саму метрику, рост `alpha` ухудшает контроль ошибки I рода, а добавление третьей группы только увеличивает общее число нужных наблюдений.
Подробный разбор → 15Вы планируете постепенный запуск (`ramp-up`): первые 3 дня тестовая группа получает 10% трафика, затем разбиение становится 50/50. Как это влияет на планирование длительности теста?
AПостепенный запуск повышает мощность теста без необходимости пересчитывать размер выборки и календарную длительность
BПостепенный запуск сокращает длительность: ранние дни при доле 10% дают более стабильные оценки эффекта
CТестовая группа в первые дни получает 10% трафика: набор замедляется, длительность увеличится или отсчёт начинают после выхода на 50/50
DПостепенный запуск нейтрален к длительности: итоговый размер выборки фиксируется в конце и не зависит от ранней доли
Ответ: Постепенный запуск замедляет набор тестовой группы в начале, поэтому в планировании учитывают эффективный трафик по группам или начинают отсчёт после выхода на 50/50.
Если тестовая группа получает 10% трафика, наблюдения копятся в пять раз медленнее, чем при разбиении 50/50, и первые дни дают меньше полезных данных. Это означает, что для достижения целевого размера выборки потребуется больше календарного времени. Часто в планировании считают эффективную скорость набора по группам или начинают отсчёт после выхода на 50/50, фиксируя это правило заранее. Иначе мощность теста окажется ниже ожидаемой и решение придётся откладывать.
Подробный разбор →