Размер выборки и мощность теста: вопросы для собеседования (часть 4)
Расчёт размера выборки, MDE, мощность теста, ошибка второго рода — без этого нельзя корректно спланировать эксперимент. Сколько дней держать тест? Хватит ли трафика для обнаружения эффекта в 2%? На собеседовании эти вопросы задают почти всегда, и от кандидата ждут конкретных формул и рассуждений.
Вопросы 16–20 из 20
16В эксперименте вы заранее объявили 5 основных метрик и будете считать успехом, если хотя бы по одной `p-value < alpha`. Что происходит с общей вероятностью ложноположительного вывода и что обычно делают лучше?
AОбщая вероятность ложноположительного вывода ниже `alpha`: лишние проверки усредняют шум и снижают итоговый риск
BОбщая вероятность равна `alpha` при независимых метриках: независимость сохраняет фиксированный уровень ошибки
CОбщая вероятность выше `alpha`: лучше зафиксировать одну основную метрику или скорректировать порог через `Bonferroni`
DОбщая вероятность зависит только от мощности теста, и при достаточной мощности поправка на `alpha` становится излишней
Ответ: Если успех = «хотя бы одна `p-value < alpha`» по нескольким метрикам, общий риск ложноположительного вывода (FWER) превышает `alpha`; лучше фиксировать одну основную метрику или контролировать множественные проверки.
Когда вы делаете несколько проверок и выбираете любую значимую, шанс случайно получить хотя бы один ложный сигнал растёт. Поэтому общий уровень ошибки уже не равен исходному `alpha`, даже если метрики независимы. На практике заранее фиксируют одну основную метрику или применяют контроль множественных проверок (`Bonferroni`, `Holm`), чтобы ограничить общий риск ложноположительных выводов на заданном уровне.
Подробный разбор → 17Эксперимент завершился по плану, но `p-value > alpha`. Какое заключение наиболее корректно, если вы заранее планировали `MDE` и целевую мощность?
AНет статистических оснований подтверждать эффект размером `MDE` и больше при заданных уровне значимости и мощности, но меньший эффект всё ещё возможен
BЭффекта точно нет, потому что `p-value > alpha`, а значит нулевая гипотеза доказана и обсуждать дальше нечего
CНужно немедленно увеличить уровень значимости до 50%, иначе тесты бессмысленны и никакой эффект никогда не получится подтвердить
DЭто обязательно `SRM`, ведь раз значимости нет, значит распределение пользователей по группам сломалось ещё на старте теста
Ответ: Если тест спланирован под `MDE` и заданную мощность, то `p-value > alpha` означает: эффект уровня `MDE` не подтвердился; это не доказательство нуля.
Если эксперимент был спланирован на обнаружение эффекта размером `MDE` с целевой мощностью, то отсутствие значимости говорит, что такой эффект не подтвердился на данных. Однако это не доказывает нулевой эффект: реальный эффект может быть меньше `MDE` или зависеть от сегментов. Корректная интерпретация — связать результат с заранее заданным `MDE` и границами чувствительности теста. Поднимать уровень значимости до 50% или объявлять `SRM` без проверки баланса групп некорректно.
Подробный разбор → 18Команда каждый день смотрит `p-value` и прекращает эксперимент, как только `p-value` ниже порога значимости, не используя поправки. Какой главный риск для уровня значимости?
AФактический уровень `alpha` станет ниже заявленного, потому что внимательный мониторинг автоматически снижает риск ложных срабатываний
BФактический уровень `alpha` станет выше заявленного, потому что многократные проверки увеличивают шанс случайно поймать `p-value` ниже порога
CМеняется только минимальный детектируемый эффект, а ошибки I и II рода при ранней остановке не затрагиваются вообще
DОшибка II рода вырастет, но ошибка I рода в любом случае останется на заявленном уровне без поправок
Ответ: Повторные проверки без корректного последовательного дизайна раздувают фактический уровень значимости.
Если вы многократно смотрите на `p-value` и останавливаетесь при первом сигнале, вы увеличиваете шанс поймать случайное отклонение. В результате фактическая вероятность ложноположительного вывода становится выше целевого уровня значимости. Чтобы контролировать ошибку I рода, используют заранее заданные правила остановки и методы последовательного тестирования или фиксируют длительность теста.
Подробный разбор → 19Команда хочет детектить относительный `MDE` = 5% в метрике конверсии. Сравните два продукта: базовая конверсия 1% и базовая конверсия 10%. При одинаковом относительном `MDE` где обычно нужен больший размер выборки и почему?
AБольше наблюдений нужен при базовой конверсии 1%, потому что при том же относительном `MDE` абсолютный сдвиг меньше
BБольше наблюдений нужен при базовой конверсии 10%, потому что относительный `MDE` сильнее зависит от высокой базы события
CРазмеры выборок одинаковые, потому что относительный `MDE` совпадает и зависимости от базовой конверсии тут нет
DСравнить нельзя без явных значений `alpha` и мощности, даже если они одинаковые в обоих расчётах
Ответ: При фиксированном относительном `MDE` низкая базовая конверсия даёт очень маленький абсолютный эффект, поэтому требуется больший размер выборки.
Относительный `MDE` в 5% означает, что абсолютное изменение равно базовой конверсии, умноженной на 0,05. При базовой конверсии 1% это всего 0,05 процентного пункта, а при 10% — 0,5 процентного пункта. Меньший абсолютный сдвиг труднее отличить от шума, поэтому для базовой конверсии 1% обычно нужен больший размер выборки при тех же уровне значимости и мощности.
Подробный разбор → 20У вас два кандидата на основную метрику: конверсия и выручка на пользователя. При прочих равных какая метрика чаще требует больший размер выборки и почему?
AКонверсия почти всегда требует большего размера выборки, потому что это доля и она ограничена интервалом [0;1]
BВыручка на пользователя чаще требует большего размера выборки: у неё выше дисперсия и тяжёлые хвосты из-за редких крупных покупок
CОбычно требуемый размер выборки одинаковый, потому что зависит только от уровня значимости `alpha` и не зависит от метрики
DБольший размер выборки всегда нужен метрике с большей базовой долей: чем выше доля, тем больше нужно наблюдений
Ответ: Метрики с более высокой дисперсией обычно требуют большего размера выборки для заданных `alpha`, мощности и `MDE`.
Конверсия ограничена интервалом [0;1] и часто имеет более стабильную дисперсию. Выручка на пользователя обычно имеет тяжёлые хвосты из-за редких крупных покупок, поэтому шум выше, и для тех же `alpha`, мощности и `MDE` обычно требуется больше данных и времени.
Подробный разбор →