Q: В эксперименте вы заранее объявили 5 `primary metrics` и будете считать успехом, если хотя бы по одной `p-value < alpha`. Что происходит с общей вероятностью ложноположительного вывода и что обычно делают лучше?

Если успех = «хотя бы одна `p-value < alpha`» по нескольким метрикам, то общий риск ложноположительного вывода (FWER) превышает `alpha`; лучше фиксировать одну `primary metric` или контролировать множественные проверки. Когда вы делаете несколько проверок и выбираете любую значимую, шанс случайно получить хотя бы один ложный сигнал растет. Поэтому общий уровень ошибки уже не равен исходному `alpha`. На практике заранее фиксируют одну `primary metric` или применяют контроль множественных проверок, например `Bonferroni`, чтобы ограничить общий риск ложноположительных выводов.

Q: Команда каждый день смотрит `p-value` и прекращает эксперимент, как только `p-value < alpha`, не используя поправки. Какой главный риск для `alpha`?

Повторные проверки без корректного `sequential` дизайна раздувают фактический `alpha`. Если вы многократно смотрите на `p-value` и останавливаетесь при первом сигнале, вы увеличиваете шанс поймать случайное отклонение. В результате фактическая вероятность ложноположительного вывода становится выше целевого `alpha`. Чтобы контролировать `alpha`, используют заранее заданные правила остановки и `sequential` методы или фиксируют `test duration`.

Q: Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?

При фиксированном относительном `MDE` низкий `baseline rate` дает очень маленький абсолютный эффект, поэтому требуется больший `sample size`. Относительный `MDE` в 5% означает, что абсолютное изменение равно `baseline rate * 0,05`. При `baseline rate` 1% это всего 0,05 процентного пункта, а при 10% — 0,5 процентного пункта. Меньший абсолютный сдвиг труднее отличить от шума, поэтому для `baseline rate` 1% обычно нужен больший `sample size` при тех же `alpha` и `power`.

Q: У вас два кандидата на `primary metric`: `conversion rate` и `revenue per user`. При прочих равных какая метрика чаще требует больший `sample size` и почему?

Метрики с более высокой `variance` обычно требуют большего `sample size` для заданных `alpha`, `power` и `MDE`. `Conversion rate` ограничена [0;1] и часто имеет более стабильную дисперсию. `Revenue per user` обычно имеет тяжёлые хвосты из-за редких крупных покупок, поэтому шум выше и для тех же `alpha`/`power`/`MDE` обычно требуется больше данных и времени.

Question 1

В эксперименте вы заранее объявили 5 `primary metrics` и будете считать успехом, если хотя бы по одной `p-value < alpha`. Что происходит с общей вероятностью ложноположительного вывода и что обычно делают лучше?

Accepted Answer

Если успех = «хотя бы одна `p-value < alpha`» по нескольким метрикам, то общий риск ложноположительного вывода (FWER) превышает `alpha`; лучше фиксировать одну `primary metric` или контролировать множественные проверки. Когда вы делаете несколько проверок и выбираете любую значимую, шанс случайно получить хотя бы один ложный сигнал растет. Поэтому общий уровень ошибки уже не равен исходному `alpha`. На практике заранее фиксируют одну `primary metric` или применяют контроль множественных проверок, например `Bonferroni`, чтобы ограничить общий риск ложноположительных выводов.

Question 2

Эксперимент завершился по плану, но `p-value > alpha`. Какое заключение наиболее корректно, если вы заранее планировали `MDE` и целевой `power`?

Accepted Answer

Если тест спланирован под `MDE` и заданный `power`, то `p-value > alpha` означает: эффект уровня `MDE` не подтвердился; это не доказательство нуля. Если эксперимент был спланирован на обнаружение эффекта размером `MDE` с целевым `power`, то отсутствие значимости говорит, что такой эффект не подтвердился на данных. Однако это не доказывает нулевой эффект: реальный эффект может быть меньше `MDE` или зависеть от сегментов. Корректная интерпретация — связать результат с заранее заданным `MDE` и границами чувствительности теста.

Question 3

Команда каждый день смотрит `p-value` и прекращает эксперимент, как только `p-value < alpha`, не используя поправки. Какой главный риск для `alpha`?

Accepted Answer

Повторные проверки без корректного `sequential` дизайна раздувают фактический `alpha`. Если вы многократно смотрите на `p-value` и останавливаетесь при первом сигнале, вы увеличиваете шанс поймать случайное отклонение. В результате фактическая вероятность ложноположительного вывода становится выше целевого `alpha`. Чтобы контролировать `alpha`, используют заранее заданные правила остановки и `sequential` методы или фиксируют `test duration`.

Question 4

Команда хочет детектить относительный `MDE` = 5% в метрике `conversion rate`. Сравните два продукта: `baseline rate` 1% и `baseline rate` 10%. При одинаковом относительном `MDE` где обычно нужен больший `sample size` и почему?

Accepted Answer

При фиксированном относительном `MDE` низкий `baseline rate` дает очень маленький абсолютный эффект, поэтому требуется больший `sample size`. Относительный `MDE` в 5% означает, что абсолютное изменение равно `baseline rate * 0,05`. При `baseline rate` 1% это всего 0,05 процентного пункта, а при 10% — 0,5 процентного пункта. Меньший абсолютный сдвиг труднее отличить от шума, поэтому для `baseline rate` 1% обычно нужен больший `sample size` при тех же `alpha` и `power`.

Question 5

У вас два кандидата на `primary metric`: `conversion rate` и `revenue per user`. При прочих равных какая метрика чаще требует больший `sample size` и почему?

Accepted Answer

Метрики с более высокой `variance` обычно требуют большего `sample size` для заданных `alpha`, `power` и `MDE`. `Conversion rate` ограничена [0;1] и часто имеет более стабильную дисперсию. `Revenue per user` обычно имеет тяжёлые хвосты из-за редких крупных покупок, поэтому шум выше и для тех же `alpha`/`power`/`MDE` обычно требуется больше данных и времени.

Размер выборки и мощность теста: вопросы для собеседования (часть 4)

Вопросы 16–20 из 20

Хотите тренировать интерактивно?

Другие темы: A/B-тесты