Размер выборки и мощность теста: вопросы для собеседования (часть 2)
Расчёт размера выборки, MDE, мощность теста, ошибка второго рода — без этого нельзя корректно спланировать эксперимент. Сколько дней держать тест? Хватит ли трафика для обнаружения эффекта в 2%? На собеседовании эти вопросы задают почти всегда, и от кандидата ждут конкретных формул и рассуждений.
Вопросы 6–10 из 20
6Вы планируете тест с фиксированными уровнем значимости и мощностью и решили уменьшить `MDE` с 5% до 2%. Что произойдёт с требуемыми размером выборки и длительностью теста при том же трафике?
AУменьшатся и размер выборки, и длительность теста, потому что меньший `MDE` проще заметить на фиксированном трафике.
BНе изменятся ни размер выборки, ни длительность теста, потому что `MDE` влияет только на уровень значимости.
CСнизится уровень значимости автоматически, поэтому увеличивать выборку и длительность теста уже не потребуется.
DВырастут и размер выборки, и длительность теста, потому что меньший `MDE` труднее отличить от шума на тех же данных.
Ответ: Чем меньше `MDE`, тем больше нужны `sample size` и `test duration`, чтобы отличить эффект от `variance` при тех же `alpha` и `power`.
Меньший `MDE` означает, что вы пытаетесь заметить более слабый сигнал на фоне той же дисперсии. При фиксированных уровне значимости и мощности это требует большего размера выборки на группу. При неизменном трафике больший размер выборки напрямую приводит к большей длительности теста.
Подробный разбор → 7Какое утверждение про `alpha`, `beta` и `power` верное?
A`power = 1 - alpha`: уменьшение `alpha` автоматически увеличивает мощность теста при той же выборке
B`beta` означает вероятность ложноположительного результата, а `alpha` означает вероятность ложноотрицательного
C`alpha` означает вероятность пропустить эффект, а `beta` означает вероятность ошибочно найти эффект
D`alpha` означает вероятность ложноположительного результата, а `power = 1 - beta` показывает шанс обнаружить реальный эффект
Ответ: `alpha` контролирует вероятность ошибки I рода, а `power = 1 - beta` показывает шанс обнаружить эффект при его наличии.
В A/B тесте `alpha` — это допустимая вероятность ложноположительного вывода (ошибка I рода). `beta` — вероятность пропустить реальный эффект (ошибка II рода). Поэтому `power = 1 - beta` — шанс обнаружить эффект заданного размера, если он действительно существует. Уменьшение `alpha` при фиксированной выборке обычно снижает мощность, а не увеличивает её.
Подробный разбор → 8Команда говорит: хотим MDE 10% для конверсии. Что важно уточнить перед расчётом размера выборки и длительности теста?
AУточнить только цвет кнопки: именно цвет напрямую влияет на конверсию, и больше ничего знать заранее не требуется
BУточнить только уровень значимости: остальные параметры расчёта длительности теста допустимо взять по умолчанию
CУточнить, что значит указанный MDE: относительный или абсолютный (в процентных пунктах), и какой ожидаемый базовый уровень конверсии
DУточнить только мощность теста: значения MDE по умолчанию достаточно для расчёта размера выборки и длительности
Ответ: Перед расчётом важно зафиксировать, что значит MDE (относительный или абсолютный) и какой ожидаемый базовый уровень конверсии, иначе размер выборки будет неверным.
Фраза «MDE 10%» может означать как +10% относительно текущего уровня, так и +10 процентных пунктов, и это принципиально разные абсолютные изменения. Расчёт размера выборки чувствителен к абсолютному сдвигу и базовому уровню конверсии. Поэтому перед планированием важно зафиксировать формулировку MDE и ожидаемый базовый уровень, иначе длительность теста может оказаться сильно недооценённой. Уровень значимости и мощность тоже важны, но без MDE и базового уровня их недостаточно.
Подробный разбор → 9Вы распределяете трафик не 50/50, а 90/10 в пользу `treatment` при фиксированном общем трафике. Что ожидаемо произойдёт с мощностью теста для сравнения `treatment` vs `control` при той же длительности?
AМощность обычно падает: маленькая контрольная группа увеличивает дисперсию разницы, поэтому для прежнего уровня нужен больший размер выборки или длительность теста
BМощность вырастет, потому что в группе `treatment` больше данных, а итоговая точность определяется именно её размером, а не самой маленькой группой
CМощность не изменится при том же уровне значимости, потому что доля трафика и `alpha` влияют на ошибку независимо друг от друга
DМеняется только MDE, а мощность от доли трафика не зависит и определяется исключительно длительностью теста и базовой дисперсией метрики
Ответ: При 90/10 и фиксированном общем трафике мощность обычно падает: точность сравнения ограничена маленькой группой `control`.
При распределении 90/10 самая маленькая группа `control` задаёт точность оценки разницы. Это увеличивает дисперсию оценок и снижает мощность при той же длительности теста. Чтобы вернуть прежний уровень мощности, обычно требуется увеличить общий размер выборки или длительность. Вариант «мощность вырастет из-за большого `treatment`» путает «больше данных в одной группе» с «точность сравнения»; вариант «не изменится при том же `alpha`» игнорирует роль дисперсии разницы; «MDE меняется, а мощность нет» противоречит формуле размера выборки.
Подробный разбор → 10Грубо, при фиксированных уровне значимости, мощности и дисперсии, если уменьшить MDE в 2 раза, как изменится требуемый размер выборки?
AРазмер выборки уменьшается примерно в 2 раза: пропорционально уменьшению целевого эффекта
BРазмер выборки увеличивается примерно в 2 раза: линейный рост от снижения эффекта
CРазмер выборки увеличивается примерно в 4 раза по соотношению `n ~ 1 / MDE^2`
DРазмер выборки не меняется: `MDE` влияет только на интерпретацию итогов
Ответ: При прочих равных размер выборки примерно пропорционален `1 / MDE^2`: уменьшили MDE в 2 раза → нужно около 4× данных.
Чтобы заметить вдвое меньший сигнал, нужно гораздо больше наблюдений, иначе шум перекроет эффект. В типовых формулах планирования при фиксированных значимости, мощности и дисперсии получается связь `n ~ 1 / MDE^2`. Поэтому уменьшение MDE в 2 раза даёт рост размера выборки примерно в 4 раза. Линейная связь или независимость от MDE — частое заблуждение.
Подробный разбор →