Что означает параметр бета (β) в планировании A/B-теста?
Расчёт размера выборки, MDE, мощность теста, ошибка второго рода — без этого нельзя корректно спланировать эксперимент. Сколько дней держать тест? Хватит ли трафика для обнаружения эффекта в 2%? На собеседовании эти вопросы задают почти всегда, и от кандидата ждут конкретных формул и рассуждений.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1Что означает параметр бета (β) в планировании A/B-теста?
AБета: вероятность ошибки первого рода, синоним уровня значимости alpha при планировании теста
BБета: доля пользователей в контрольной группе по отношению ко всей выборке эксперимента
CБета: минимальный размер эффекта `MDE`, который мы хотим уверенно поймать в эксперименте
DБета: вероятность пропустить реальный эффект заданного размера, то есть ошибка второго рода
Ответ: Бета — вероятность ошибки II рода (пропустить реальный эффект); мощность теста равна `1 − β`.
Бета описывает риск ложноотрицательного вывода: эффект существует, но тест его не выявил при выбранном пороге. Соответственно, мощность теста равна `1 − β` — это вероятность обнаружить эффект размера `MDE` или больше, если он действительно есть. При планировании эксперимента обычно задают целевую мощность, например 80% или 90%. Уровень значимости alpha и `MDE` — это другие параметры, их не нужно путать с бетой.
2Ежедневный поток подходящих под тест пользователей удвоился, а требуемый размер выборки на группу и разбиение `50/50` не изменились. Что ожидаемо произойдёт с длительностью теста?
AДлительность теста вырастет примерно в 2 раза, потому что больший поток трафика вносит больше шума в оценку эффекта
BДлительность теста не изменится, потому что требуемый размер выборки зависит только от уровня значимости `alpha`
CДлительность теста уменьшится примерно в 4 раза, потому что увеличение потока ускоряет набор выборки квадратично
DДлительность теста уменьшится примерно в 2 раза, потому что скорость набора нужного размера выборки удвоилась
Ответ: При фиксированном размере выборки и стабильном `50/50` длительность примерно обратно пропорциональна потоку: трафик ×2 → длительность ≈ /2.
Если в день приходит вдвое больше подходящих под тест пользователей, то вдвое быстрее набираются обе группы — `N_treat` и `N_control`. При тех же целевых размерах выборки на группу это примерно вдвое сокращает календарную длительность. Уровень значимости `alpha` влияет на сам требуемый размер выборки, но не на скорость её набора. На практике поправку могут давать выходные и сезонность, но базовая зависимость остаётся почти линейной.
3Вы повышаете требование к мощности теста с 80% до 90% при фиксированных уровне значимости и `MDE`. Что ожидаемо случится с размером выборки?
AРазмер выборки вырастет, потому что нужно снизить ошибку II рода и надёжнее отделить эффект от шума на тех же данных.
BРазмер выборки уменьшится, потому что более высокая мощность позволяет обходиться меньшим числом наблюдений в каждой группе.
CНичего не изменится, потому что мощность теста не связана с размером выборки при тех же `MDE` и уровне значимости.
DРазмер выборки вырастет только в тестовой группе, а контрольную можно оставить прежней без потери качества выводов.
Ответ: Более высокий `power` означает меньший `beta`, и для этого обычно нужен больший `sample size`.
Мощность 90% означает, что вы хотите с высокой вероятностью находить эффект размера `MDE`, если он есть. Это эквивалентно снижению вероятности ошибки II рода и требует больше наблюдений при той же дисперсии метрики. Поэтому при прочих равных размер выборки растёт.
4Вы держите `MDE` и `power` фиксированными, но хотите снизить `alpha` с 5% до 1%. Что в среднем произойдёт с требуемым размером выборки?
AРазмер выборки увеличится: при меньшем `alpha` критерий строже при тех же `MDE` и `power`, поэтому нужно больше данных
BРазмер выборки уменьшится: меньший `alpha` означает меньше необходимых проверок и более компактный план эксперимента
CРазмер выборки не изменится: `alpha` влияет только на интерпретацию `p-value`, а не на формулу расчёта количества данных
DРазмер выборки станет ровно в 2 раза больше независимо от метрики и наблюдаемой дисперсии в исходных данных
Ответ: Уменьшение `alpha` делает критерий строже и обычно увеличивает требуемый размер выборки при фиксированных `MDE` и `power`.
Когда вы снижаете `alpha`, вы уменьшаете допустимую вероятность ложноположительного вывода. Чтобы при этом сохранить прежний `power` для того же `MDE`, нужно больше данных, иначе тест будет слишком консервативным. Поэтому требуемый размер выборки на группу обычно растёт; конкретный коэффициент зависит от метрики и её дисперсии.
5Калькулятор размера выборки дал требование `N_treat = 20000` и `N_control = 20000`. В эксперимент ежедневно попадает 5000 новых пользователей при разбиении 50/50. Какова минимальная длительность теста в днях при стабильном трафике?
A4 дня: расчёт по формуле `40000 / 10000` без учёта разбиения трафика на две группы
B5 дней: расчёт по формуле `20000 / 4000` пользователей в день на одну группу
C6 дней: расчёт по формуле `30000 / 5000` пользователей в день при объединённом потоке
D8 дней: расчёт по формуле `20000 / 2500` пользователей в день на группу при 50/50
Ответ: Длительность теста ≈ требуемый размер выборки на группу, делённый на ежедневный поток в эту группу.
При разбиении 50/50 из 5000 пользователей в день каждая группа получает примерно 2500 человек в день. Чтобы набрать `N_treat = 20000`, нужно `20000 / 2500 = 8` дней. Аналогично для `N_control`, поэтому минимальная длительность теста около 8 дней при стабильном трафике. Ошибочные оценки 4–6 дней получаются, если делить общий поток на размер одной группы или пропустить разбиение пополам.