Историческая конверсия была 8%. После редизайна у вас 5000 пользователей и 420 покупок. Какой тест подходит, чтобы проверить гипотезу H0: p = 0.08 на большой выборке?
z-тест для пропорций, точный тест Фишера, сравнение конверсий — задачи, которые аналитик решает постоянно. На собеседовании дают две группы с разной конверсией и просят определить, значимо ли различие. Важно знать, когда нормальное приближение работает, а когда нужен точный тест.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1`конверсия` выросла с 5% до 6%. Как корректно назвать абсолютное изменение?
AРост на 1% (относительно)
BРост на 1 процентный пункт
CРост на 20 процентных пунктов
DРост на 0.2 процентного пункта
Ответ: Абсолютная разница долей измеряется в процентных пунктах.
С 5% до 6% — это плюс 1 процентный пункт (абсолютная разница). Относительный рост здесь 20%, но он отвечает на другой вопрос. Типичная ошибка — путать проценты и процентные пункты в выводах по A/B тесту.
2Когда двухвыборочный `z-test` для сравнения долей обычно уместен?
AКогда выборки достаточно большие и нормальное приближение разумно: `n*p` и `n*(1-p)` не слишком малы в обеих группах
BНа выборках порядка десяти пользователей: для разницы долей нормальное приближение работает не хуже точных методов
CКогда наблюдаемая конверсия в обеих группах близка к 0 или 1: на краях нормальное приближение особенно надёжно
DДля метрик типа среднего чека: `z-test` для долей часто применяют как универсальный критерий вместо `t-test`
Ответ: `z-test` опирается на приближение нормальностью, которое лучше работает на больших выборках.
В `z-test` для долей используется нормальное приближение распределения оценок. Когда `n` мало или `p` близко к 0 или 1, приближение становится грубым. Тогда `p-value` и доверительные интервалы могут быть неточными. В таких случаях лучше рассмотреть более аккуратные методы, основанные на биномиальном распределении.
3Вы считаете конверсию из визита в покупку на уровне пользователя. Что корректно считать `success` и что считать `trial` для расчёта доли?
A`success`: пользователь совершил покупку, `trial`: пользователь в выборке, доля считается как `buyers/users`
B`success`: показ страницы товара, `trial`: факт покупки, доля считается как `views/purchases` за период
C`success`: сессия пользователя, `trial`: день календаря, доля считается как `sessions/days` по выборке
D`success`: выручка от пользователя, `trial`: пользователь, доля считается как `revenue/users` за окно
Ответ: Для доли нужен чёткий числитель `success` и знаменатель `trial` на одной единице учёта.
Если метрика на уровне пользователя, то `trial` — пользователь, а `success` — факт покупки у этого пользователя. Тогда доля становится долей покупателей среди пользователей. Смешивать уровни (например, выручку и пользователей) нельзя: это уже не тест для долей, а среднее на пользователя. Типичная ошибка — менять знаменатель между группами или использовать разный уровень агрегации в числителе и знаменателе.
4Какие допущения делают биномиальную модель разумной для конверсии?
AДоля успехов близка к 0 или 1 в каждой группе, иначе биномиальное распределение применять нельзя
BКаждое испытание имеет числовой непрерывный исход, а биномиальное обобщает такие непрерывные значения
CИспытания независимы, и шанс успеха одинаков для каждого испытания и каждого пользователя в выборке
DРазмер выборки `n` известен заранее и одинаков в каждой группе, иначе оценка доли смещена
Ответ: Биномиальная модель предполагает независимые испытания и одинаковую вероятность успеха в каждом из них.
В биномиальной модели каждое испытание имеет одну и ту же вероятность успеха, и испытания считаются независимыми. Это хорошая абстракция для доли покупателей среди пользователей при корректной единице учёта. Если испытания зависимы (например, много событий на одного пользователя), стандартная ошибка доли будет оценена неверно. Тогда нужно менять дизайн учёта или метод оценки.
5При фиксированном `n` у какой доли стандартная ошибка доли обычно максимальна (по `p*(1-p)`)?
A`p = 0.01`
B`p = 0.10`
C`p = 0.50`
D`p = 0.90`
Ответ: Величина `p*(1-p)` максимальна около `p = 0.5`, поэтому и `SE` там больше.
Формула `SE = sqrt(p*(1-p)/n)` зависит от `p*(1-p)`. Эта часть максимальна при `p = 0.5` и уменьшается, когда `p` близко к 0 или 1. Поэтому при одинаковом `n` доли около 50% дают более шумные оценки. Это полезно для интуитивного планирования экспериментов по конверсии.