z-тест для пропорций, точный тест Фишера, сравнение конверсий — задачи, которые аналитик решает постоянно. На собеседовании дают две группы с разной конверсией и просят определить, значимо ли различие. Важно знать, когда нормальное приближение работает, а когда нужен точный тест.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
С 5% до 6% — это плюс 1 процентный пункт (абсолютная разница). Относительный рост здесь 20%, но он отвечает на другой вопрос. Типичная ошибка — путать проценты и процентные пункты в выводах по A/B тесту.
В `z-test` для долей используется нормальное приближение распределения оценок. Когда `n` мало или `p` близко к 0 или 1, приближение становится грубым. Тогда `p-value` и интервалы могут быть неточными. В таких случаях лучше рассмотреть более аккуратные методы, основанные на `binomial`.
Если метрика на уровне пользователя, то `trial` — пользователь, а `success` — факт покупки у этого пользователя. Тогда `доля` становится долей покупателей среди пользователей. Смешивать уровни (например, выручку и пользователей) нельзя: это уже не тест для долей. Типичная ошибка — менять знаменатель между группами или использовать разный уровень агрегации.
В `binomial` модели каждый `trial` имеет один и тот же шанс `p` на `success`, и `trial` считаются независимыми. Это хорошая абстракция для доли покупателей среди пользователей при корректной единице учета. Если `trial` зависимы (например, много событий на одного пользователя), `стандартная ошибка доли` будет оценена неверно. Тогда нужно менять дизайн учета или метод оценки.
Формула `SE = sqrt(p*(1-p)/n)` зависит от `p*(1-p)`. Эта часть максимальна при `p = 0.5` и уменьшается, когда `p` близко к 0 или 1. Поэтому при одинаковом `n` доли около 50% дают более шумные оценки. Это полезно для интуитивного планирования экспериментов по конверсии.
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram