Что становится примерно нормально распределённым по смыслу CLT при большом размере выборки?
Совместные распределения, маргинальные распределения, центральная предельная теорема — мост между теорией вероятностей и статистикой. ЦПТ объясняет, почему нормальное распределение так часто встречается и почему работает z-тест. На собеседовании просят сформулировать ЦПТ и привести пример её применения.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1Какая запись соответствует вероятности того, что в одном наблюдении произойдут оба события `A` и `B`?
A`P(A|B)`: условная вероятность события `A` при условии, что `B` уже произошло
B`P(B|A)`: условная вероятность события `B` при условии, что `A` уже произошло
C`P(A)+P(B)`: сумма маргинальных вероятностей событий по отдельности
D`P(A∩B)`: вероятность одновременного наступления событий `A` и `B`
Ответ: Совместное наступление событий описывает `P(A∩B)`, в отличие от условной `P(A|B)`.
В таблице совместных вероятностей такие значения соответствуют ячейкам пересечения событий. Если известны `P(A|B)` и `P(B)`, то можно перейти к совместной вероятности по формуле `P(A∩B)=P(A|B)*P(B)`. Это удобно при построении таблиц и деревьев событий.
2В таблице совместного распределения по платформе и факту покупки какая величина соответствует доле пользователей, которые одновременно `platform=ios` и совершили покупку?
A`P(platform=ios)`: безусловная вероятность по платформе без учёта факта покупки
B`P(platform=ios ∩ purchase)`: совместная вероятность одновременного выполнения обоих условий
C`P(purchase | platform=ios)`: условная вероятность покупки среди ios-пользователей
D`P(platform=ios | purchase)`: условная вероятность платформы среди купивших пользователей
Ответ: Пересечение двух условий в таблице совместного распределения — это совместная вероятность `P(A∩B)`.
Совместная вероятность — это доля наблюдений, где выполняются оба условия одновременно, то есть значение конкретной ячейки на пересечении строки и столбца таблицы. Это `P(A∩B)`, а не условная и не безусловная вероятность по одному измерению. Если есть `P(purchase | platform=ios)` и `P(platform=ios)`, то совместную можно получить как их произведение. Условные вероятности нормированы на одну категорию и не дают доли по всей выборке.
3Вы считаете число кликов за день как сумму по пользователям: каждый пользователь либо кликнул, либо нет. Почему распределение этой суммы по дням часто хорошо описывается нормальным приближением при большом трафике?
AЗакон больших чисел (`LLN`) делает каждый отдельный клик нормально распределённым по своей природе вне суммы
BЭто сумма большого числа независимых вкладов, и по `CLT` она близка к нормальному распределению при росте `n`
CПо `CLT` выборочное среднее одного клика совпадает с распределением кликов и сохраняет его форму на больших выборках
DНормальное приближение для суммы биномиальных случайных величин работает при любом размере выборки и не требует условий
Ответ: Когда наблюдение — это сумма многих независимых вкладов, `CLT` объясняет появление нормального приближения.
Каждый пользователь вносит маленький вклад 0 или 1, и таких вкладов много. Суммирование сглаживает индивидуальные различия и делает итоговую сумму более предсказуемой. Поэтому в аналитике часто используют нормальное приближение для больших сумм и средних, опираясь на центральную предельную теорему.
4Распределение трат на пользователя сильно скошено: много маленьких чеков и редкие большие. Почему для выборочного среднего трат по 5000 пользователям часто хорошо работает нормальное приближение?
AПотому что `LLN` делает исходное распределение трат нормальным при достаточно большом числе пользователей в выборке
BПотому что по `CLT` распределение выборочного среднего становится близким к нормальному при большом размере выборки
CПотому что совместное распределение трат и пользователей всегда нормально, и поэтому среднее тоже распределено нормально
DПотому что нормальное приближение всегда точно для любых данных и не зависит от размера выборки и формы исходного распределения
Ответ: По `CLT` выборочное среднее при достаточно большой выборке распределено приближённо нормально, даже если исходные данные скошены.
Исходные данные могут быть ненормальными, но выборочное среднее строится через сумму большого числа независимых вкладов и деление на размер выборки. По `CLT` распределение этой статистики приближается к нормальному, что и оправдывает нормальное приближение для интервалов и тестов. На маленьких выборках с тяжёлыми хвостами и сильными выбросами приближение может быть заметно хуже. `LLN` отвечает за сходимость к ожиданию, а не за форму распределения среднего.
5У вас метрика конверсии за день оценивается как доля покупок. Почему оценка на 10000 сессиях обычно менее шумная, чем на 100 сессиях?
AВ силу `CLT` выборочная конверсия становится близкой к 50% при росте числа сессий вне зависимости от продукта
BПри большем числе сессий совместное распределение покупок и сессий фиксируется и шум по дням исчезает по построению
CПри большем размере выборки выборочная доля ближе к ожидаемой и реже сильно отклоняется, что соответствует интуиции `LLN`
DНормальное приближение убирает дисперсию доли покупок и делает оценку доли точной при достаточно большом числе сессий
Ответ: Чем больше наблюдений, тем стабильнее выборочное среднее вокруг ожидаемого значения, что соответствует `LLN`.
На маленькой выборке случайность может сильно менять долю: одна дополнительная покупка заметно сдвигает результат. На большой выборке вклад одного события намного меньше, поэтому колебания снижаются. Это одна из причин, почему метрики на малом трафике трудно интерпретировать.