В формулировке MLE что считается фиксированным, а что подбирается при максимизации функции правдоподобия?
Метод максимального правдоподобия (MLE), несмещённость, состоятельность, эффективность — свойства оценок, которые определяют их качество. На собеседовании просят вывести MLE для простого распределения или объяснить, почему выборочное среднее — хорошая оценка. Это теоретическая база, которая лежит под всеми статистическими тестами.
Всего в этом разделе 20 вопросов. Каждый — с правильным ответом и кратким разбором теории. Разбито на 4 части по 5 вопросов.
1Что лучше всего отличает точечную оценку параметра от доверительного интервала?
AТочечная оценка использует `CDF`, а доверительный интервал использует `PMF` и работает только для дискретных распределений
BТочечная оценка даёт одно число вроде `p_hat`, а доверительный интервал задаёт диапазон значений параметра при уровне `1 - α`
CДоверительный интервал точнее точечной оценки, и в практической работе аналитика без точечной оценки можно обойтись совсем
DТочечная оценка и доверительный интервал считаются синонимами: разные исторические названия одного объекта в учебниках
Ответ: Точечная оценка даёт одно число, а доверительный интервал показывает неопределённость вокруг него.
Точечная оценка — это одно число, рассчитанное по выборке как приближение неизвестного параметра (например, `p_hat = 56 / 100`). Доверительный интервал — это диапазон значений вместе с уровнем доверия `1 - α` (обычно 0.95), который покрывает истинный параметр с заданной частотой при повторных выборках. Они дополняют друг друга, а не заменяют: точечная оценка даёт центральное значение, интервал — меру неопределённости. Связь с `CDF` и `PMF` искусственная и неверная. Это не синонимы и не разные исторические названия.
Ответ: Точечная оценка — это одно число, вычисленное из данных для приближения параметра.
Точечная оценка параметра — это одно число, посчитанное по выборке как функция данных и используемое как приближение неизвестного параметра. Для вероятности успеха `p` в схеме Бернулли точечная оценка — выборочная доля `p_hat = k / n = 56 / 100 = 0.56`. Доверительный интервал — это другое: диапазон значений, накрывающий `p` с заданной вероятностью. Эмпирическая функция распределения и список конкретных пользователей — не оценки параметра `p`, а другие объекты.
3Вы измеряете время ответа и моделируете его как `Normal(μ, σ)` при известном `σ`. Какая точечная оценка `MLE` для параметра `μ`?
AВыборочная медиана `med(x)` всех наблюдений `x_i`
BВыборочное среднее `mean(x)` всех наблюдений `x_i`
CМаксимум выборки `max(x)` среди всех наблюдений `x_i`
DМинимум выборки `min(x)` среди всех наблюдений `x_i`
Ответ: В нормальной модели `MLE` для `μ` совпадает с выборочным средним `mean(x)`.
Если предпосылка нормальности верна, среднее лучше всего согласуется с формой распределения, и правдоподобие максимизируется именно на `mean(x)`. Это связывает знакомую статистику со смыслом `MLE`. Ошибка — считать, что `MLE` всегда совпадает с медианой или что выборочное среднее плохо из-за выбросов без проверки данных. Если хвост тяжёлый, нужно сначала пересмотреть модель, а не сам метод оценки.
4В формулировке `MLE` что считается фиксированным, а что подбирается при максимизации функции правдоподобия?
AПараметр `θ` фиксирован, а данные `x` подбираются под него и максимизируют значение функции `L(θ|x)`
BФиксированы и данные `x`, и параметр `θ` одновременно, поэтому максимизация функции `L(θ|x)` не нужна
CНаблюдённые данные `x` фиксированы, а параметр `θ` рассматривается как переменная аргумент функции `L(θ|x)`
DНичего не фиксировано: и данные `x`, и параметр `θ` одновременно подбираются при максимизации `L(θ|x)`
Ответ: В `MLE` данные фиксированы, а параметр — переменный аргумент функции правдоподобия.
Вероятность `P(X=x | θ)` — это функция от данных при фиксированном `θ`, а правдоподобие `L(θ|x)` — та же запись, но как функция от `θ` при фиксированных `x`. Это и позволяет «подбирать» параметр, максимизируя правдоподобие. Частая ошибка — путать `L(θ|x)` с `P(θ|x)`, что уже относится к байесовскому подходу.
5Что означает свойство несмещённости для оценки θ_hat параметра θ?
AОценка совпадает с параметром на любой выборке: θ_hat = θ для каждого набора наблюдений
BВ среднем по выборкам оценка попадает в параметр: математическое ожидание E[θ_hat] = θ
CОценка имеет минимальную дисперсию среди всех допустимых оценок данного параметра в задаче
DОценка обязательно получена методом максимального правдоподобия и потому ведёт себя предсказуемо
Ответ: Несмещённость — это правильность в среднем по всем возможным выборкам: E[θ_hat] = θ.
Несмещённая оценка может сильно колебаться от выборки к выборке, то есть иметь большую дисперсию. Смещение — это систематический сдвиг среднего значения оценки относительно параметра. Несмещённость не гарантирует наилучший результат на конкретной выборке и не совпадает с минимальной дисперсией; это разные свойства, которые иногда конфликтуют между собой.