Точечные оценки и MLE: вопросы для собеседования (часть 3)
Метод максимального правдоподобия (MLE), несмещённость, состоятельность, эффективность — свойства оценок, которые определяют их качество. На собеседовании просят вывести MLE для простого распределения или объяснить, почему выборочное среднее — хорошая оценка. Это теоретическая база, которая лежит под всеми статистическими тестами.
Вопросы 11–15 из 20
11Что верно про связь свойств `несмещённость` и `состоятельность`?
AЕсли оценка несмещённая, она автоматически становится состоятельной: одно свойство гарантирует другое при росте `n`
BЭто разные свойства: оценка может быть несмещённой, но не состоятельной, и наоборот, состоятельной, но смещённой
CСостоятельность означает, что дисперсия оценки равна нулю при любом конечном размере выборки `n`
DОба свойства выполняются автоматически только для оценок максимального правдоподобия (`MLE`) при любом `n`
Ответ: `Несмещённость` отвечает про `E[θ_hat]`, а `состоятельность` — про поведение при росте `n`.
Несмещённость и состоятельность — это разные асимптотические свойства оценок. Несмещённость означает, что математическое ожидание оценки равно параметру при любом `n`. Состоятельность — что оценка сходится к параметру по вероятности при `n → ∞`. Они независимы: например, выборочная дисперсия с делителем `n` — состоятельная, но смещённая; а оценка только по первому наблюдению — несмещённая, но не состоятельная (её дисперсия не убывает с `n`). Состоятельность не означает нулевой дисперсии. `MLE` обычно состоятельны, но могут быть смещёнными при конечных `n`.
Подробный разбор → 12Время ожидания моделируется как `Exponential(λ)`. По выборке среднее время ожидания равно 5 секунд. Какая точечная оценка `MLE` для параметра `λ`?
A`λ_hat = x̄`: оценка совпадает со средним, как у нормального распределения
B`λ_hat = 5`: подстановка наблюдаемого среднего напрямую без обратной связи параметра
C`λ_hat = 1 / variance`: обратная дисперсия вместо обратного среднего в формуле `MLE`
D`λ_hat = 1 / x̄`: обратное к среднему, поскольку `λ` обратно связан со временем ожидания
Ответ: Для `Exponential(λ)` оценка `MLE` для параметра `λ` равна `λ_hat = 1 / x̄`.
Параметр `λ` отвечает за скорость наступления события: чем он больше, тем меньше типичное время ожидания. Поэтому логично, что оценка `λ` обратно связана с наблюдаемым средним `x̄` выборки. Частая ошибка — перепутать параметр `λ` со средним и подставить значение 5 напрямую. При среднем 5 секунд получаем `λ_hat = 1/5 = 0.2` событий в секунду, и единицы измерения у `λ` — это всегда 1/время.
Подробный разбор → 13Почему на практике метод максимального правдоподобия часто реализуют как максимизацию `log L(θ)` вместо `L(θ)`?
AПотому что логарифм меняет максимум на минимум, и поэтому оптимизировать `log L(θ)` оказывается проще на практике
BПотому что переход к `log` автоматически делает любую точечную оценку несмещённой и снижает дисперсию параметров
CПотому что логарифм применим только к дискретным распределениям и поэтому требуется именно для метода максимального правдоподобия
DПотому что `log` монотонно возрастает (точка максимума сохраняется), и произведения переходят в суммы, что численно стабильнее
Ответ: Логарифмическое правдоподобие сохраняет точку максимума и делает оптимизацию численно стабильнее и проще.
Для независимых наблюдений правдоподобие часто равно произведению многих вероятностей, и числа быстро становятся слишком малыми для машинной арифметики. Логарифм превращает произведение в сумму и обычно делает градиенты удобнее. При этом точка максимума не меняется, потому что логарифм монотонно возрастает. Ошибка — думать, что переход к `log` меняет саму точечную оценку или связан со свойствами несмещённости и дискретности.
Подробный разбор → 14Есть две оценки одного параметра: `θ_hat_A` несмещённая, но с высокой дисперсией; `θ_hat_B` слегка смещённая, но с низкой дисперсией. По какому критерию можно оправданно выбрать `θ_hat_B` как более полезную точечную оценку?
AЕсли у `θ_hat_B` меньше смещение в среднем, то она лучше независимо от величины разброса оценки
BЕсли `θ_hat_B` получена методом максимального правдоподобия, то она автоматически лучше любой альтернативы
CЕсли у `θ_hat_B` график распределения визуально красивее или симметричнее, чем у конкурирующей оценки
DЕсли у `θ_hat_B` меньше среднеквадратичная ошибка `MSE = bias^2 + variance`, объединяющая смещение и разброс
Ответ: Компромисс смещения и дисперсии удобно сравнивать через `MSE = bias^2 + variance`.
Несмещённость не гарантирует меньшую ошибку на практике, если оценка очень шумная. `MSE` учитывает и систематический сдвиг, и разброс, поэтому подходит для выбора между оценками. Типичная ошибка — выбирать оценку только потому, что она несмещённая, игнорируя нестабильность результата.
Подробный разбор → 15Какие свойства часто (при обычных условиях регулярности) проявляет метод максимального правдоподобия при увеличении размера выборки?
AМетод максимального правдоподобия становится строго несмещённым уже на любом малом размере выборки
BМетод максимального правдоподобия обычно становится состоятельным и эффективным при больших размерах выборки
CМетод максимального правдоподобия всегда даёт оценку с нулевой дисперсией независимо от выбранной модели
DМетод максимального правдоподобия не зависит от того, какую модель распределения исследователь предположил
Ответ: При больших данных оценка максимального правдоподобия часто становится состоятельной и близкой к эффективной.
Во многих регулярных задачах оценка по методу максимального правдоподобия приближается к истинному параметру при росте размера выборки и становится более стабильной. Это связано с тем, что при больших выборках метод использует доступную информацию почти оптимально, поэтому повышается эффективность. Однако на малых выборках оценка может быть смещённой и чувствительной к выбросам или неверной модели. Ошибка — ожидать гарантированных свойств без проверки предпосылок.
Подробный разбор →