Точечные оценки и MLE: вопросы для собеседования (часть 3)
Метод максимального правдоподобия (MLE), несмещённость, состоятельность, эффективность — свойства оценок, которые определяют их качество. На собеседовании просят вывести MLE для простого распределения или объяснить, почему выборочное среднее — хорошая оценка. Это теоретическая база, которая лежит под всеми статистическими тестами.
Вопросы 11–15 из 20
11Что верно про связь свойств `несмещённость` и `состоятельность`?
AЕсли оценка несмещённая, то она автоматически `состоятельность`
BЭто разные свойства: оценка может быть несмещённой, но не `состоятельность`, и наоборот
C`Состоятельность` означает `P(X=a)=0` для любых значений
DОба свойства определяются только тем, является ли оценка `MLE`
Ответ: `Несмещённость` отвечает про `E[θ_hat]`, а `состоятельность` — про поведение при росте `n`.
Несмещённость — это 'правильность в среднем' на фиксированном размере выборки: `E[θ_hat]=θ`. Состоятельность означает, что при больших `n` оценка приближается к `θ`, даже если на малых выборках есть смещение. Поэтому ни одно из этих свойств не гарантирует другое автоматически. Ошибка — считать, что достаточно добиться несмещённости, и вопрос качества оценки закрыт.
12Время ожидания моделируется как `Exponential(λ)`. По выборке среднее время ожидания равно 5 секунд. Какая точечная оценка `MLE` для `λ`?
A`λ_hat = x̄`
B`λ_hat = 5`
C`λ_hat = 1 / x̄`
D`λ_hat = 1 / variance`
Ответ: Для `Exponential(λ)` `MLE` для `λ` выражается как `λ_hat = 1 / x̄`.
Параметр `λ` отвечает за скорость наступления события: чем он больше, тем меньше типичное время ожидания. Поэтому логично, что оценка `λ` обратно связана с наблюдаемым средним `x̄`. Частая ошибка — перепутать параметр `λ` и `mean` и подставить среднее напрямую. Также важно помнить про единицы времени: `λ` измеряется как 1/время.
13Почему на практике `MLE` часто реализуют как максимизацию `log L(θ)` вместо `L(θ)`?
AПотому что логарифм меняет максимум на минимум, и так проще
BПотому что `log` делает любую оценку несмещённой
CПотому что `log` применим только к дискретным распределениям
DПотому что `log` монотонен (максимум сохраняется) и произведения превращаются в суммы, что численно стабильнее
Ответ: `log-likelihood` сохраняет точку максимума и делает оптимизацию стабильнее и проще.
Для независимых наблюдений `likelihood` часто равен произведению многих вероятностей, и числа быстро становятся слишком малыми для машинной арифметики. `log` превращает произведение в сумму и обычно делает градиенты удобнее. При этом точка максимума не меняется, потому что `log` монотонно возрастает. Ошибка — думать, что переход к `log` меняет саму точечную оценку `MLE`.
14Есть две оценки одного параметра: `θ_hat_A` несмещённая, но с высокой `variance`; `θ_hat_B` слегка смещённая, но с низкой `variance`. По какому критерию можно оправданно выбрать `θ_hat_B` как более полезную точечную оценку?
AЕсли у `θ_hat_B` всегда меньше `bias`, то она лучше
BЕсли `θ_hat_B` является `MLE`, то она всегда лучше
CЕсли `θ_hat_B` даёт более красивый график распределения
DЕсли у `θ_hat_B` меньше `MSE = bias^2 + variance`
Ответ: Компромисс `bias` и `variance` удобно сравнивать через `MSE = bias^2 + variance`.
Несмещённость не гарантирует меньшую ошибку на практике, если оценка очень шумная. `MSE` учитывает и систематический сдвиг (`bias`), и разброс (`variance`), поэтому подходит для выбора между оценками. Типичная ошибка — выбирать оценку только потому, что она несмещённая, игнорируя нестабильность результата.
15Какие свойства часто (при обычных условиях) проявляет `MLE` при увеличении размера выборки?
A`MLE` становится строго несмещённой уже на любом малом `n`
B`MLE` обычно обладает состоятельностью и хорошей эффективностью (интуитивно) на больших `n`
C`MLE` всегда имеет нулевую `variance`
D`MLE` не зависит от того, какую модель распределения вы выбрали
Ответ: При больших данных `MLE` часто ведёт себя хорошо: становится состоятельной и близкой к эффективной оценке.
Во многих регулярных задачах `MLE` приближается к истинному параметру при росте `n` и становится более стабильной. Это связано с идеей, что при больших выборках `MLE` использует доступную информацию почти оптимально, то есть повышается эффективность (интуитивно). Однако на малых выборках `MLE` может быть смещённой и чувствительной к выбросам или неверной модели. Ошибка — ожидать от `MLE` гарантированных свойств без проверки предпосылок.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram