Точечные оценки и MLE: вопросы для собеседования (часть 4)
Метод максимального правдоподобия (MLE), несмещённость, состоятельность, эффективность — свойства оценок, которые определяют их качество. На собеседовании просят вывести MLE для простого распределения или объяснить, почему выборочное среднее — хорошая оценка. Это теоретическая база, которая лежит под всеми статистическими тестами.
Вопросы 16–20 из 20
16Пусть `X̄` — среднее по выборке. Рассмотрим точечную оценку `θ_hat_n = X̄ + 1/n` для параметра `θ = E[X]`. Как корректно описать её свойства?
AОна строго несмещённая и строго `состоятельность`
BОна несмещённая, но не `состоятельность`, потому что добавка `1/n` мешает
CОна не несмещённая и не `состоятельность`, потому что есть добавка
DОна смещённая на `1/n`, но `bias` стремится к 0, поэтому `состоятельность` сохраняется
Ответ: Оценка может быть смещённой при конечном `n`, но всё равно быть `состоятельность`, если `bias` убывает к 0.
Добавка `1/n` даёт `E[θ_hat_n]=θ+1/n`, то есть есть `bias`. Но при росте `n` этот `bias` исчезает, и поведение становится почти как у `X̄`, которая обычно состоятельна. Поэтому `θ_hat_n` можно считать состоятельной, хотя она не является строго несмещённой на конечных выборках. Ошибка — думать, что любое смещение автоматически ломает свойства на больших выборках.
17Вы применяете `MLE`, но понимаете, что модель распределения приблизительная (например, данные с тяжёлыми хвостами, а вы используете `Normal(μ,σ)`). Что корректнее ожидать от `MLE`?
A`MLE` всегда находит истинный параметр реального процесса, даже если модель неверна
BПри неверной модели `MLE` перестаёт работать и обязательно выдаёт одно и то же число
C`MLE` найдёт параметры, которые максимизируют `likelihood` внутри выбранной модели, но это может не совпасть с истинным механизмом данных
D`MLE` автоматически становится робастной оценкой и игнорирует выбросы
Ответ: `MLE` оптимизирует правдоподобие внутри модели, поэтому при неверной модели точечная оценка может быть системно смещена.
Если модель не соответствует данным, `MLE` всё равно подберёт параметры, которые лучше всего объясняют наблюдения в рамках этой модели. Это может быть полезным приближением, но интерпретация параметров становится осторожной, и свойства вроде `несмещённость` могут не выполняться. Типичная ошибка — воспринимать оценку `MLE` как 'истину' без проверки предпосылок и диагностики. Часто помогает выбрать более подходящую модель или использовать робастный подход к оцениванию.
18Вы оцениваете параметр `μ` в модели `Normal(μ,σ)` и выбираете точечную оценку: выборочное среднее или медиану. Если нормальность верна и сильных выбросов нет, какая оценка обычно более эффективна (интуитивно)?
AМедиана, потому что она всегда даёт меньшую `variance`
BОбе оценки одинаково эффективны для любой выборки
CВыборочное среднее, потому что в нормальной модели оно обычно имеет меньшую `variance` и совпадает с `MLE` для `μ`
DЗависит только от того, как оценён `σ`, а `μ` не влияет
Ответ: В нормальной модели выборочное среднее обычно более эффективно (интуитивно), чем медиана, за счёт меньшей `variance`.
Если предпосылка `Normal(μ,σ)` корректна, среднее использует информацию о всех наблюдениях и часто даёт более точную оценку `μ`. Медиана выигрывает в робастности, но может проигрывать по `variance`, когда выбросов нет. Поэтому выбор зависит от данных и цели: точность при нормальности или устойчивость к хвостам. Ошибка — автоматически выбирать медиану 'на всякий случай', не понимая, что это может увеличить шум.
19Две оценки параметра `θ` обе имеют свойство несмещённости. У `θ_hat_A` дисперсия меньше, чем у `θ_hat_B` на том же размере выборки. Что можно сказать про эффективность (интуитивно)?
A`θ_hat_A` более эффективна (интуитивно), потому что при одинаковом `bias` она даёт меньшую `variance`
B`θ_hat_B` более эффективна, потому что у неё больше `variance`
CОбе оценки одинаково эффективны, раз они несмещённые
DСравнивать эффективность нельзя, пока не известно, какая оценка является `MLE`
Ответ: При одинаковой несмещённости более эффективная оценка (интуитивно) обычно означает меньшую `variance`.
Эффективность интуитивно про то, насколько точно оценка использует данные: меньше колебаний при той же информации — лучше. Если обе оценки несмещённые, сравнение часто сводится к дисперсии: меньшая `variance` даёт более стабильные результаты. Частая путаница — воспринимать эффективность как скорость вычислений или сложность формулы.
20Вы выбираете способ оценить средний доход пользователя: (A) усечённое среднее (снижает влияние выбросов) — может добавить `bias`, но уменьшает `variance`; (B) обычное среднее — меньше `bias`, но более шумное. Какой принцип помогает сравнить такие точечные оценки по качеству?
AСравнить ожидаемую ошибку `MSE = bias^2 + variance` и выбрать меньшую
BВсегда выбирать оценку с нулевым `bias`, даже если `variance` огромна
CВсегда выбирать оценку с минимальной `variance`, даже если `bias` большой
DВыбирать оценку, которая выглядит ближе к `MLE`, не глядя на цель метрики
Ответ: Для выбора между `bias` и `variance` используйте `MSE = bias^2 + variance` на вашей задаче.
Небольшой `bias` может быть оправдан, если он сильно снижает `variance` и делает метрику стабильнее. `MSE` объединяет оба компонента и позволяет сравнивать методы без иллюзии, что существует одна 'идеальная' оценка. Практическая ловушка — оптимизировать только несмещённость, игнорируя шум, особенно на малых выборках. В продуктовой аналитике часто важна воспроизводимость решения, а не идеальная теоретическая точность.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram