Точечные оценки и MLE: вопросы для собеседования (часть 4)
Метод максимального правдоподобия (MLE), несмещённость, состоятельность, эффективность — свойства оценок, которые определяют их качество. На собеседовании просят вывести MLE для простого распределения или объяснить, почему выборочное среднее — хорошая оценка. Это теоретическая база, которая лежит под всеми статистическими тестами.
Вопросы 16–20 из 20
16Пусть `X̄` — среднее по выборке. Рассмотрим точечную оценку `θ̂_n = X̄ + 1/n` для параметра `θ = E[X]`. Как корректно описать её свойства?
AОна строго несмещённая и строго состоятельная, потому что `1/n` не влияет на математическое ожидание оценки
BОна несмещённая, но не состоятельная, потому что добавка `1/n` сохраняется при любом размере выборки
CОна не несмещённая и не состоятельная, потому что любое смещение автоматически ломает свойства оценки
DОна смещённая на `1/n`, но смещение стремится к нулю при росте `n`, поэтому состоятельность сохраняется
Ответ: Оценка может быть смещённой при конечном `n`, но всё равно быть состоятельной, если смещение убывает к нулю.
Добавка `1/n` даёт `E[θ̂_n] = θ + 1/n`, то есть оценка смещённая. Но при росте `n` это смещение исчезает, и поведение становится почти как у `X̄`, которая обычно состоятельна. Поэтому `θ̂_n` можно считать состоятельной, хотя строго несмещённой на конечных выборках она не является. Ошибка — думать, что любое смещение автоматически ломает свойства на больших выборках.
Подробный разбор → 17Вы применяете `MLE`, но понимаете, что модель распределения приблизительная (например, данные с тяжёлыми хвостами, а вы используете `Normal(μ,σ)`). Что корректнее ожидать от `MLE`?
AМетод `MLE` всегда находит истинный параметр реального процесса, даже если выбранная модель не соответствует природе данных
BМетод `MLE` найдёт параметры, которые максимизируют правдоподобие внутри выбранной модели, но это может не совпасть с истинным механизмом данных
CПри неверной модели метод `MLE` перестаёт работать и обязательно выдаёт одно и то же число независимо от размера выборки
DМетод `MLE` автоматически становится робастной оценкой и игнорирует выбросы, если использовать распределение `Normal(μ,σ)`
Ответ: Метод `MLE` оптимизирует правдоподобие внутри выбранной модели, поэтому при неверной модели точечная оценка может быть системно смещена.
Если модель не соответствует данным, `MLE` всё равно подберёт параметры, которые лучше всего объясняют наблюдения в рамках этой модели. Это может быть полезным приближением, но интерпретация параметров становится осторожной, и свойства вроде несмещённости могут не выполняться. Типичная ошибка — воспринимать оценку `MLE` как истину без проверки предпосылок и диагностики. Часто помогает выбрать более подходящую модель или использовать робастный подход к оцениванию.
Подробный разбор → 18Вы оцениваете параметр `μ` в модели `Normal(μ,σ)` и выбираете точечную оценку: выборочное среднее или медиану. Если нормальность верна и сильных выбросов нет, какая оценка обычно более эффективна (интуитивно)?
AМедиана: на нормальной модели она имеет меньшую дисперсию, чем среднее, и совпадает с оценкой `MLE` для параметра `μ`
BОбе оценки одинаково эффективны на любой выборке, и выбор между средним и медианой не влияет на точность оценки `μ`
CВыборочное среднее: на нормальной модели оно имеет меньшую дисперсию и совпадает с оценкой `MLE` для параметра `μ`
DВыбор зависит только от того, как оценён параметр `σ`, а параметр `μ` сам по себе не влияет на эффективность оценки
Ответ: В нормальной модели выборочное среднее обычно более эффективно (интуитивно), чем медиана, за счёт меньшей `variance`.
В нормальной модели выборочное среднее является `MLE` для параметра `μ` и совпадает с эффективной оценкой по неравенству Крамера — Рао: его дисперсия равна `σ² / n` и не превосходится никакой другой несмещённой оценкой. Медиана для нормального распределения имеет дисперсию примерно `π · σ² / (2n)`, что в полтора раза больше, и не совпадает с `MLE`. Поэтому при отсутствии выбросов и нормальности данных среднее предпочтительнее. Утверждение про равную эффективность ложно. От оценки `σ` эффективность точечной оценки `μ` не зависит.
Подробный разбор → 19Две оценки параметра `θ` обе обладают свойством несмещённости. У `θ_hat_A` дисперсия меньше, чем у `θ_hat_B` на том же размере выборки. Что можно сказать про эффективность (интуитивно)?
A`θ_hat_B` интуитивно эффективнее, потому что у неё больше дисперсия и она якобы реагирует на данные шире и чувствительнее
B`θ_hat_A` интуитивно эффективнее, потому что при равной несмещённости она даёт меньшую дисперсию на той же выборке
CОбе оценки одинаково эффективны, раз обе несмещённые: дисперсия в этом случае не имеет значения для эффективности
DСравнивать эффективность нельзя до тех пор, пока неизвестно, какая из оценок получена методом максимального правдоподобия
Ответ: При одинаковой несмещённости более эффективная оценка (интуитивно) обычно означает меньшую дисперсию.
Эффективность интуитивно про то, насколько точно оценка использует данные: меньше колебаний при той же информации — лучше. Если обе оценки несмещённые, сравнение часто сводится к дисперсии: меньшая дисперсия даёт более стабильные результаты. Частая путаница — воспринимать эффективность как скорость вычислений или сложность формулы.
Подробный разбор → 20Вы выбираете способ оценить средний доход пользователя: (A) усечённое среднее (снижает влияние выбросов) — может добавить смещение, но уменьшает дисперсию; (B) обычное среднее — меньше смещение, но более шумное. Какой принцип помогает сравнить такие точечные оценки по качеству?
AСравнить ожидаемую ошибку MSE = смещение² + дисперсия и выбрать оценку с меньшим значением
BВсегда выбирать оценку с нулевым смещением, даже если её дисперсия на этой выборке огромна
CВсегда выбирать оценку с минимальной дисперсией, даже если её смещение на задаче большое
DВыбирать оценку, которая выглядит ближе к методу максимального правдоподобия, без оглядки на цель
Ответ: Для выбора между смещением и дисперсией используйте MSE = смещение² + дисперсия на вашей задаче.
Небольшое смещение может быть оправдано, если оно сильно снижает дисперсию и делает метрику стабильнее. MSE объединяет оба компонента и позволяет сравнивать методы без иллюзии, что существует одна «идеальная» оценка. Практическая ловушка — оптимизировать только несмещённость, игнорируя шум, особенно на малых выборках. В продуктовой аналитике часто важна воспроизводимость решения, а не идеальная теоретическая точность.
Подробный разбор →