Точечные оценки и MLE: вопросы для собеседования (часть 3)

Несмещённость — это 'правильность в среднем' на фиксированном размере выборки: `E[θ_hat]=θ`. Состоятельность означает, что при больших `n` оценка приближается к `θ`, даже если на малых выборках есть смещение. Поэтому ни одно из этих свойств не гарантирует другое автоматически. Ошибка — считать, что достаточно добиться несмещённости, и вопрос качества оценки закрыт.

Параметр `λ` отвечает за скорость наступления события: чем он больше, тем меньше типичное время ожидания. Поэтому логично, что оценка `λ` обратно связана с наблюдаемым средним `x̄`. Частая ошибка — перепутать параметр `λ` и `mean` и подставить среднее напрямую. Также важно помнить про единицы времени: `λ` измеряется как 1/время.

Для независимых наблюдений `likelihood` часто равен произведению многих вероятностей, и числа быстро становятся слишком малыми для машинной арифметики. `log` превращает произведение в сумму и обычно делает градиенты удобнее. При этом точка максимума не меняется, потому что `log` монотонно возрастает. Ошибка — думать, что переход к `log` меняет саму точечную оценку `MLE`.

Несмещённость не гарантирует меньшую ошибку на практике, если оценка очень шумная. `MSE` учитывает и систематический сдвиг (`bias`), и разброс (`variance`), поэтому подходит для выбора между оценками. Типичная ошибка — выбирать оценку только потому, что она несмещённая, игнорируя нестабильность результата.

Во многих регулярных задачах `MLE` приближается к истинному параметру при росте `n` и становится более стабильной. Это связано с идеей, что при больших выборках `MLE` использует доступную информацию почти оптимально, то есть повышается эффективность (интуитивно). Однако на малых выборках `MLE` может быть смещённой и чувствительной к выбросам или неверной модели. Ошибка — ожидать от `MLE` гарантированных свойств без проверки предпосылок.