Точечные оценки и MLE: вопросы для собеседования (часть 2)
Метод максимального правдоподобия (MLE), несмещённость, состоятельность, эффективность — свойства оценок, которые определяют их качество. На собеседовании просят вывести MLE для простого распределения или объяснить, почему выборочное среднее — хорошая оценка. Это теоретическая база, которая лежит под всеми статистическими тестами.
Вопросы 6–10 из 20
6Как лучше всего описать состоятельность последовательности оценок `θ_hat_n`?
AДля любого `n` выполняется `E[θ_hat_n] = θ`, то есть оценка обязательно несмещённая на каждом размере выборки
BДля любого `n` дисперсия оценки `θ_hat_n` равна 0, поэтому она не отклоняется от истинного значения параметра
CПри росте `n` оценка приближается к параметру: `θ_hat_n` сходится к `θ` (например, по вероятности) при увеличении выборки
DОценка является методом максимального правдоподобия (`MLE`), значит она автоматически состоятельна по самому определению
Ответ: Состоятельность — это способность оценки становиться всё ближе к `θ` при росте размера выборки, обычно по вероятности.
Состоятельная оценка использует информацию так, что вероятность большого отклонения от `θ` уменьшается при росте `n`. Она может быть смещённой на малых выборках, но смещение может стремиться к нулю с ростом данных. Частая ошибка — ожидать от состоятельности высокой точности уже на маленьком `n`: гарантии относятся к асимптотике, а не к фиксированной выборке.
Подробный разбор → 7Что делает метод максимального правдоподобия (`MLE`) при получении точечной оценки параметра?
AВыбирает значение параметра, которое минимизирует `p-value` теста на согласие с моделью на наблюдаемой выборке.
BВыбирает значение параметра, при котором наблюдаемые данные имеют максимальное правдоподобие в рамках заданной модели.
CВыбирает значение параметра так, чтобы смещение оценки относительно истинного значения было заведомо равно нулю.
DВыбирает значение параметра, которое всегда минимизирует дисперсию оценки независимо от размера выборки и распределения.
Ответ: `MLE` выбирает значение параметра, которое делает наблюдаемые данные наиболее правдоподобными в рамках заданной модели.
В `MLE` вы задаёте вероятностную модель и ищете значение параметра, максимизирующее правдоподобие наблюдений. Это не про вероятность самого параметра, а про то, насколько хорошо параметр объясняет данные. Типичная ошибка — считать, что `MLE` автоматически гарантирует несмещённость, минимальную дисперсию или устойчивость к выбросам. Эти свойства зависят от модели и часто верны лишь асимптотически.
Подробный разбор → 8В A/B тесте в группе A 30 оплат из 200 пользователей. Если модель — Бернулли с параметром `p` (это доля платящих), какая точечная оценка `MLE` для `p`?
A`p_hat = 30/200`: оценка `MLE` равна доле успехов в выборке (число оплат поделено на число пользователей)
B`p_hat = 30`: значение равно числу оплат, оно не нормировано на размер выборки и не является долей события
C`p_hat = 200`: значение равно размеру выборки и оно не является оценкой вероятности успеха в одном испытании
D`p_hat = 1 - 30/200`: значение равно оценке вероятности неуспеха `1-p`, а не самой вероятности успеха `p`
Ответ: Для Бернулли `MLE` для `p` совпадает с выборочной долей `p_hat = k/n`.
Интуитивно параметр `p` должен отражать наблюдаемую частоту успехов, чтобы данные были наиболее правдоподобны. Поэтому `MLE` равен доле оплат в выборке: `p_hat = 30/200 = 0.15`. Это классический пример, где `MLE` совпадает с понятной статистикой. Типичная ошибка — делить на число событий или сессий вместо числа пользователей-наблюдений.
Подробный разбор → 9Для `Normal(μ,σ)` `MLE` для `σ^2` часто записывают как `σ_hat^2 = (1/n) Σ (xi - x̄)^2`, а несмещённую оценку как `s^2 = (1/(n-1)) Σ (xi - x̄)^2`. Какое утверждение верно?
AОбе формулы для `σ^2` всегда дают одинаковый численный результат при любом `n` и `x̄`, поэтому выбор делителя `n` или `n-1` не влияет
BНесмещённая оценка `s^2` всегда меньше, чем `MLE` для `σ^2`, потому что её делитель `n-1` строго больше делителя `n` в формуле максимума правдоподобия
CДелитель `n-1` корректирует смещение из-за использования `x̄`, и при большом `n` разница между `MLE` и несмещённой оценкой становится небольшой
D`MLE` для `σ^2` при выборке из `Normal(μ,σ)` всегда несмещён по построению, поэтому делить сумму квадратов отклонений на `n-1` математически избыточно
Ответ: Разница `n` vs `n-1` — это корректировка смещения оценки дисперсии, заметная на малых выборках.
`MLE` оптимизирует функцию правдоподобия, но это не гарантирует несмещённость на конечном `n`. При вычислении дисперсии мы используем `x̄`, и из-за этого сумма квадратов в среднем немного занижает истинную `σ^2`, что и компенсирует деление на `n-1`. На больших выборках различие почти исчезает, но важно понимать, какую именно формулу вы применяете в отчётах. Частая ошибка — сравнивать метрики, посчитанные разными определениями.
Подробный разбор → 10В метрике дохода есть редкие огромные значения (выбросы). Вам нужна стабильная точечная оценка «типичного» пользователя для мониторинга эффекта изменения цены. Какое решение наиболее разумно?
AИспользовать обычное среднее без модификаций: оно несмещённое и универсально подходит для любого распределения метрики
BУдалять большие значения вручную без зафиксированного правила: подход обеспечит чистую и интерпретируемую картину мониторинга
CПрименять оценку максимального правдоподобия для нормальной модели: подход даёт оптимальное значение даже для тяжёлых хвостов
DИспользовать робастную оценку (медиану или усечённое среднее): возможно небольшое смещение, но меньше дисперсия и устойчивость
Ответ: Робастная оценка может снизить шум и сделать мониторинг устойчивее, даже ценой небольшого смещения.
Распределения дохода и выручки имеют тяжёлые хвосты, и обычное среднее на таких данных нестабильно: одно крупное значение сдвигает оценку на десятки процентов и шумит мониторинг. Робастные оценки — медиана или усечённое среднее (например, среднее без верхних 5% и нижних 5%) — жертвуют небольшим смещением, но кратно снижают дисперсию и устойчивы к выбросам. Удаление выбросов «вручную» без правила превращает оценку в субъективную. `MLE` для нормальной модели даёт обычное среднее, что не решает проблему тяжёлого хвоста.
Подробный разбор →