Задача по вероятности из Сириуса
Функция риска — это функция от параметра θ, который нам нужно оценить. Вычислим её на конкретном примере.
Допустим, у нас есть монетка, но мы не знаем, честная она или нет, то есть с равной вероятностью она выпадает орлом и решкой или не с равной. Мы хотим оценить параметр θ — вероятность того, что монетка выпадет орлом вверх.
Подкинув эту монетку 100 раз, получим выборку x1,…,xn. Естественно считать, что эта выборка порождена случайными величинами ξ1,…,ξn, где величина ξi принимает значение 1 с вероятностью θ, а значение 0 — с вероятностью 1−θ.
В качестве оценки θ^n выберем значение x1. Вычислите функцию риска для этой оценки и функции потерь u(x)=x2.
Rθ^n(θ)=E(u(θ^n−θ))=E(ξ1−θ)2=
= … θ2+ … θ+ …
Вместо троеточий нужно поставить числа или дроби
Попробуем посчитать среднеквадратичный риск, банально раскрыв полный квадрат и применив линейность матожидания
Аналогичный ответ можно получить, если вспомнить, что среднеквадратичный риск разваливается в сумму дисперсии и квадрата смещения (bias--variance decomposition для MSE). Наш оценщик, равный ξ₁, очевидно несмещенный, поэтому риск просто равен дисперсии. А дисперсия распределения Бернулли с параметром θ как раз равна θ(1 - θ) = -θ² + θ