Mathematische Statistik - Bayes-Verfahren

From StatWiki
Jump to: navigation, search

Bayes-Verfahren

Erinnere Kapitel 2 / Entscheidungstheorie

Verlustfunktion  l(\theta, a) \quad l:\Theta:A \rightarrow \mathbb{R}^{+} \, 

z.b. wenn  \hat \theta = a \quad l = (\theta - a)^2 \,
Risiko  R(\theta, \delta) = \operatorname{E}_{\theta} \left[ l(\theta, \delta(X)) \right] = \int l(\theta, \delta(X)) \, d \operatorname{P}_\theta(X) \,

z.b.  \delta(X) = \hat \theta  \, oder  \delta(X) = q(\hat \theta) \,

Verleich von Schätzern  \hat{\theta}_1, \hat{\theta}_2 \, direkt über Risiko funktioniert normalerweise nicht, da  R(\theta, \hat{\theta}_1 \le R(\theta, \hat{\theta}_2 \, \forall \theta \, nicht zu erreichen ist (hier  \delta_1(X) = \hat{\theta}_1, \delta_2(X) = \hat{\theta}_2 \,)

Ausweg liefert 'Bayes-Risiko von  \delta \,:  r(\pi, \delta) := \operatorname{E}_\pi R(\theta, \delta) = \int R(\theta, \delta) \, d \pi(\theta) \, (  \pi \, apriori für  \theta \,)

 r(.,.) \, liefert eine Zahl  \ge 0 \,!

Bayes-Risiko des Schätzproblems:  R_B(\pi) = \inf \{ r(\pi,\delta) | \delta \ldots \mbox{ Schaetzer fuer } q(\theta) \} \,

Suche Bayes-Regel  \delta^\star \, sodass  r(\pi, \delta^\star) = R_B(\pi) \,

Betrachten zuerst Schätzungen von  q(\theta) \, und quadratische Verlustfunktion  l(\theta, a) = (q(\theta) - a)^2 \,

Satz 7.1

Sei  R(\theta, \delta) = \operatorname{E}_\theta (q(\theta) - \delta(X))^2 \, quadratisches Risiko und  r(\pi, \delta) = \operatorname{E}_\pi R(\theta, \delta) \, das Bayes Risiko. Dann ist die Bayes Regel

 \delta^\star (X) = \operatorname{E} [q(\theta)|X] = 
\begin{cases}
\int q(\theta) \pi(\theta|X_x) \, d \theta & \mbox{ (stetig)} \\
\sum_{i=1}^k q(\theta_i) \pi (\theta_i|X=x) & \mbox{ (diskret)}
\end{cases}
\,

Beweis: Setze  q(\theta) \rightarrow Y \, und  \delta^\star(X) \rightarrow \mu(Z) \, und wende Satz 3.1 an (Idee: prognostiziere  q(\theta) \,)

Beispiel 7.1

Wollen Erwartungswert  \theta \, einer Normalverteilung bei bekannter Varianz  \sigma^2 \, schätzen. Beobachtungen:  X_1, \ldots, X_n \sim N(\theta, \sigma^2) \, i.i.d.

Konjugierte a-priori  \pi(\theta) \sim N(\mu, \tau^2) \, Bayes-Schätzer?

 
\begin{align}

\pi(\theta|x) 
& \propto p(x|\theta) \pi(\theta) \\
& \propto \exp \left[ - \frac{1}{2 \sigma^2} \sum (x_i - \theta)^2 \right] \exp \left[ - \frac{1}{2 \tau^2} (\theta - \mu)^2 \right] \\

\end{align}