Mathematische Statistik - Bayes-Verfahren

From StatWiki

Jump to: navigation, search

Bayes-Verfahren

Erinnere Kapitel 2 / Entscheidungstheorie 

Verlustfunktion  l(\theta, a) \quad l:\Theta:A \rightarrow \mathbb{R}^{+} \, 

z.b. wenn  \hat \theta = a \quad l = (\theta - a)^2 \,

Risiko  R(\theta, \delta) = \operatorname{E}_{\theta} \left[ l(\theta, \delta(X)) \right] = \int l(\theta, \delta(X)) \, d \operatorname{P}_\theta(X) \,

z.b.  \delta(X) = \hat \theta  \, oder  \delta(X) = q(\hat \theta) \,

Verleich von Schätzern \hat{\theta}_1, \hat{\theta}_2 \, direkt über Risiko funktioniert normalerweise nicht, da R(\theta, \hat{\theta}_1 \le R(\theta, \hat{\theta}_2 \, \forall \theta \, nicht zu erreichen ist (hier \delta_1(X) = \hat{\theta}_1, \delta_2(X) = \hat{\theta}_2 \,)

Ausweg liefert 'Bayes-Risiko von \delta \,: r(\pi, \delta) := \operatorname{E}_\pi R(\theta, \delta) = \int R(\theta, \delta) \, d \pi(\theta) \, ( \pi \, apriori für \theta \,)

r(.,.) \, liefert eine Zahl \ge 0 \,!

Bayes-Risiko des Schätzproblems: R_B(\pi) = \inf \{ r(\pi,\delta) | \delta \ldots \mbox{ Schaetzer fuer } q(\theta) \} \,

Suche Bayes-Regel \delta^\star \, sodass r(\pi, \delta^\star) = R_B(\pi) \,

Betrachten zuerst Schätzungen von q(\theta) \, und quadratische Verlustfunktion l(\theta, a) = (q(\theta) - a)^2 \,

Satz 7.1

Sei R(\theta, \delta) = \operatorname{E}_\theta (q(\theta) - \delta(X))^2 \, quadratisches Risiko und r(\pi, \delta) = \operatorname{E}_\pi R(\theta, \delta) \, das Bayes Risiko. Dann ist die Bayes Regel 

 \delta^\star (X) = \operatorname{E} [q(\theta)|X] = 
\begin{cases}
\int q(\theta) \pi(\theta|X_x) \, d \theta & \mbox{ (stetig)} \\
\sum_{i=1}^k q(\theta_i) \pi (\theta_i|X=x) & \mbox{ (diskret)}
\end{cases}
\,

Beweis: Setze q(\theta) \rightarrow Y \, und \delta^\star(X) \rightarrow \mu(Z) \, und wende Satz 3.1 an (Idee: prognostiziere q(\theta) \,)

Beispiel 7.1

Wollen Erwartungswert \theta \, einer Normalverteilung bei bekannter Varianz \sigma^2 \, schätzen. Beobachtungen: X_1, \ldots, X_n \sim N(\theta, \sigma^2) \, i.i.d.

Konjugierte a-priori \pi(\theta) \sim N(\mu, \tau^2) \, Bayes-Schätzer?

\begin{align} \pi(\theta|x) & \propto p(x|\theta) \pi(\theta) \\ & \propto \exp \left[ - \frac{1}{2 \sigma^2} \sum (x_i - \theta)^2 \right] \exp \left[ - \frac{1}{2 \tau^2} (\theta - \mu)^2 \right] \\ \end{align}

Retrieved from "http://www.eisber.net/StatWiki/index.php/Mathematische_Statistik_-_Bayes-Verfahren"
Personal tools