Statistische Informationsverarbeitung - Übung 9

From StatWiki

Jump to: navigation, search

Contents


Gelman-Rubin Konvergenzdiagnostik

Beispiel 14

Bezeichne X_t^{(i)} \, den Zeitschritt t der i-ten (von m parallelen) Markov-Ketten,

deren stationäre Verteilung Erwartungswert \mu \, und Varianz \sigma^2 \, besitzt.

Es gelten die folgenden Bezeichnungen aus der Vorlesung:

\bar{X}_{.}^{(i)} := \frac 1 n \sum_{t=1}^n X_t^{(i)}, \qquad \bar{X}_{..} := \frac 1 m \sum_{i=1}^m \bar{X}_{.}^{(i)}, \qquad s_i^2 := \frac{1}{n-1} \sum_{t=1}^n ( X_t^{(i)} - \bar{X}_{.}^{(i)})^2 \,

B:= \frac{n}{m-1} \sum_{i=1}^m ( \bar{X}_{.}^{(i)} - \bar{X}_{..})^2, \qquad W:= \frac 1 m \sum_{i=1}^m s_i^2, \qquad \hat{\sigma}^2 := \frac{n-1}{n} W + \frac 1 n B \,

Zeigen Sie:

(a)

\operatorname{E}(\bar{X}_{..}) = \mu \, 

 \begin{align}
\operatorname{E}(\bar{X}_{..})
& = \operatorname{E}\left(\frac 1 m \sum_{i=1}^m \bar{X}_{.}^{(i)} \right) \\
& = \frac 1 m \sum_{i=1}^m \operatorname{E}(\bar{X}_{.}^{(i)}) \\
& = \frac 1 m \sum_{i=1}^m \operatorname{E}\left( \frac 1 n \sum_{t=1}^n X_t^{(i)} \right) \\
& = \frac 1 m \sum_{i=1}^m \frac 1 n \sum_{t=1}^n \operatorname{E}( X_t^{(i)} ) \\
& = \frac 1 m \sum_{i=1}^m \frac 1 n \sum_{t=1}^n \mu \\
& = \frac 1 m \sum_{i=1}^m \mu \\
& = \mu
\end{align} \,

(b)

\operatorname{Var}(\bar{X}_{..}) = \operatorname{E}\left[\frac{1}{n m} B \right] \, 

 \begin{align}
\operatorname{Var}(\bar{X}_{..}) 
& = \operatorname{Var}\left(\frac 1 m \sum_{i=1}^m \bar{X}_{.}^{(i)} \right) \\
& = \frac{1}{m^2} \sum_{i=1}^m \operatorname{Var}(\bar{X}_{.}^{(i)}) \\
& = \frac{m}{m^2} \operatorname{Var}(\bar{X}_{.}^{(i)}) \\
& = \frac{1}{m} \operatorname{Var}(\bar{X}_{.}^{(i)}) 
\end{align} \,
 
Aufgrund der Unabhängigkeit der einzelnen Markov-Ketten, darf die Varianz in die Summe gezogen werden.

Im folgenden könnte alternative auch verwendet werden, dass \frac{1}{m-1} \sum_{i=1}^m ( \bar{X}_{.}^{(i)} - \bar{X}_{..})^2 \,
ein unverzerrter Schätzer für \operatorname{Var}(\bar{X}_{.}^{(i)})\, ist, da  \bar{X}_{.}^{(1)}, \bar{X}_{.}^{(2)}, \ldots, \bar{X}_{.}^{(m)} \, i.i.d. 
und somit \operatorname{E}\left[ \frac{1}{m-1} \sum_{i=1}^m ( \bar{X}_{.}^{(i)} - \bar{X}_{..})^2 \right] = \operatorname{Var}(\bar{X}_{.}^{(i)}) \,

 \begin{align}
\operatorname{E}(B) 
& =  \frac{n}{m-1} \operatorname{E}\left[ \sum_{i=1}^m ( \bar{X}_{.}^{(i)} - \bar{X}_{..})^2 \right] \\
& =  \frac{n}{m-1} \operatorname{E}\left[ \sum_{i=1}^m (\bar{X}_{.}^{(i)})^2 - 2 \bar{X}_{.}^{(i)} \bar{X}_{..} + \bar{X}_{..}^2 \right] \\
& =  \frac{n}{m-1} \operatorname{E}\left[ m \bar{X}_{..}^2 - 2 m \bar{X}_{..} \bar{X}_{..} + \sum_{i=1}^m (\bar{X}_{.}^{(i)})^2 \right] \\
& =  \frac{n}{m-1} \operatorname{E}\left[ m \bar{X}_{..}^2 - 2 m \bar{X}_{..}^2 + \sum_{i=1}^m (\bar{X}_{.}^{(i)})^2 \right] \\
& =  \frac{n}{m-1} \operatorname{E}\left[ \left( \sum_{i=1}^m (\bar{X}_{.}^{(i)})^2 \right) - m \bar{X}_{..}^2 \right] \\
& =  \frac{n}{m-1} \left[ \left( \sum_{i=1}^m \operatorname{E} \left[ (\bar{X}_{.}^{(i)})^2 \right] \right) - m \operatorname{E} \left[ \bar{X}_{..}^2 \right] \right] \\
& =  \frac{n}{m-1} \left[ \left( \sum_{i=1}^m \operatorname{E} \left[ (\bar{X}_{.}^{(i)})^2 \right] - \operatorname{E} \left[ \bar{X}_{.}^{(i)} \right]^2 + \operatorname{E} \left[ \bar{X}_{.}^{(i)} \right]^2 \right) \right] \\
&  \quad  - \frac{n}{m-1} \left[ m \operatorname{E} \left[ \bar{X}_{..} \right]^2 + m \operatorname{E} \left[ \bar{X}_{..} \right]^2 - m \operatorname{E} \left[ \bar{X}_{..}^2 \right] \right] \\

& =  \frac{n}{m-1} \left( \sum_{i=1}^m \operatorname{Var}(\bar{X}_{.}^{(i)}) + \operatorname{E} \left[ \bar{X}_{.}^{(i)} \right]^2 \right) \\
& \quad - \frac{n}{m-1} \left( m \operatorname{E} \left[ \bar{X}_{..} \right]^2 + m \left( \operatorname{E} \left[ \bar{X}_{..}^2 \right] - \operatorname{E} \left[ \bar{X}_{..} \right]^2 \right) \right] \\

& =  \frac{n}{m-1} \left[ \left( \sum_{i=1}^m \operatorname{Var}(\bar{X}_{.}^{(i)}) + \operatorname{E} \left[ \bar{X}_{.}^{(i)} \right]^2 \right) - m \operatorname{E} \left[ \bar{X}_{..} \right]^2 - m \operatorname{Var}(\bar{X}_{..}) \right] \\

& =  \frac{n}{m-1} \left[ m \operatorname{Var}(\bar{X}_{.}^{(i)}) + m \mu^2 - m \mu^2 - m \operatorname{Var}(\bar{X}_{..}) \right] \\
& =  \frac{mn}{m-1} \left[ \operatorname{Var}(\bar{X}_{.}^{(i)}) - \operatorname{Var}(\bar{X}_{..}) \right] \\
& =  \frac{mn}{m-1} \left[ m \operatorname{Var}(\bar{X}_{..}) - \operatorname{Var}(\bar{X}_{..}) \right] \\
& = \frac{mn}{m-1} \left[ (m - 1) \operatorname{Var}(\bar{X}_{..}) \right] \\
& =  mn \operatorname{Var}(\bar{X}_{..}) \\
\end{align}

 \Rightarrow \operatorname{Var}(\bar{X}_{..}) = \operatorname{E}\left[\frac{1}{n m} B \right] \,

(c)

\operatorname{E}(\hat{\sigma}^2) = \sigma^2 \,

Sie sollen hier annehmen, dass sich die Markov-Kette bereits in stationärer Verteilung befindet.

Hinweise:

  • Zeigen Sie \operatorname{E}(B) = n \operatorname{Var}(\bar{X}_{.}^{(i)}) \,.
  • Sie können die nachfolgende Relation verwenden. Nehmen Sie den Erwartungswert auf beiden Seiten. 
 \frac 1 n \sum_{t=1}^n ( X_t^{(i)} -\mu)^2 = \frac 1 n \sum_{i=1}^n  (X_t^{(i)} - \bar{X}_{.}^{(i)})^2 + (\bar{X}_{.}^{(i)} - \mu)^2 \,
  • Beachten Sie, zwischen welchen Variablen Unabhängigkeit herrscht (und zwischen welchen nicht!) 
 \begin{array}{rcl}
\frac 1 n \sum_{t=1}^n ( X_t^{(i)} -\mu)^2 & = & \frac 1 n \sum_{i=1}^n  (X_t^{(i)} - \bar{X}_{.}^{(i)})^2 + (\bar{X}_{.}^{(i)} - \mu)^2 \\\\
\frac 1 n \sum_{t=1}^n \operatorname{E}( X_t^{(i)} -\mu)^2 & = & \frac 1 n \sum_{i=1}^n  \operatorname{E}(X_t^{(i)} - \bar{X}_{.}^{(i)})^2 + \operatorname{E}(\bar{X}_{.}^{(i)} - \mu)^2 \\\\
\frac 1 n \sum_{t=1}^n \operatorname{E}( X_t^{(i)} -\mu)^2 & = & \frac 1 n \sum_{i=1}^n  \operatorname{E}(X_t^{(i)} - \bar{X}_{.}^{(i)})^2 + \operatorname{Var}(\bar{X}_{.}^{(i)}) \\\\
\frac 1 n \sum_{t=1}^n \operatorname{Var}( X_t^{(i)}) & = & \frac 1 n \sum_{i=1}^n  \operatorname{E}(X_t^{(i)} - \bar{X}_{.}^{(i)})^2 + \operatorname{Var}(\bar{X}_{.}^{(i)}) \\\\
\sigma^2 & = & \frac 1 n \sum_{i=1}^n  \operatorname{E}(X_t^{(i)} - \bar{X}_{.}^{(i)})^2 + \operatorname{Var}(\bar{X}_{.}^{(i)}) \\\\
\frac{n}{n-1} \sigma^2 & = &  \operatorname{E}\left(\frac{1}{n-1} \sum_{i=1}^n (X_t^{(i)} - \bar{X}_{.}^{(i)})^2\right) + \frac{n}{n-1} \operatorname{Var}(\bar{X}_{.}^{(i)}) \\\\
\frac{n}{n-1} \sigma^2 & = &  \operatorname{E}(s_i^2) + \frac{n}{n-1} \operatorname{Var}(\bar{X}_{.}^{(i)}) \\\\
\frac{n}{n-1} \sigma^2 & = &  \sigma^2 + \frac{n}{n-1} \operatorname{Var}(\bar{X}_{.}^{(i)}) \\\\

\sigma^2\left( \frac{n}{n-1} - 1 \right) & = &  \frac{n}{n-1} \operatorname{Var}(\bar{X}_{.}^{(i)}) \\\\
\frac{1}{n-1} \sigma^2 & = &  \frac{n}{n-1} \operatorname{Var}(\bar{X}_{.}^{(i)}) \\\\
\frac{1}{n} \sigma^2 & = & \operatorname{Var}(\bar{X}_{.}^{(i)}) \\\\

\end{array}

 \begin{align}
\operatorname{E}(\hat{\sigma}^2) 
& = \operatorname{E}\left[\frac{n-1}{n} W + \frac 1 n B\right] \\
& = \frac{n-1}{n} \frac 1 m \sum_{i=1}^m \operatorname{E}(s_i^2) + \operatorname{Var}( \bar{X}_{.}^{(i)} ) \\
& = \frac{n-1}{n} \sigma^2 + \operatorname{Var}( \bar{X}_{.}^{(i)} ) \\
& = \frac{n-1}{n} \sigma^2 + \frac{1}{n} \sigma^2 \\
& = \sigma^2
\end{align} \,

Beispiel 15

Zeigen Sie, dass die in 4.4 (in der VO fälscherweise als 4.3 bezeichnet) definierte Markov Kette \{X_t\}_{t \in \mathbb{N}} \,

die gewünschte stationäre Verteilung \pi(x) \propto \frac{g(x)}{1-\rho(x)} \, hat.

(Funktioniert analog zum entsprechenden Beweis für die MH-Kette). 

 k(x,y) = \rho(x) \delta_x(y) + (1-\rho(x)) g(y) \, wobei  g(y) \, eine Dichte ist und  \rho(x) \rightarrow [0,1] \,

 \delta_x(y) = \begin{cases} x = y & \infty \\ x \ne y & 0 \end{cases} 

Detailed Balance Equation:  \pi(x) k(x,y) = \pi(y) k(y,x) \,

Für  x = y \Rightarrow \pi(x) k(x,x) = \pi(x) k(x,x) \, (ist normalerweise erfüllt)

Für  x \ne y \,

 \begin{array}{rcl}
\pi(x) k(x,y) & = & \pi(y) k(y,x) \\\\
\cfrac{g(x)}{1-\rho(x)} (\rho(x) \delta_x(y) + (1-\rho(x)) g(y)) & = & \cfrac{g(y)}{1-\rho(y)} (\rho(y) \delta_y(x) + (1-\rho(y)) g(x)) \\\\
\cfrac{g(x)}{1-\rho(x)} (1-\rho(x)) g(y) & = & \cfrac{g(y)}{1-\rho(y)} (1-\rho(y)) g(x) \\\\
g(x) g(y) & = & g(y) g(x)
\end{array}
Retrieved from "http://www.eisber.net/StatWiki/index.php/Statistische_Informationsverarbeitung_-_%C3%9Cbung_9"