UE Stochastic Processes - Beispiel 20

From StatWiki

Jump to: navigation, search

Let \tau_i(n) \, denote the times when the Markov chain X_n \, visits state 'i' (assuming it started in state 'i') i.e. 

 \tau_i(1) := \inf\{m \ge 1 :X_m = 1\} \, and  \tau_i(n+1) := \inf\{m > \tau_i(n) : X_m = i \} \,

Further let 

 \alpha_0 := 0, \qquad a_1 := \tau_1(1),  \, and  \alpha_{n+1} := \tau_i(n+1) - \tau_i(n) \,

on events where they are well defined. Let B(N) \, denote the number of blocks that one can squeeze into [0,N] \, i.e. 

 B(N) := \sup\{k \ge 0 : \tau_i(k) \le N \} \,

Notice that \tau_i(B(N)) \le N \le \tau_i(B(N)+1) \,. Now using the fact that the sequence (\epsilon_n)_n \ge 1 \, is i.i.d. where \epsilon_n \,'s are defined are 

 \epsilon_1 = (\alpha_1, X_1, \ldots, X_{\tau_i(1)} \, and  \epsilon_{n+1} = (\alpha_{n+1}, X_{\tau_i(n)+1}, \ldots, X_{\tau_i(n + 1)} \,

show that \tau_1(n)/n \rightarrow \operatorname{E}_i \tau_i(1) \, and hence that N/B(N) \rightarrow \operatorname{E}_i \tau_i(1) \, 

 N \ldots \, Anzahl der gesamt Schritte
 n \ldots \, Anzahl der Rückkehren zu Zustand 'i'
 \tau_i(n) \ldots \, Zeitpunkt der n-ten Rückkehr (event times)
 \alpha_n \ldots \, Zeit zwischen n und n-1 Rückkehr (inter-event times)
 B(N) \ldots \, Anzahl der Blöcke in  [0,N] \,

 \tau(n)/n \rightarrow \operatorname{E}_i \tau_i(1) \,
 \tau_i(n) = \sum_{k=0}^n \alpha_k \,

Nun wird das Gesetz der grossen Zahlen angewendet und zum Schluss wird noch verwendet, dass die  \alpha_i \, unabhängig auf Grund der Markov Eigentschaft sind

\tau_i(n)/n = \frac 1 n \sum_{k=0}^n \alpha_k \xrightarrow[\mbox{a.s.}]{} \operatorname{E}(\alpha_i) = \operatorname{E}(\alpha_1)\, 

Jetzt wird die Definition von  \alpha_1 \, herangezogen

\operatorname{E}(\alpha_1) = \operatorname{E}(\tau_i(1))  \,

 \begin{array}{rcccl}
\tau_i(B(N)) & \le & N & \le & \tau_i(B(N)+1) \\\\
\cfrac{\tau_i(B(N))}{B(N)} & \le & \cfrac{N}{B(N)} & \le & \cfrac{\tau_i(B(N)+1)}{B(N)+1} - \cfrac{B(N)+1}{B(N)} \\\\
\cfrac{\tau_i(B(N))}{B(N)} & \le & \cfrac{N}{B(N)} & \le & \cfrac{\tau_i(B(N)+1)}{B(N)+1} - \left(1 + \cfrac{1}{B(N)}\right) \\\\
\operatorname{E}_i(\tau_i(1)) & \le & \lim_{N \rightarrow \infty} \cfrac{N}{B(N)} & \le & \operatorname{E}_i(\tau_i(1)) \qquad n \rightarrow \infty, B(N)\rightarrow \infty \\\\
\end{array}

 \Rightarrow \frac{N}{B(N)} \xrightarrow[\mbox{a.s.}]{} \operatorname{E}_i(\tau_i(1)) \,
Retrieved from "http://www.eisber.net/StatWiki/index.php/UE_Stochastic_Processes_-_Beispiel_20"
Personal tools