UE Stochastic Processes - Beispiel 23

From StatWiki
Jump to: navigation, search

For a Markov process with the transition matrix

\begin{pmatrix} 
0.25 &0.75 & 0 \\
0.75 & 0.25 & 0 \\
0 & 0 & 1 \\
\end{pmatrix}

(a) Find a stationary distribution.

\pi = (1/2, 1/2, 0) \, bzw. \pi = (0,0,1) \,

(b) Calculate m_i = \operatorname{E}_i \tau_i(1), the expected return time to state ’i’ assuming the Markov chain started in state ’i’ where i=1,2,3.

(c) Calculate \lim_{n \rightarrow \infty} P^n

Ich denke man muss einfach die stationären Verteilungen der abgeschlossenen Klassen in jede Zeile einsetzen.

\lim_{n \rightarrow \infty} P^n = \begin{pmatrix} 
1/2 & 1/2 & 0 \\
1/2 & 1/2 & 0 \\
0 & 0 & 1 \\
\end{pmatrix}