Statistik 3 - Beispiel 11

From StatWiki
Jump to: navigation, search

In den folgenden Aufgaben sei das homogene (d.h. Intercept ist 0) Modell

y_i = b x_i + u_i \, 

gegeben. Weiters gelte

  1.  \operatorname{E}(u_i) = 0
  2.  \operatorname{E}(u_i^2) = \sigma_2
  3.  \operatorname{E}(u_i, u_j) = 0, i \ne j
  4.  x_i \, nicht zufällig

Bsp 11 a

Minimum finden

f(b) = \sum (y_i - \tilde b x_i)^2

\frac{\partial f}{\partial b} = 2 \sum (y_i - \tilde b x_i) \cdot -x_i

\frac{\partial f}{\partial b \partial b} = 2 \sum x_i^2 > 0 ist immer grösser 0, und daher ein minimum!

\tilde b finden

\sum (y_i - \tilde b x_i) \cdot x_i = 0

\sum y_i x_i - \sum \tilde b x_i^2 = 0

\tilde b = \frac{\sum y_i x_i}{\sum x_i^2}

Bsp 11 b

Ist der Schätzer \tilde b unverzerrt?


\operatorname{E}(\tilde b) = 
\operatorname{E}(\displaystyle \frac{\sum y_i x_i}{\sum x_i^2}) = 
\displaystyle \frac{\sum \operatorname{E}(y_i) x_i}{\sum x_i^2} = 
\displaystyle \frac{\sum \operatorname{E}(b x_i + u_i) x_i}{\sum x_i^2} = 
\frac{\sum b x_i^2 + \operatorname{E}(u_i) x_i}{\sum x_i^2} = 
b \frac{\sum x_i^2}{\sum x_i^2} = b

Berechne die Varianz von \tilde b\,


\operatorname{Var}(\tilde b) = 
\operatorname{E}((\tilde b - \operatorname{E}(\tilde b)^2) =
\operatorname{E}((\tilde b - b)^2) =
\operatorname{E}\left(\left(\displaystyle \frac{\sum y_i x_i}{\sum x_i^2} -  b\right)^2\right) =
\operatorname{E}\left(\left(\displaystyle \frac{\sum (b x_i + u_i) x_i}{\sum x_i^2} - b\right)^2\right) =


=
\operatorname{E}\left(\left(\displaystyle \frac{b \sum x_i^2 + \sum x_i u_i}{\sum x_i^2} - b\right)^2\right) =
\operatorname{E}\left(\left(\displaystyle \frac{b \sum x_i^2 + \sum x_i u_i - b \sum x_i^2}{\sum x_i^2}\right)^2\right) = 
\operatorname{E}\left(\left(\displaystyle \frac{\sum x_i u_i}{\sum x_i^2}\right)^2\right) =

Hier wird verwendet, dass x_i \, nicht zufällig ist und \operatorname{E}(u_i u_j) = 0 \,.

=

\operatorname{E}\left(\displaystyle \frac{\sum x_i^2 u_i^2 + \sum_{i \ne j} x_i x_j u_i u_j }{(\sum x_i^2)^2} \right) = 
\displaystyle \frac{\sum x_i^2 \operatorname{E}(u_i^2) + \sum_{i \ne j} x_i x_j \operatorname{E}(u_i u_j) }{(\sum x_i^2)^2}  = 
\displaystyle \frac{\sum x_i^2 \operatorname{E}(u_i^2)}{(\sum x_i^2)^2}  = 
\displaystyle \frac{\sigma^2 \sum x_i^2}{(\sum x_i^2)^2}  = 
\displaystyle \frac{\sigma^2}{\sum x_i^2}

\operatorname{Var}(\tilde b) = \displaystyle \frac{\sigma^2}{\sum x_i^2}

Bsp 11 c

Es soll folgende Beziehung überprüft werden:

 
\begin{matrix}
 \underbrace{\sum (y_i - \bar y)^2} & = & \underbrace{\sum (\tilde{y}_i - \bar{y})^2} & + & \underbrace{\sum \tilde{u}_i^2}\\
 \mathrm{TSS} & &  \mathrm{ESS} & &  \mathrm{RSS} 
\end{matrix}

Expanden von TSS:


\sum (y_i - \bar y)^2 = 
\sum (b x_i + u_i - \bar y)^2 = 
\sum (u_i + b x_i - \bar y)^2 = 
(\sum u_i)^2 + \sum (b x_i - \bar y)^2 + \sum u_i (b x_i - \bar y) =


\begin{matrix}
= & \underbrace{\sum u_i^2} & + & \underbrace{\sum (\tilde{y}_i - \bar y)^2} & + \sum u_i (b x_i - \bar y) = \\
& \mathrm{RSS} & & \mathrm{ESS} &
\end{matrix}

Jetzt müssen wir uns noch den letzten Term anschauen: \sum u_i (b x_i - \bar y) \,

 \sum u_i (b x_i - \bar y) = b \sum u_i x_i - \bar y \sum u_i

Zumindest ist \sum u_i x_i = 0 \, laut Normalgleichung, aber  \sum u_i \ne 0 .

Daher gilt die Zerlegung in diesem Modell nicht.


 \begin{matrix}
 = & \underbrace{\sum (\tilde{y}_i - \bar y)^2} & + & \underbrace{\sum u_i^2} & + \bar y \sum u_i \\
 & \mathrm{ESS} & & \mathrm{RSS} &
 \end{matrix}