Statistik 3 - Beispiel 4

From StatWiki
Jump to: navigation, search

Angabe: media:Stat3-examples-2.pdf

Bsp. 4a

Annahmen:

  1. \operatorname{E}(u_i) = 0
  2. \operatorname{Cov}(u_i,u_j) = \operatorname{E}(u_i,u_j) = 0 , i\ne j
  3. \operatorname{E}(u_i^2) = \sigma^2
  4. x_i \, sind nicht zufällig

Weshalb wird f(a,b) = \sum_{i=1}^n (y_i - a - b x_i)^2 durch die LS-Schätzer \hat a und \hat b minimiert?

 \frac{\partial f}{\partial a} = \left( \sum_{i=1}^n (y_i - a - b x_i) \right) \cdot 2 \cdot -1

 \frac{\partial f}{\partial b} = \left( \sum_{i=1}^n (y_i - a - b x_i) \cdot 2 \cdot -x_i \right)

Minimieren

\frac{\partial f}{\partial \hat a} = 0

Normalgleichung

\left( \sum_{i=1}^n (y_i - \hat a - \hat b x_i) \right) \cdot -2 = 0

\left( \sum_{i=1}^n (y_i - \hat a - \hat b x_i) \right) = 0

\sum_{i=1}^n (y_i - \hat a - \hat b x_i) = 0

\sum_{i=1}^n y_i = n \hat a + \hat b \sum_{i=1}^n x_i)

durch n\,

\bar y = \hat a + \hat b \bar x

\hat a = \bar y - \hat b \bar x


und jetzt für b\,

\frac{\partial f}{\partial \hat b} = 0

Normalgleichung

\left( \sum_{i=1}^n (y_i - \hat a - \hat b x_i) \cdot 2 \cdot -x_i \right) = 0

\sum_{i=1}^n x_i y_i - \hat a \sum_{i=1}^n x_i - \hat b \sum_{i=1}^n  x_i^2 = 0

durch n\,

\overline{x y} = \hat a \bar x + \hat b \overline{x_i^2}

\hat b = \frac{\overline{x y} - \hat a \bar x}{\overline{x_i^2}}


Jetzt einsetzen und nach \hat a \, auflösen:

\hat a = \bar y - \left( \frac{\overline{x y} - \hat a \bar x}{\overline{x_i^2}} \right) \bar x

\overline{x_i^2} \hat a = \bar y \overline{x_i^2} - \overline{x y} \bar x - \hat a \bar{x}^2

\overline{x_i^2} \hat a + \hat a \bar{x}^2 = \bar y \overline{x_i^2} - \overline{x y} \bar x

\hat a \cdot \left( \overline{x_i^2} + \bar{x}^2 \right) = \bar y \overline{x_i^2} - \overline{x y} \bar x

\hat a = \frac{\bar y \overline{x_i^2} - \overline{x y} \bar x}{\overline{x_i^2} + \bar{x}^2}

\hat a = \bar y - \hat b \bar x (Meine momentane Lieblingsdarstellung)

und jetzt für \hat b \, auflösen:

\hat b = \frac{\overline{x y} - (\bar y - \hat b \bar x) \bar{x}}{ \overline{x_i^2} }

\hat b \overline{x_i^2} = \overline{x y} - \bar y \bar x + \hat b \bar{x}^2

\hat b \left( \overline{x_i^2} - \bar{x}^2 \right) = \overline{x y} - \bar y \bar x

\hat b = \frac{\overline{x y} - \bar y \bar x}{\overline{x_i^2} - \bar{x}^2}

\hat b = \frac{\operatorname{Cov}(x,y)}{\operatorname{Var}(x)}

\hat b = \frac{\sum (x_i - \bar{x}) y_i } { \sum (x_i - \bar x)^2 }  (Meine momentane Lieblingsdarstellung)

Und nun noch die Hesse Matrix um zu zeigen, dass es auch wirklich ein Minimum ist

 \frac{\partial f}{\partial a^2} = 1

 \frac{\partial f}{\partial b^2} = \overline{x^2}

 \frac{\partial f}{\partial a \partial b} = \frac{\partial f}{\partial b \partial a} = \bar x


H = \begin{pmatrix}
 \frac{\partial f}{\partial a^2} & \frac{\partial f}{\partial a \partial b} \\ 
 \frac{\partial f}{\partial b \partial a} & \frac{\partial f}{\partial b^2} 
\end{pmatrix}

Damit \hat a \, und \hat b \, ein Minimum sind muss die Hesse Matrix positiv definit sein. Das ist gleich bedeutend damit, dass die Determinate größer 0 ist.


\operatorname{det}(H) = (1 \cdot \overline{x^2}) - (\bar{x} \cdot \bar{x}) = \overline{x^2} - \bar{x}^2 =
\operatorname{Var}(x)

Und solange es mindestens 2 nicht-gleiche Punkte x_i\, gibt, gilt:


\operatorname{Var}(x) > 0