Statistik 3 - Beispiel 25

From StatWiki
Jump to: navigation, search

Bespiel 25 b und c

Bestimmen Sie die Formeln für die LS-Schätzer für a und b aus der 2 Formel \hat \beta = (X'X)^{-1} X'y \,. Weshalb ist X'X\, invertierbar?

Zeigen Sie insbesondere, dass sich die LS-Schätzer allein durch die Stichprobenmittel \bar x\, und \bar y\,, sowie durch die Stichprobenvarianzen

und kovarianzen s_{x,x}, s_{y,y} \, und s_{x,y} \, ausdrücken lassen.

Die Vektorkomponenten \hat{\beta}_1 \, und \hat{\beta}_2 \, stimmen also mit den Schätzern \hat a, \hat b \, aus Aufgabe 4 überein.

Formel für Inverse einer 2x2-Matrizen

A^{-1} = \begin{pmatrix}
a & b \\ c & d \\
\end{pmatrix}^{-1} =
\frac{1}{ad - bc} \begin{pmatrix}
d & -b \\ -c & a \\
\end{pmatrix}

LS-Schätzer aus Matrix schreibeweise


\hat \beta = \begin{pmatrix} \hat{\beta}_1 \\ \hat{\beta}_2 \end{pmatrix} = (X'X)^{-1} X'y

\hat a = \begin{pmatrix} 1 & 0 \end{pmatrix} \hat \beta = \hat{\beta}_1

\hat b = \begin{pmatrix} 0 & 1 \end{pmatrix} \hat \beta = \hat{\beta}_2


(X'X)^{-1} = 

\frac{1}{ n \sum_{i=1}^n x_i^2 - \left(\sum_{i=1}^n x_i\right)^2 } 
  \begin{pmatrix}
   \sum_{i=1}^n x_i^2 & - \sum_{i=1}^n x_i \\
   - \sum_{i=1}^n x_i & n
  \end{pmatrix} 
=

\frac{1}{n^2 s_{x,x}} 
  \begin{pmatrix}
   \sum_{i=1}^n x_i^2 & - \sum_{i=1}^n x_i \\
   - \sum_{i=1}^n x_i & n
  \end{pmatrix}
= 
\frac{1}{n s_{x,x}} 
  \begin{pmatrix}
   \bar{x^2} & - \bar{x} \\
   - \bar{x} & 1
  \end{pmatrix}


 
\hat \beta = 
(X'X)^{-1} X'y =
\frac{1}{n s_{x,x}} 
  \begin{pmatrix}
   \overline{x^2} & - \bar{x} \\
   - \bar{x} & 1
  \end{pmatrix}
X'y =
\frac{1}{n s_{x,x}} 
  \begin{pmatrix}
   \overline{x^2} & - \bar{x} \\
   - \bar{x} & 1
  \end{pmatrix}

  \begin{pmatrix}
  \sum_{i=1}^n y_i \\
  \sum_{i=1}^n x_i y_i
  \end{pmatrix} =

\frac{1}{s_{x,x}} 
  \begin{pmatrix}
   \overline{x^2} & - \bar{x} \\
   - \bar{x} & 1
  \end{pmatrix}

  \begin{pmatrix}
  \bar y \\
  \overline{x y}
  \end{pmatrix}


\hat a = 
\begin{pmatrix} 1 & 0 \end{pmatrix} \hat \beta =
\begin{pmatrix} 1 & 0 \end{pmatrix} 
  \frac{1}{s_{x,x}} 

  \begin{pmatrix}
   \overline{x^2} & - \bar{x} \\
   - \bar{x} & 1
  \end{pmatrix}

  \begin{pmatrix} \bar y \\ \overline{x y} \end{pmatrix} =

  \frac{1}{s_{x,x}} 
  \begin{pmatrix}
   \overline{x^2} & - \bar x
  \end{pmatrix}
  \begin{pmatrix} \bar y \\ \overline{x y} \end{pmatrix} =

  \frac{\overline{x^2} \bar y - \bar x \overline{x y} }{s_{x,x}}  =


\frac{\overline{x^2} \bar y - \bar x \overline{x y} - \bar y \bar{x}^2 + \bar y \bar{x}^2}{s_{x,x}}  = 

\frac{\overline{x^2} \bar y - \bar y \bar{x}^2 + \bar y \bar{x}^2 - \bar x \overline{x y}}{s_{x,x}}  = 

\bar y \frac{\overline{x^2} - \bar{x}^2}{s_{x,x}} - \bar{x} \frac{\overline{x y} - \bar y \bar x}{s_{x,x}}  = 

\bar y \frac{s_{x,x}}{s_{x,x}} - \bar{x} \frac{s_{x,y}}{s_{x,x}}  = 

\bar y - \bar{x} \frac{s_{x,y}}{s_{x,x}} =

\bar y - \bar{x} \hat b



\hat b = 
\begin{pmatrix} 0 & 1 \end{pmatrix} \hat \beta =
\begin{pmatrix} 0 & 1 \end{pmatrix} 
  \frac{1}{s_{x,x}} 

  \begin{pmatrix}
   \overline{x^2} & - \bar{x} \\
   - \bar{x} & 1
  \end{pmatrix}

  \begin{pmatrix} \bar y \\ \overline{x y} \end{pmatrix} =

  \frac{1}{s_{x,x}} 
  \begin{pmatrix}
   - \bar{x} & 1
  \end{pmatrix}
  \begin{pmatrix} \bar y \\ \overline{x y} \end{pmatrix} =

  \frac{\overline{x y} - \bar{x} \bar y}{s_{x,x}} = 

  \frac{s_{x,y}}{s_{x,x}}

Weshalb ist X'X invertierbar?

X'X \, ist singulär (d.h. es hat keine Inverse), wenn ein \alpha \in \mathbb{R}^k \, mit \alpha \ne 0\, und (X'X) \alpha = 0\,

Wichtig Aus \alpha \ne 0 \, folgt nicht, das kein \alpha_i = 0 existiert. D.h. einzelne Komponenten von \alpha \, 
können sehr wohl 0 sein, solange zumindest ein \alpha_j \ne 0.

\alpha' (X'X) \alpha = 0 \, auf beiden Seiten mit \alpha' \, multipliziert.

(X \alpha)'(X \alpha) = 0 \,

z = X \alpha \, mit Dimension n \times 1 \,

z'z = 0 \,

\sum_{i=1}^n z_i^2 = 0\,

z_1 = z_2 = \ldots = z_n = 0 \Leftrightarrow z = 0\,

X \alpha = x_{.,1} \alpha_1 + x_{.,2} \alpha_2 + \ldots + x_{.,n} \alpha_k = 0 \, Wichtig: \alpha \ne 0\,

Rang von X\, ist die Anzahl der linear unabhängigen Spalten. 
Eine linear abhängige Spalte bedeutet: x_{.,i} = \gamma x_{.,j}\, für i \ne j \,

Ist somit der \operatorname{rang}(X) < k \, ist X'X \, singulär.

Beispiel: 

X = (x_{.,1}, x_{.,2}, 3 \cdot x_{.,1}) \,

\alpha = \begin{pmatrix} 3 \\ 0 \\ -1 \end{pmatrix} 

Dann ist X \alpha = 0 \,