Statistik 3 - Prüfung 3.2.2006 - Beispiel 1

From StatWiki
Jump to: navigation, search

Beispiel 1 - Angabe

Gegeben sei das Regressionsmodell y = X \beta + u \,, wobei X \, eine nichtzufällige n \times k \, Matrix vom Rang k\, sei. Weiters sei  u \sim N(0, \sigma^2 \Omega) \,, wobei \sigma^2 > 0 \, ist und \Omega \, positiv definit ist.

Beispiel 1 - a

Bestimmen Sie die Verteilung des gewöhnlichen KQ-Schätzers \hat \beta\,.

\hat \beta = (X'X)^{-1} X'y = (X'X)^{-1} X'(X\beta + u) = (X'X)^{-1} X'X \beta + (X'X)^{-1} X'u = \beta + (X'X)^{-1} X'u\,
Statistik 3 - Prüfung - Formeln#Normalverteilung 

Reproduktionssatz: Z \sim N(\mu, \Sigma), W = A Z + a \Rightarrow W \sim N(A \mu + a, A \Sigma A')  falls A\, vollen zeilen Rang hat.

\operatorname{rang}((X'X)^{-1} X') = \operatorname{rang}(X') = \operatorname{rang}(X) = k laut Annahme.
 
Annahme (X'X)^{-1}\, ist invertierbar.


\hat \beta \sim 
N(0 \cdot (X'X)^{-1} X' + \beta, (X'X)^{-1} X' (\sigma^2 \Omega) ((X'X)^{-1} X')') =
N(\beta, \sigma^2 (X'X)^{-1} X' \Omega X (X'X)^{-1}) 

Beispiel 1 - b

Bestimmen Sie die Verteilung von \hat{\beta}_1 - \hat{\beta}_k\,.

u \sim N(0, \sigma^2 \Omega) \,

\hat \beta \sim  N(\beta, \sigma^2 (X'X)^{-1} X' \Omega X (X'X)^{-1})  
Mit Hilfe des schon vorhin verwendeten Reproduktionssatz (Statistik 3 - Prüfung - Formeln#Normalverteilung) können Aussagen  
über linear Kombinationen eines Zufallsvektors getroffen werden.
Reproduktionssatz: Z \sim N(\mu, \Sigma), W = A Z + a \Rightarrow W \sim N(A \mu + a, A \Sigma A')  falls A\, vollen zeilen Rang hat. 
Genau so etwas wollen wir hier. D.h. die Matrix A_{1 \times k} = \begin{pmatrix} 1 & 0 & \ldots & 0 & -1 \end{pmatrix}
liefert uns die gefragte Verteilung.

\hat{\beta}_1 - \hat{\beta}_k = 
A \hat{\beta} \sim 
N(A \beta, A (\sigma^2 (X'X)^{-1} X' \Omega X (X'X)^{-1}) A') = 
N(\hat{\beta}_1 - \hat{\beta}_k, A (\sigma^2 (X'X)^{-1} X' \Omega X (X'X)^{-1}) A')\,

Beispiel 1 - c

Ist \hat \beta\, unverzerrt für \beta\,?

1. Möglichkeit: Der erste Parameter der Normalverteilung ist der Erwartungswert \Rightarrow \operatorname{E}(\hat \beta) = \beta \,

2. Möglichkeit: Ausrechnen
\operatorname{E}(\hat \beta) = 
\operatorname{E}((X'X)^{-1} X'y) = 
\operatorname{E}((X'X)^{-1} X'(X \beta + u)) = 
\operatorname{E}((X'X)^{-1} X'X \beta) + \operatorname{E}((X'X)^{-1} X' u) = 
\operatorname{E}(\beta) + (X'X)^{-1} X' \operatorname{E}(u) = 
\operatorname{E}(\beta) = 
\beta

Beispiel 1 - d

Ist \hat{\sigma}^2 = (n-k)^-1 \hat{u}^' \hat{u} unverzerrt für \sigma^2\,?

M = I_n - X (X'X)^{-1} X' \, Statistik 3 - Prüfung - Formeln#Eigenschaften

\hat u = M u \, Statistik 3 - Prüfung - Formeln#Eigenschaften mit Dimension n \times 1 \,
\operatorname{E}(\hat{\sigma^2}) =
\frac{\operatorname{E}( \hat{u}^' \hat{u} )}{n-k} =
\frac{\operatorname{E}( (Mu)' (Mu) )}{n-k} =
\frac{\operatorname{E}( u'M' M u  )}{n-k} =
\frac{\operatorname{E}( u' M' u  )}{n-k} =


u' M' u \, ist ein Skalar und entspricht der Spur.

Rechen Regeln zu \operatorname{tr} \, siehe Statistik 3 - Prüfung - Formeln#Trace bzw. Spur 
   
 = \frac{ \operatorname{E}(\operatorname{tr}(u'M'u))}{n - k} =
\frac{ \operatorname{E}(\operatorname{tr}(Muu'))}{n - k} =
\frac{ \operatorname{tr}(\operatorname{E}(Muu'))}{n - k} =
\frac{ \operatorname{tr}(M \operatorname{E}(uu'))}{n - k} =
\frac{ \operatorname{tr}(M \sigma^2 \Omega)}{n - k} =
\frac{ \sigma^2 \operatorname{tr}(M \Omega)}{n - k}

\operatorname{tr}(M) = n - k = \sum_{i=1}^n m_{i,i} \,

Im Allgemeinen wird \operatorname{tr}(M \Omega) \ne n -k \,.
Achtung Folgende Erkärung hat Nina zwar prinzipiell als OK empfunden, bei der Prüfung würde Sie aber die vorherige Erklärung
angeben. Grund: Bei meinem Beispiel gibt es keine Autokorrelation mehr.

Jetzt war für mich fraglich ob man noch weiter umformen kann und dann auf \sigma^2 \Omega\, zu kommen. 

Aber mit einem einfach Beispiel für \Omega = 2 I\, lässt sich zeigen, dass der Schätzer nicht unverzerrt ist.

\operatorname{E}(\hat{\sigma}^2) =
\frac{ \sigma^2 \operatorname{tr}(M 2 I )}{n - k} = 
\frac{ 2 \sigma^2 \operatorname{tr}(M )}{n - k} = 
\frac{ 2 \sigma^2 (n - k)}{n - k} = 2 \sigma^2