Mathematische Statistik - Schätzverfahren / Heuristische Schätzprinzipien

From StatWiki
Jump to: navigation, search

6.1 Heuristische Schätzprinzipien

Betrachten Beobachtung  X \in \mathcal{X}, X \sim \operatorname P \in \mathcal P, \mathcal P= \{P_\theta | \theta \in \Theta \}\,

Wie soll  \theta \, am besten geschätzt werden?

Minimum Kontrastschätzer

Definiere Kontrastfunktion \delta: \Chi \times \Theta \rightarrow \mathbb R\,

 \delta(X,\theta) \ldots\,wie sehr stehen Daten  X\, im Kontrast zu Parameter  \theta\,

Üblicherweise verlangt man, dass Kontrastfunktion so definiert ist, dass Diskrepanz  D(\theta_o, \theta) := \operatorname{E}_{\theta_0} \delta(X,\theta)\, für  \theta = \theta_0\, minimiert wird (als Funktion in  \theta, \theta_0\, wahrer Parameter)

Wir erhalten  \theta_0\, als Minimierung von  D(\theta_0, \theta)\,.

Da wir wahren Parameter  \theta_0\, nicht kennen  \rightarrow\, in der Praxis nicht durchführbar.

Wir wählen also \hat{\theta}(x) = \hat \theta\, so dass  \delta (X,\theta) \rightarrow \min\,

Beispiel 6.1

 Y_i \sim N(x_i^t \beta, \sigma^2)\, unabh.  1 \le i \le n\,,  \beta \, unbekannter Parameter

 \delta(Y, \beta) = \sum_{i=1}^n (y_i -x_i^t \beta)^2 \rightarrow \, KQ-Schätzer

Minimierung erfolgt oft über Nullstellen der 1. Ableitung  \rightarrow \, Schätzgleichungen

Wähle  \hat \theta \,, so dass  \nabla_\theta \delta(X, \hat\theta) = 0\,

Substitutionsmethode ("plug-in estimate")

Möchte  \nu(\operatorname P)\, schätzen. Substitutionsmethode: Schätzen von  \nu(\operatorname P)\, durch Failed to parse (PNG conversion failed; check for correct installation of latex and dvipng (or dvips + gs + convert)): \hat \nu = \nu (\hat \operatorname P)\,

wobei Failed to parse (PNG conversion failed; check for correct installation of latex and dvipng (or dvips + gs + convert)):  \hat \operatorname P \,
Schätzer von  \operatorname P\, ist.
  • Häufig Failed to parse (PNG conversion failed; check for correct installation of latex and dvipng (or dvips + gs + convert)): \hat \operatorname P \,
empirische Verteilungsfunktion, d.h.
Failed to parse (PNG conversion failed; check for correct installation of latex and dvipng (or dvips + gs + convert)):  \hat \operatorname P(A) = \frac 1 n \sum_{k=1}^n 1_{(X_k \in A)} = \frac 1 n \# \{X_k \in A \}\,


  • Spezialfall der empirischen Substitutionsschätzer für Multinomialverteilung: Häufigkeitssubstitution:

Schätze  \nu(\operatorname P) = h(p_1, \ldots, p_2)\, durch  h(\hat{p}_1, \ldots, \hat{p}_n)\,

  • Substitutionsschätzer oft mit Erweiterung des Definitionsbereichs von  \nu \, verbunden:

Betrachte \nu(\operatorname P) \, für   \operatorname P \in \mathcal P_0 \, (z.b.  P_0 \sim N(\mu, \sigma^2)\,)

Wenn  \hat p\, z.b. empirische Verteilungsfunktion ist, dann  \hat P \in \mathcal P_0\,

 \rightarrow \, Ersetzen  \nu \rightarrow \bar \nu \,,wobei  \bar \nu(.)\, auf größerer Klasse  \mathcal P\, von Verteilungen definiert ist  (\mathcal P_0 \subseteq \mathcal P)\, aber auf  \mathcal P_0\, mit \nu \, übereinstimmt  (\nu (\operatorname P) = \bar \nu (\operatorname P) \, \forall \operatorname P \in \mathcal P_0)\,


Beispiel 6.2

Betrachten 5 Job Kategorien. Untersuchen Arbeitsplatzwahl von Söhnen, deren Väter in bestimmer Job-Kategorie tätig waren.


\begin{array}{r|*{5}{c}}
 & 1 & 2 & 3 & 4 & 5 \\
\hline
Grundges. & p_1 & p_2 & p_3 & p_4 & p_5 \\
Stichprobe & \hat{p}_1 & \hat{p}_2 & \hat{p}_3 & \hat{p}_4 & \hat{p}_5 
\end{array}
\,

Angenommen Kategorie 2,3 ... Angestellte, Kategorie 4,5 ... Arbeiter

Interessieren uns  h(p_1, \ldots, p_5) = (p_4+p_5) - (p_2+p_3)\, alsoDifferenz in den Anteilen von Arbeitern und Angestellen zu schätzen.

Wir substituieren  h(p_1, \ldots, p_5\, durch  h(\hat{p}_1, \ldots, \hat{p}_5) = (\hat{p}_4+\hat{p}_5) - (\hat{p}_2+\hat{p}_3) \,


Beispiel 6.3

Sei  X \sim B(n, p)\, und  \nu(\operatorname P) = n p (1-p) = \operatorname{Var}(X)\,

Plug-in Schätzer:  \nu(\hat p) = n \hat p (1-\hat p) = n \frac x n \left(1 - \frac x n \right) \,

Verwandt mit plug-in Schätzern ist die Momentschätzmethode

Schreiben Paramtere als Funktion der Momente und substituieren empirische Momente  \left( \hat{\mu}_k = \frac 1 n \sum_{l=1}^n X_l^k \right)\,

Beispiel 6.4

Betrachten Daten  X_1, X_2, \ldots, X_n\, i.i.d. mit  \Gamma\,-Verteilten Überlebenszeiten.

Dichte:  \frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x}, x > 0, \alpha >0, \lambda > 0\,

Möchten  \theta = \binom{\alpha}{\lambda}\, schätzen.

Betrachte  \mu_1 = \operatorname E (X_i) = \frac \alpha \lambda, \mu_2 = \operatorname E(X_i^2) = \frac{\alpha(\alpha+1)}{\lambda^2}\,

 \Rightarrow \alpha= \lambda \mu_1, \lambda^2 = \frac{\alpha (\alpha+1)}{\mu_2} \Rightarrow \lambda^2 = \frac{\lambda \mu_1 (\lambda\mu_1 + 1)}{\mu_2}\,

lösen nach \color{Red} \lambda \Rightarrow \alpha = \frac{\mu_1}{\sigma^2}, \lambda = \frac{\mu_1}{\sigma^2}\, mit  \sigma^2 = \operatorname{Var}(X_i) = \mu_2 - \mu_1^2\,

Momentschätzer für

  •  \mu_1: \hat{\mu_1} = \bar x\,
  •  \sigma^2: s^2 = \frac{1}{n-1} \sum_{i=1}^n (x_i - \bar x)^2\,

Verwendung von 1. & 3. Moment im obigen Beispiel würde anderen Momentschätzer liefern  \Rightarrow\, Momentschätzer nicht eindeutig.