Mathematische Statistik - Schätzverfahren / Heuristische Schätzprinzipien

From StatWiki

6.1 Heuristische Schätzprinzipien

Betrachten Beobachtung $X \in \mathcal{X}, X \sim \operatorname P \in \mathcal P, \mathcal P= \{P_\theta | \theta \in \Theta \}\,$

Wie soll $\theta \,$ am besten geschätzt werden?

Minimum Kontrastschätzer

Definiere Kontrastfunktion $\delta: \Chi \times \Theta \rightarrow \mathbb R\,$

wie sehr stehen Daten  im Kontrast zu Parameter

Üblicherweise verlangt man, dass Kontrastfunktion so definiert ist, dass Diskrepanz $D(\theta_o, \theta) := \operatorname{E}_{\theta_0} \delta(X,\theta)\,$ für $\theta = \theta_0\,$ minimiert wird (als Funktion in $\theta, \theta_0\,$ wahrer Parameter)

Wir erhalten $\theta_0\,$ als Minimierung von $D(\theta_0, \theta)\,$ .

Da wir wahren Parameter $\theta_0\,$ nicht kennen $\rightarrow\,$ in der Praxis nicht durchführbar.

Wir wählen also $\hat{\theta}(x) = \hat \theta\,$ so dass $\delta (X,\theta) \rightarrow \min\,$

Beispiel 6.1

$Y_i \sim N(x_i^t \beta, \sigma^2)\,$ unabh. $1 \le i \le n\,$ , $\beta \,$ unbekannter Parameter

 KQ-Schätzer

Minimierung erfolgt oft über Nullstellen der 1. Ableitung $\rightarrow \,$ Schätzgleichungen

Wähle $\hat \theta \,$ , so dass $\nabla_\theta \delta(X, \hat\theta) = 0\,$

Substitutionsmethode ("plug-in estimate")

Möchte $\nu(\operatorname P)\,$ schätzen. Substitutionsmethode: Schätzen von $\nu(\operatorname P)\,$ durch $\hat \nu = \nu (\hat \operatorname P)\,$ wobei $\hat \operatorname P \,$ Schätzer von $\operatorname P\,$ ist.

Häufig $\hat \operatorname P \,$ empirische Verteilungsfunktion, d.h.

Spezialfall der empirischen Substitutionsschätzer für Multinomialverteilung: Häufigkeitssubstitution:

Schätze $\nu(\operatorname P) = h(p_1, \ldots, p_2)\,$ durch $h(\hat{p}_1, \ldots, \hat{p}_n)\,$

Substitutionsschätzer oft mit Erweiterung des Definitionsbereichs von $\nu \,$ verbunden:

Betrachte $\nu(\operatorname P) \,$ für $\operatorname P \in \mathcal P_0 \,$ (z.b. $P_0 \sim N(\mu, \sigma^2)\,$ )

Wenn $\hat p\,$ z.b. empirische Verteilungsfunktion ist, dann $\hat P \in \mathcal P_0\,$

$\rightarrow \,$ Ersetzen $\nu \rightarrow \bar \nu \,$ ,wobei $\bar \nu(.)\,$ auf größerer Klasse $\mathcal P\,$ von Verteilungen definiert ist $(\mathcal P_0 \subseteq \mathcal P)\,$ aber auf $\mathcal P_0\,$ mit $\nu \,$ übereinstimmt $(\nu (\operatorname P) = \bar \nu (\operatorname P) \, \forall \operatorname P \in \mathcal P_0)\,$

Beispiel 6.2

Betrachten 5 Job Kategorien. Untersuchen Arbeitsplatzwahl von Söhnen, deren Väter in bestimmer Job-Kategorie tätig waren.

$\begin{array}{r|*{5}{c}} & 1 & 2 & 3 & 4 & 5 \\ \hline Grundges. & p_1 & p_2 & p_3 & p_4 & p_5 \\ Stichprobe & \hat{p}_1 & \hat{p}_2 & \hat{p}_3 & \hat{p}_4 & \hat{p}_5 \end{array} \,$

Angenommen Kategorie 2,3 ... Angestellte, Kategorie 4,5 ... Arbeiter

Interessieren uns $h(p_1, \ldots, p_5) = (p_4+p_5) - (p_2+p_3)\,$ alsoDifferenz in den Anteilen von Arbeitern und Angestellen zu schätzen.

Wir substituieren $h(p_1, \ldots, p_5\,$ durch $h(\hat{p}_1, \ldots, \hat{p}_5) = (\hat{p}_4+\hat{p}_5) - (\hat{p}_2+\hat{p}_3) \,$

Beispiel 6.3

Sei $X \sim B(n, p)\,$ und $\nu(\operatorname P) = n p (1-p) = \operatorname{Var}(X)\,$

Plug-in Schätzer: $\nu(\hat p) = n \hat p (1-\hat p) = n \frac x n \left(1 - \frac x n \right) \,$

Verwandt mit plug-in Schätzern ist die Momentschätzmethode

Schreiben Paramtere als Funktion der Momente und substituieren empirische Momente $\left( \hat{\mu}_k = \frac 1 n \sum_{l=1}^n X_l^k \right)\,$

Beispiel 6.4

Betrachten Daten $X_1, X_2, \ldots, X_n\,$ i.i.d. mit $\Gamma\,$ -Verteilten Überlebenszeiten.

Dichte: $\frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x}, x > 0, \alpha >0, \lambda > 0\,$

Möchten $\theta = \binom{\alpha}{\lambda}\,$ schätzen.

Betrachte $\mu_1 = \operatorname E (X_i) = \frac \alpha \lambda, \mu_2 = \operatorname E(X_i^2) = \frac{\alpha(\alpha+1)}{\lambda^2}\,$

$\Rightarrow \alpha= \lambda \mu_1, \lambda^2 = \frac{\alpha (\alpha+1)}{\mu_2} \Rightarrow \lambda^2 = \frac{\lambda \mu_1 (\lambda\mu_1 + 1)}{\mu_2}\,$

lösen nach $\color{Red} \lambda \Rightarrow \alpha = \frac{\mu_1}{\sigma^2}, \lambda = \frac{\mu_1}{\sigma^2}\,$ mit $\sigma^2 = \operatorname{Var}(X_i) = \mu_2 - \mu_1^2\,$