Mathematische Statistik - Schätzverfahren / Maximum Likelihood

From StatWiki
Jump to: navigation, search

Maximum Likelihood

Betrachten reguläres parametrisches Modell mit Dichten (W-Fkt.)  \{ p_\theta(x) | \theta \in \Theta \}\, mit  \Theta \subseteq \mathbb{R}^d, x \in \mathbb{R}^n\,

L_x(\theta) = p_\theta(x)\, aufgefaßt als Funktion in  \theta\, (  x\, fest) "Likelihood-Funktion"

Bemerkung 6.1

Sei  \Theta\, endlich und \pi(\theta) \, Gleichverteilung  \Theta\, (Gleichverteilte a-priori)

Dann gilt für die a-posteriori

 \pi(\theta|X=x) \propto \pi(\theta) p(x|\theta) \propto p(x|\theta) = L_x(\theta) \, (proportional in  \theta\, für  x\, fix)

 \Rightarrow L_x(\theta) \ldots\, Plausibilität von  \theta\, unter Daten  x \, (Analog für Dichten)

Definition 6.1

Falls  \exists \hat\theta\, mit  L_x(\hat \theta) = \max_{\theta \in \Theta} L_x(\theta)\,, so heißt  \hat \theta \, Maximum-Likelihood Schätzer (MLE) für  \theta\,.

Wenn wir Funktion  q(\theta)\, schätzen wollen, so ist  q(\hat \theta)\, MLE von  q(\theta)\,

Beispiel 6.5

Betrachte  \theta \in \left\{0, \frac 1 2 \right\} = \Theta\, und  x \in \{1,2\}\,

 
p_\theta(x) = 

\begin{array}{c|cc}
\theta / x & 1 & 2 \\ 
\hline
0 & 0 & 1 \\
\frac 1 2  & 0.1 & 0.9
\end{array}
\,

d.h. falls

  •  x = 2 \Rightarrow \hat \theta = 0\,
  •  x = 1 \Rightarrow \hat \theta = \frac 1 2\,

Bemerkung 6.2

  • i.A. müssen MLE's weder immer existieren noch eindeutig sein
  • Manchmal kann man einfache Formel für MLE herleiten, manchmal ist numerische Optimierung erforderlich.
  • Vielfach wird statt  L_x(\theta)\, die sog. log-Likelihood Funktion
 l_x(\theta) :=\log L_x(\theta)\, 

betrachtet

 l_x(\hat \theta) = \max_{\theta \in \Theta} l_x(\theta) \Leftrightarrow L_x(\hat \theta) = \max_{\theta \in \Theta} L_x(\theta)\,