Mathematische Statistik - Schätzverfahren / Maximum Likelihood

From StatWiki

Jump to: navigation, search

Contents

Maximum Likelihood

Betrachten reguläres parametrisches Modell mit Dichten (W-Fkt.) \{ p_\theta(x) | \theta \in \Theta \}\, mit \Theta \subseteq \mathbb{R}^d, x \in \mathbb{R}^n\, 

L_x(\theta) = p_\theta(x)\, aufgefaßt als Funktion in  \theta\, (  x\, fest) "Likelihood-Funktion"

Bemerkung 6.1

Sei \Theta\, endlich und \pi(\theta) \, Gleichverteilung \Theta\, (Gleichverteilte a-priori)

Dann gilt für die a-posteriori 

 \pi(\theta|X=x) \propto \pi(\theta) p(x|\theta) \propto p(x|\theta) = L_x(\theta) \, (proportional in  \theta\, für  x\, fix)

\Rightarrow L_x(\theta) \ldots\, Plausibilität von \theta\, unter Daten x \, (Analog für Dichten)

Definition 6.1

Falls \exists \hat\theta\, mit L_x(\hat \theta) = \max_{\theta \in \Theta} L_x(\theta)\,, so heißt \hat \theta \, Maximum-Likelihood Schätzer (MLE) für \theta\,.

Wenn wir Funktion q(\theta)\, schätzen wollen, so ist q(\hat \theta)\, MLE von q(\theta)\,

Beispiel 6.5

Betrachte \theta \in \left\{0, \frac 1 2 \right\} = \Theta\, und x \in \{1,2\}\,

p_\theta(x) = \begin{array}{c|cc} \theta / x & 1 & 2 \\ \hline 0 & 0 & 1 \\ \frac 1 2 & 0.1 & 0.9 \end{array} \,

d.h. falls

  • x = 2 \Rightarrow \hat \theta = 0\,
  • x = 1 \Rightarrow \hat \theta = \frac 1 2\,

Bemerkung 6.2

  • i.A. müssen MLE's weder immer existieren noch eindeutig sein
  • Manchmal kann man einfache Formel für MLE herleiten, manchmal ist numerische Optimierung erforderlich.
  • Vielfach wird statt L_x(\theta)\, die sog. log-Likelihood Funktion 
 l_x(\theta) :=\log L_x(\theta)\,

betrachtet 

 l_x(\hat \theta) = \max_{\theta \in \Theta} l_x(\theta) \Leftrightarrow L_x(\hat \theta) = \max_{\theta \in \Theta} L_x(\theta)\,
Retrieved from "http://www.eisber.net/StatWiki/index.php/Mathematische_Statistik_-_Sch%C3%A4tzverfahren_/_Maximum_Likelihood"