Wahrscheinlichkeitsrechnung 2 - Zettel 5

From StatWiki

Jump to: navigation, search

Angabe: media:Wahrscheinlickeitsrechung2_Zettel5.pdf

Contents


Beispiel 28 - Lösung aus der Übung

Eine Urne enthält P \, schwarze, Q \, weiße und R \, rote Kugeln. N \, Kugeln werden ohne Zurücklegen aus der Urne ausgewählt.

Geben Sie die gemeinsame Verteilung der gezogenen Kugeln (schwarz, weiß, rot) an 

Im univariaten Fall ist das obige Problem durch eine de:Hypergeometrische Verteilung zu lösen.

Kurz zur Wiederholung:
 
P(X = k) = \frac{\displaystyle{M \choose k}{N-M \choose n-k}}{\displaystyle{N \choose n}}
wobei 

N \, die Gesamtanzahl
M \, die Anzahl der ausgezeichneten Elemente
n \, die Größe der Stichprobe und
k \, die Anzahl der Elemente in der Stichprobe

Obiges ist folgendermassen zu interpretieren: {M \choose k} Anzahl der Möglichkeiten k \, aus M \, auszuwählen usw. 
 
Meine Verallgemeinerung für den multivariaten Fall schaut so aus


 P(X=p,Y=q,Z=r) =  
   \begin{cases} 
    \frac{ \displaystyle{P \choose p}{Q \choose q}{R \choose r} }
         { \displaystyle{M \choose N}}, & \mbox{fuer } p + q + r = N \\
    0, & \mbox{sonst}
   \end{cases}
 

wobei

P + Q + R = M \, die Gesamtanzahl
N \, Größe der Stichprobe und
P, Q\, und  R \, wie in der Angabe
p \, die Anzahl der schwarzen Elemente in der Stichprobe
q \, die Anzahl der weißen Elemente in der Stichprobe
r \, die Anzahl der roten Elemente in der Stichprobe

Geben Sie die gemeinsame Verteilung der Anzahl der schwarzen und weißen Kugeln an 


  P(X=p, Y=q) = 
    \frac{\displaystyle{P \choose p}{Q \choose q}{M - P - Q \choose N - p - q}}
         {\displaystyle{M \choose N}}

Geben Sie die Randverteilung der Anzahl der gezogenen weißen Kugeln an 


 P(X=q) = 
  \frac{\displaystyle {Q \choose q} {M-Q \choose N-q}}
       {\displaystyle {M \choose N}}
 

Alternativ geht auch

 P(X=p) = \sum_{q=0}^{N-p} P(X=p,Y=q) 
 
 Y + Q = N - p \, und Q = N-p-q \,

 P(X=p) = \frac{{P \choose p}}{{M \choose N}} \sum_q {Q \choose q} {M - P - Q \choose N - p - q} = \frac{{P \choose p}}{{M \choose N}} {M-P \choose N-p}

und heisst Vandermonde Summation

Beispiel 29

N_1, \ldots, N_r \sim \mathrm{Multinomialverteilt }, \sum n_i = n, \sum p_i = 1

P(N_1=n_1, \ldots, N_r=n_r) = \frac{n!}{n_1! n_2! \ldots n_3!} p_1^{n_1} p_2^{n_2} \ldots p_r^{n_r} 

Erklärung für die Multinominalverteilung anhand einer Urne: 

p_x \, ist die Wahrscheinlichkeit eine Kugel mit Farbe x \, zu ziehen.

n_x \, ist Anzahl der Kugeln mit Farbe x \,.

Gesucht ist die Kovarianz und Korrelation.

\mathrm{cov}(N_i,N_j) = E(N_i \cdot N_j) - E(N_i)E(N_j) \,

N_i \sim \mathrm{Bin}(n, p_i) \to E(N_i) = n \cdot p_i

E(N_i \cdot N_j) = \sum n_i n_j \frac{n!}{n_1! \cdots n_r!} p_1^{n_1} \cdots p_r^{n_r} = \sum \frac{n!}{n_1! \cdots (n_i - 1)! \cdots (n_j - 1)! \cdots n_r!} p_1^{n_1} \ldots p_r^{n_r} =

\begin{matrix} = n(n-1) p_i p_j & \underbrace{\sum \frac{(n-2)!}{n_1! \cdots (n_i-1)! (n_j - 1)! \cdots n_r!} p_1^{n_1} \cdots p_i^{n_i-1} p_j^{n_j-1} \cdots p_r^{n_r}} & = n(n-1) p_i p_j \\ & \sum P(N_1 = n_1, \ldots, N_i = n_i-1, \ldots ,N_j = n_j -1, \ldots ,N_r=n_r) = 1 & \end{matrix}

\mathrm{cov}(N_i,N_j) = n(n-1) p_i p_j - n^2 p_i p_j = n p_i p_j (n - 1 - n) = -n p_i p_j \, 

Wichtig: Das untere ist die Summe der Wahrscheinlichkeitsfunktion einer multinomialverteilten Zufallsvariable mit \bar{n}_k \, Elementen pro Gruppe.

 \bar{n}_k = \begin{cases} n_k & \ldots k \not\in \{i,j\} \\ n_i -1 & \ldots k = i \\ n_j - 1 & \ldots k = j \end{cases} 

 \sum \frac{(n-2)!}{ \prod \bar{n}_k!} \prod p_k^{\bar{n}_k} = 1

\operatorname{Corr}(N_j,N_i) = \frac{\operatorname{Cov}(N_i,N_j)}{\sqrt{\operatorname{Var}(N_i)} \sqrt{\operatorname{Var}(N_j)}} = \frac{- n p_i p_j} { \sqrt{n p_i (1 - p_i)} \sqrt{n p_j (1 - p_j)}} = \frac{p_i p_j} { \sqrt{p_i (1 - p_i)} \sqrt{p_j (1 - p_j)}} = \frac{\sqrt{p_i p_j}} { \sqrt{(1 - p_i) (1 - p_j)}}

Beispiel 30

p_N(i) = {m \choose i} r^i (1-r)^{m-i}

und

p_{X|N_i}(k) = {i \choose k} p^k (1-p)^{i-k}

Die unbedingte Verteilung von X\, ist mit P(X=k) = \sum_{i=k}^m P(X=k|N=i) P(N=i) bzw.

p_X(k) = \sum_{i=k}^m p_{X|N_i}(k) p_N(i) = \sum_{i=k}^m {i \choose k} p^k (1-p)^{i-k} {m \choose i} r^i (1-r)^{m-i}

gegeben. Achtung: i\, fängt nicht bei 0, sondern bei k\, an, weil i \ge k\, gelten muss. 

p_X(k) = \sum_{i=k}^m \frac{i!}{k! (i-k)!} \frac{m!}{i! (m-i)!} p^k (1-p)^{i-k} r^i (1-r)^{m-i} 

Bevor wir weiter tun, rufen wir uns den de:Binomischer Lehrsatz in Erinnerung:  (x+y)^n = \sum_{k=0}^n {n \choose k} x^k y^{n-k} 

Jetzt heben wir die von i\, unabhängigen Teile herraus und schauen uns die Laufrichtung der Exponenten an:

p_X(k) = \frac{1}{k!} p^k \sum_{i=k}^m \frac{m!}{(i-k)! (m-i)!} (1-p)^{i-k} r^i (1-r)^{m-i} 

i-k: 0, \ldots, m-k
m-i: m-k, \ldots, 0

Das passt ja schon recht schön zum de:Binomischer Lehrsatz, wobei hier n = m - k\, entspricht. 
Daher brauchen wir einen Binomialkoeffizienten der Form {m-k \choose j}, wobei j\, von 0, \ldots, m-k laufen soll.
Ein solches j\, haben wir schon, nämlich i-k\,, daher wollen wir den Binomialkoeffizienten 
{m-k \choose i-k} = \frac{(m-k)!}{(i-k)!((m-k) - (i-k))!} = \frac{(m-k)!}{(i-k)!(m-i)!}\,.


  p_X(k) = 
  \frac{(m-k+1)(m-k+2) \cdots m}{k!} p^k \sum_{i=k}^m \frac{(m-k)!}{(i-k)! (m-i)!} (1-p)^{i-k} r^i (1-r)^{m-i} = 
  \frac{(m-k+1)(m-k+2) \cdots m}{k!} p^k \sum_{i=k}^m {m-k \choose i-k} (1-p)^{i-k} r^i (1-r)^{m-i}
 

So jetzt müssen noch x = (1-p)r\, und y = 1-r\, identifiziert werden.


  p_X(k) = 
  \frac{(m-k+1)(m-k+2) \cdots m}{k!} (p r)^k \sum_{i=k}^m {m-k \choose i-k} ((1-p) r)^{i-k} (1-r)^{m-i} =
  \frac{(m-k+1)(m-k+2) \cdots m}{k!} (p r)^k ((1-p) r + (1-r))^{m-k} = 
  \frac{(m-k+1)(m-k+2) \cdots m}{k!} (p r)^k (1-p r)^{m-k}
 

Jetzt noch den forderen Bruch umformen:


  p_X(k) = 
  \frac{m!}{k!(m-k)!} (p r)^k (1-p r)^{m-k} = {m \choose k} (p r)^k (1-p r)^{m-k}
 

Jetzt sieht man schön das X \sim \mathrm{Binom}(m, p \cdot r)

Beispiel 31

Dichte einer gleichverteilten Zufallsvariable ist mit f(x) = \frac{1}{b-a} gegeben, daher

X \sim U[0,1] \, und daher f_X(x) = 1 \,

Y \sim U[0,X] \, und daher f_{Y|X} = \frac{1}{x} \, 

Allgemein gilt


  E(X \cdot Y) = \int_{x=-\infty}^\infty \int_{y=-\infty}^\infty x \cdot y f_{X,Y}(x,y) \, dx \, dy

Die gemeinsame Dichte ist

f_{X,Y} = f_{Y|X} f_X = \frac{1}{X} \cdot 1 


  E(X \cdot Y) = 
   \int_{x=0}^1 \int_{y=0}^x x \cdot y \frac{1}{x} \, dx \, dy = 
   \int_{x=0}^1 \int_{y=0}^x y \, dy \, dx =
   \int_{x=0}^1 \frac{y^2}{2} \Bigg|_{y=0}^x \, dx =
   \int_{x=0}^1 \frac{x^2}{2} \, dx =
   \frac{x^3}{6} \Bigg|_0^1 = 
   \frac{1}{6}
 

Frage: Ich hätte mir eigentlich \frac{1}{8} \, erwartet, da ja E(Y) = \frac{x}{2} \, ist und 
ich für x\, mal ungeniert E(X) \, eingesetzt hätte.


  E(2 \cdot(X + Y)) = 
  2 E(X+Y) = 
  2 \int_{x=0}^1 \int_{y=0}^x (x + y) \frac{1}{x} \, dx \, dy = 
  2 \int_{x=0}^1 \int_{y=0}^x 1 + \frac{y}{x} \, dy \, dx =
  2 \int_{x=0}^1 y + \frac{y^2}{2x} \Bigg|_{y=0}^x \, dx =
 


  2 \int_{x=0}^1 x + \frac{x^2}{2x} - 0 + \frac{0}{2x} dx =
  2 \int_{x=0}^1 x + \frac{x}{2} dx =
  2 \int_{x=0}^1 \frac{3x}{2} dx =
  2 \frac{3x^2}{4} \Bigg|_0^1 = 
  2 \cdot \frac{3}{4} = 
  \frac{3}{2}

Beispiel 32

Folgendes \operatorname{E}(\mathrm{Var}(Y|X)) \le \mathrm{Var}(Y) ist zu zeigen. 

Vorerst einmal folgendes

\mathrm{Var}(Z) = \operatorname{E}((Z-E(Z))^2) \,
\mathrm{Var}(Z) = \operatorname{E}(Z^2) - \operatorname{E}(Z)^2 \,
\operatorname{E}(Y|X) = \operatorname{E}(Y|X=x) = \sum_y y \cdot p_{Y|X}(y|x) \,
p_X = \sum_y p_{X,Y} \,
p_{X,Y} = p_{X|Y} \cdot p_{Y} \,

  E(E(Y|X=x)) = 
  \sum_x E(Y|X=x) \cdot p_X(x) = 
  \sum_x \sum_y y \cdot p_{Y|X}(y|x) \cdot p_X(x) =  
  \sum_y y \sum_x p_{Y|X}(y|x) \cdot p_X(x) = 
  \sum_y y \cdot p_Y(y) = 
  E(Y)\,
 


  \begin{matrix}
   E(\mathrm{Var}(Y|X)) & \le & \mathrm{Var}(Y) \\
   E[E(Y^2|X) - E(Y|X)^2] & \le & E(Y^2) - E(Y)^2 \\
   E[E(Y^2|X)] - E[E(Y|X)^2)] & \le & E(Y^2) - E(Y)^2
  \end{matrix}
 

Aufgrund der letzten Formel von oben

E(Y^2) - E[E(Y|X)^2)] \le E(Y^2) - E(Y)^2 \,
 

  \begin{matrix}
   \underbrace{E(Y^2) - E(E(Y|X))^2} & +  & \underbrace{E(E(Y|X))^2 - E[E(Y|X)^2)]} & \le & \mathrm{Var}(Y) \\
   \operatorname{Var}(Y) & & - \operatorname{Var}(E(Y|X)) & & \\
  \end{matrix}
 

E(E(Y|X))^2 = E(Y)^2 \,  Satz der totallen Wahrscheinlichkeit

und somit

\operatorname{Var}(Y) - \operatorname{Var}(E(Y|X)) \le \mathrm{Var}(Y)
Retrieved from "http://www.eisber.net/StatWiki/index.php/Wahrscheinlichkeitsrechnung_2_-_Zettel_5"