10.11.2012 Aufrufe

Zusammenfassung Stochastik I + II

Zusammenfassung Stochastik I + II

Zusammenfassung Stochastik I + II

MEHR ANZEIGEN
WENIGER ANZEIGEN

Erfolgreiche ePaper selbst erstellen

Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.

<strong>Zusammenfassung</strong><br />

<strong>Stochastik</strong> I + <strong>II</strong><br />

Stephan Kuschel<br />

Vorlesung von Dr. Nagel<br />

<strong>Stochastik</strong> I: WS 2007/08 <strong>Stochastik</strong> <strong>II</strong>: SS 2008<br />

zuletzt aktualisiert: 7. Juli 2009<br />

Da diese <strong>Zusammenfassung</strong> den Menschen, die sie lesen helfen soll bitte<br />

ich darum, Fehler und andere Verbesserungsideen an mich weiterzuleiten:<br />

Vorname.Nachname@uni-jena.de (entsprechend Deckblatt ersetzen)<br />

Inhaltsverzeichnis<br />

I <strong>Stochastik</strong> I 1<br />

1 Wahrscheinlichkeitsraum 1<br />

2 Zufällige Variablen, Zufallsgrößen, zufällige Vektoren 3<br />

3 Verteilungsgesetze von transformierten Zufallsgrößen 4<br />

4 Erwartungswert, Varianz, Kovarianz 4<br />

5 Ungleichungen & Grenzwertsätze 5<br />

<strong>II</strong> <strong>Stochastik</strong> <strong>II</strong>: mathematische Statistik 7<br />

1 Stichproben und der statistische Raum 8<br />

2 Punktschätzungen 9<br />

3 Verteilungen 10<br />

4 Konfidenzintervalle 11<br />

5 Tests 11<br />

6 Stat. Methoden für 2-dim Stichproben (Multivariatstatistik) 14


<strong>Stochastik</strong> I Wahrscheinlichkeitsraum 1<br />

Teil I<br />

<strong>Stochastik</strong> I<br />

Inhaltsverzeichnis<br />

1 Wahrscheinlichkeitsraum 1<br />

1.1 Wahrscheinlichkeitsraum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1<br />

1.2 Beschreibungsmöglichkeiten für Wahrscheinlichkeitsmaße . . . . . . . . . . . . . . . 2<br />

1.3 Spezielle Wahrscheinlichkeitsräume . . . . . . . . . . . . . . . . . . . . . . . . . . . 2<br />

1.4 Bedingte Wahrscheinlichkeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2<br />

1.5 stochastische Unabhängigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2<br />

2 Zufällige Variablen, Zufallsgrößen, zufällige Vektoren 3<br />

2.1 Zufällige Variablen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />

2.2 Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />

2.3 Unabhängigkeit von Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />

2.3.1 diskrete Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />

2.3.2 stetige Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />

3 Verteilungsgesetze von transformierten Zufallsgrößen 4<br />

3.1 Transformationen von 1dim. Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . 4<br />

3.2 Summe zweier Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4<br />

3.3 Produkt & Quotient zweier Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . 4<br />

3.4 Injektive diffbare Transformationen von zufälligen Vektoren . . . . . . . . . . . . . 4<br />

4 Erwartungswert, Varianz, Kovarianz 4<br />

4.1 Erwartungswert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4<br />

4.2 Varianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />

4.3 Kovarianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />

4.4 Die Kovarianzmatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />

5 Ungleichungen & Grenzwertsätze 5<br />

5.1 Markov-Ungleichung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />

5.2 Tschebyscheff Ungleichung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />

5.3 Gesetz der großen Zahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />

5.4 Der zentrale Grenzwertsatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6<br />

1 Wahrscheinlichkeitsraum<br />

1.1 Wahrscheinlichkeitsraum<br />

Wahrscheinlichkeitsraum [Ω, A, P ], Ereignis A ∈ A, dann gilt:<br />

• Ω ∈ A<br />

• A ∈ A ⇒ A ∁ ∈ A ∀A ⊆ Ω<br />

• ∀Ai ∈ A ⇒ � ∞ i=1 Ai ∈ A<br />

Axiomensystem von Kolmogorov: P : A → [0, 1]<br />

A ⊆ p(Ω) ist σ-Algebra.


<strong>Stochastik</strong> I Wahrscheinlichkeitsraum 2<br />

• P (Ω) = 1<br />

•<br />

Folgerungen:<br />

Ai ∩ Aj �<br />

= ∅<br />

∞�<br />

�<br />

∞�<br />

P<br />

= P (Ai)<br />

i=1<br />

Ai<br />

i=1<br />

• P (∅) = 0 P (Ω) = 1<br />

• P (A ∁ ) = 1 − P (A)<br />

• P (A ∪ B) = P (A) + P (B) − P (A ∩ B)<br />

• A ⊆ B ⇒ P (A) ≤ P (B)<br />

⇒ P (B \ A) = P (B) − P (A)<br />

• A1 ⊆ A2 ⊆ ... ⇒ P ( �<br />

i Ai) = limi→∞ P (Ai)<br />

• A1 ⊇ A2 ⊇ ... ⇒ P ( �<br />

i Ai) = limi→∞ P (Ai)<br />

(σ-Additivität von P )<br />

1.2 Beschreibungsmöglichkeiten für Wahrscheinlichkeitsmaße<br />

1.3 Spezielle Wahrscheinlichkeitsräume<br />

siehe Verteilungen<br />

1.4 Bedingte Wahrscheinlichkeiten<br />

P (A|B) =<br />

P (A) = �<br />

P ({ω})<br />

P (A ∩ B)<br />

P (B)<br />

ω∈A<br />

• A1, A2 disjunkt ⇔ P (A1 ∪ A2|B) = P (A1|B) + P (A2|B)<br />

• P (A ∩ B) = P (A|B) · P (B)<br />

= P (B|A) · P (A)<br />

• Entnahme ohne Zurücklegen:<br />

1.5 stochastische Unabhängigkeit<br />

⇒ P (B|A) = P (A|B) ·<br />

P (B)<br />

P (A)<br />

P (A1 ∩ ... ∩ An) = P (A1) · P (A2|A1) · P (A3|A2 ∩ A1) · ...<br />

A, B stochastisch unabhängig ⇔ P (A ∩ B) = P (A) · P (B)<br />

Ai stochastisch vollständig unabhängig ⇔ P ( �<br />

i Ai) = �<br />

i P (Ai)<br />

• paarweise stochastische Unabhängigkeit ist etwas anderes!<br />

• (A, B) unabhängig ⇒ (A, B ∁ ), (A ∁ , B), (A ∁ , B ∁ ) unabhängig


<strong>Stochastik</strong> I Zufällige Variablen, Zufallsgrößen, zufällige Vektoren 3<br />

2 Zufällige Variablen, Zufallsgrößen, zufällige Vektoren<br />

2.1 Zufällige Variablen<br />

g : Ω → Ω ′<br />

g −1 : p(Ω ′ ) → p(Ω)<br />

g −1 (A ′ ) : {ω ∈ Ω : g(ω) ∈ A ′ } mit A ′ ⊆ Ω ′<br />

2.2 Zufallsgrößen<br />

X : Ω → R<br />

PX(B) = P (X −1 (B)) B ∈ R<br />

Verteilungsfunktion: FX(x) = P (X ≤ x) x ∈ R<br />

• P (a < X < b) = FX(b) − FX(a)<br />

• P (X = a) = FX(a) − FX(a − 0)<br />

• FX(−∞) = 0<br />

• FX(∞) = 1<br />

2.3 Unabhängigkeit von Zufallsgrößen<br />

X, Y sollen unabh. heißen, wenn all Paare von Ereignissen, die Mithilfe von X, Y formuliert werden<br />

können unabhängig sind.<br />

• P (X ∈ B1, Y ∈ B2) = P (X ∈ B1) · P (Y ∈ B2) ⇐⇒ X, Y unabh.<br />

• P (X1 ∈ B1, X2 ∈ B2, . . . Xn ∈ Bn) = P (X1 ∈ B1) · . . . · P (Xn ∈ Bn)<br />

=⇒ X1, . . . , Xn vollständig unabhängig<br />

=⇒ X1, . . . , Xn i.i.d., falls X1, . . . , Xn Zufallsgrößen über demselben W.-Raum<br />

2.3.1 diskrete Zufallsgrößen<br />

X, Y unabhängig ⇐⇒ P (X = x, Y = y) = P (X = x) · P (Y = y)<br />

X ∼ geometrisch verteilt: („Gedächtnislosigkeit“)<br />

P (X = k + l|X ≥ k) = P (X = l)<br />

2.3.2 stetige Zufallsgrößen<br />

X = (X1, . . . , Xn)<br />

• Randverteilungsfunktion: FXi (x) = P (X1 ∈ R, . . . , xi ≤ x, . . . , Xn ∈ R)<br />

• gemeinsame Verteilungsfunktion: FX(x1, . . . , xn) = P (X1 ≤ x1, . . . , Xn ≤ xn)<br />

X1, . . . , Xn unabhängig ⇐⇒ FX(x1, . . . , xn) = FX1 (x1) · . . . · FXn(xn)<br />

� � xn x1<br />

Dichtefunktion FX(x1, . . . , xn) = . . . fX(t1, . . . , tn)dt1 . . . dtn<br />

�<br />

−∞ −∞<br />

mit fX(t)dt = 1 ⇐⇒ f heißt Dichtefunktion<br />

R n<br />

Randdichte fxi =<br />

�<br />

R\span(xi)<br />

fX(t)


<strong>Stochastik</strong> I Erwartungswert, Varianz, Kovarianz 4<br />

3 Verteilungsgesetze von transformierten Zufallsgrößen<br />

3.1 Transformationen von 1dim. Zufallsgrößen<br />

Fg(x)(x) = P (g(X) ≤ x) = P (X ∈ g−1 ((−∞, x]))<br />

� x<br />

oder Darstellung F g(x)(x) =<br />

−∞<br />

3.2 Summe zweier Zufallsgrößen<br />

k(t)dt ⇒ g(x) hat VD k<br />

Seien X1, X2 unabhängig<br />

P (X1 + X2 = s) = �<br />

P (X1 = x1, X2 = s − x2) = �<br />

P (X1 = x1) · P (X2 = s − x1)<br />

x1<br />

⇒ X1 ∼ Πλ1 , X2 ∼ Πλ2 , X1 + X2 ∼ Πλ1+λ2<br />

fX1+X2 =<br />

� ∞<br />

fX1 (t)fX2 (s − t)dt<br />

−∞<br />

⇒ X1 ∼ N µ1,σ 2 1 , X2 ∼ N µ2,σ 2 2 , X1 + X2 ∼ N µ1+µ2,σ 2 1 +σ2 2<br />

fX1−X2 =<br />

� ∞<br />

fX1 (t)fX2 (t − s)dt<br />

−∞<br />

3.3 Produkt & Quotient zweier Zufallsgrößen<br />

fX1·X2<br />

f X1 (s) =<br />

X2<br />

� ∞<br />

(s) =<br />

� ∞<br />

−∞<br />

1<br />

|t| fX1<br />

|t|fX1<br />

−∞<br />

� �<br />

s<br />

fX2<br />

t<br />

(t)dt<br />

(st) fX2 (t)dt<br />

3.4 Injektive diffbare Transformationen von zufälligen Vektoren<br />

fY (u) = fX(T −1 (u))<br />

| det T ′ (T −1 (u))|<br />

4 Erwartungswert, Varianz, Kovarianz<br />

• Erwartungswert ˆ= Mittelwert<br />

• Varianz ˆ= mittlere quadratische Abweichung<br />

4.1 Erwartungswert<br />

� ∞<br />

� ∞<br />

EX = xfX(x)dx, Eg(X) = g(x)fX(x)dx<br />

−∞�<br />

−∞<br />

∞<br />

Existenz: |x|fX(x)dx < ∞<br />

−∞<br />

• E(aX1 + b) = aEX + b<br />

• E(X1 + X2) = EX1 + EX2<br />

• E(X1 · X2) = EX1 · EX2<br />

(gilt immer)<br />

x1<br />

(Zgr. unabhängig!)


<strong>Stochastik</strong> I Ungleichungen & Grenzwertsätze 5<br />

4.2 Varianz<br />

varX = E(X − EX) 2 = EX 2 − (EX) 2<br />

• var(aX + b) = a 2 varX<br />

• var(X1 ± X2) = varX1 + varX2, X1, X2 unabhängig<br />

4.3 Kovarianz<br />

• cov(X1, X2) = E(X1 · X2) − (EX1) · (EX2)<br />

• var(X1 + X2) = varX1 + varX2 + 2cov(X1X2)<br />

• cov(X1, X2) = 0 ⇔ X1, X2 unkorreliert<br />

• cov(X, aX + b) = avarX<br />

• cov(X, X) = varX<br />

• Xi ∼ N µiσ 2 i : cov(X1, X2) = ρσ1σ2<br />

ρX1,X2 = cov(X1, X2)<br />

√ varX1 · varX2<br />

4.4 Die Kovarianzmatrix<br />

X = (X1, . . . , Xn) zufälliger Vektor<br />

ΣX = E(X − EX) T (X − EX) = (cov(Xi, Xj))ij<br />

n-dim Normalverteilung: �<br />

σ<br />

Nµ,Σ, n = 2 : Σ =<br />

2 �<br />

1 ρσ1σ2<br />

ρσ1σ2<br />

5 Ungleichungen & Grenzwertsätze<br />

5.1 Markov-Ungleichung<br />

P (|X| ≥ c) ≤ E(g(|X|))<br />

g(c)<br />

σ 2 2<br />

5.2 Tschebyscheff Ungleichung<br />

P (|X − EX| ≥ c) ≤ varX<br />

c 2<br />

g monoton, nicht fallend<br />

• X ∼ N µ,σ 2 : P (|X − µ| ≥ kσ) ≤ σ2<br />

k 2 σ 2 = 1<br />

k 2<br />

5.3 Gesetz der großen Zahlen<br />

(Xi)i i.i.d.<br />

lim<br />

n→∞ P<br />

� 1<br />

n<br />

n�<br />

|Xi − EX1| > ɛ<br />

i=1<br />

�<br />

= 0


<strong>Stochastik</strong> I Ungleichungen & Grenzwertsätze 6<br />

5.4 Der zentrale Grenzwertsatz<br />

(Xi)i i.i.d. mit EX 2 i < ∞, varXi = σ 2 > 0, EXi = m<br />

mit Φ(x) VF von N0,1<br />

lim<br />

n→∞ P<br />

��ni=1 �<br />

Xi − nµ<br />

√ ≤ x = Φ(x)<br />

nσ<br />

• Summen von i.i.d.Zgr. sind asymptotisch normalverteilt.<br />

• P (Xi = 1) = p = 1 − P (Xi = 0)<br />

lim<br />

n→∞ P<br />

�� �<br />

ni=1<br />

Xi − np<br />

� ≤ x = Φ(x)<br />

np(1 − p)<br />

mit Korrekturformel: P ( �<br />

i Xi ≤ k) = P ( �<br />

i Xi < k) = Φ<br />

Approx der Binomialverteilung:<br />

• Poissonverteilung: λ = np, n groß, p klein<br />

• Normalverteilung: µ = np, σ 2 = np(1 − p)<br />

�<br />

1<br />

k+ 2 −np<br />

�<br />

√<br />

np(1−p)


<strong>Stochastik</strong> <strong>II</strong>: mathematische Statistik Ungleichungen & Grenzwertsätze 7<br />

Teil <strong>II</strong><br />

<strong>Stochastik</strong> <strong>II</strong>: mathematische Statistik<br />

Inhaltsverzeichnis<br />

1 Stichproben und der statistische Raum 8<br />

1.1 Liste wichtiger Statistiken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8<br />

2 Punktschätzungen 9<br />

2.1 Punktschätzungen für Erwartungswert . . . . . . . . . . . . . . . . . . . . . . . . . 9<br />

2.2 Punktschätzung für die Varianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9<br />

2.3 Gütekriterien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9<br />

2.4 Die Maximum-Likelihood-Methode . . . . . . . . . . . . . . . . . . . . . . . . . . . 10<br />

3 Verteilungen 10<br />

3.1 χ 2 -Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10<br />

3.2 t-Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10<br />

3.3 F-Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11<br />

4 Konfidenzintervalle 11<br />

4.1 Konfidenzintervall für Erwartungswert bei bekannter Varianz . . . . . . . . . . . . 11<br />

4.2 Konfidenzintervall für Erwartungswert bei unbekannter Varianz . . . . . . . . . . . 11<br />

4.3 Konfidenzintervall für Varianz bei unbekanntem Erwartungswert . . . . . . . . . . 11<br />

5 Tests 11<br />

5.1 Grundbegriffe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11<br />

5.2 Tests für Normalverteilte Grundgesamtheit . . . . . . . . . . . . . . . . . . . . . . 12<br />

5.2.1 Gausstest: Prüfung des Erwartungswertes bei bekannter Varianz . . . . . . 12<br />

5.2.2 t-Test: Prüfung des Erwartungswertes bei unbekannter Varianz . . . . . . . 12<br />

5.2.3 χ 2 -Test: Prüfung der Varianz bei unbekanntem Erwartungswert . . . . . . . 13<br />

5.3 Zwei Testprobleme für disjunkte Verteilungen . . . . . . . . . . . . . . . . . . . . . 13<br />

5.3.1 Likelihood-Quotienten Methode . . . . . . . . . . . . . . . . . . . . . . . . . 13<br />

5.3.2 Testen von Hypothesen über Parameter der hypergeometrischen Verteilung 13<br />

5.4 Anpassungstests (Kolmogorov-Smirnov) . . . . . . . . . . . . . . . . . . . . . . . . 14<br />

5.5 Zwei-Stichproben Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14<br />

6 Stat. Methoden für 2-dim Stichproben (Multivariatstatistik) 14<br />

6.1 Test auf Unabhängigkeit von Beobachtungsparametern . . . . . . . . . . . . . . . . 14<br />

6.1.1 Randverteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14<br />

6.1.2 Korrelationskoeffizient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14<br />

6.1.3 χ 2 Unabhängigkeitstest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14<br />

6.2 Regressionsanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15


<strong>Stochastik</strong> <strong>II</strong>: mathematische Statistik Stichproben und der statistische Raum 8<br />

1 Stichproben und der statistische Raum<br />

Stichproben<br />

• math. Stichprobe: X1, . . . , Xn<br />

• konkrete Stichprobe: x1, . . . , xn<br />

Der statistische Raum: [R n , Rn, {P ⊗n<br />

θ , θ ∈ Θ}]<br />

Θ ⊆ R l , l ≥ 1, Pθ ist Wahrscheinlichkeitsmaß auf [R, R] ∀θ<br />

1.1 Liste wichtiger Statistiken<br />

1. Stichprobenmittel / empirischer Erwartungswert<br />

T (x1, . . . , xn) = 1<br />

n<br />

2. r-tes Stichprobenmoment / empirisches r-tes Moment<br />

3. Stichprobenstreuung / empirische Varianz<br />

n�<br />

xi = ¯x<br />

i=1<br />

T (x1, . . . , xn) = 1<br />

n<br />

T (x1, . . . , xn) = 1<br />

n<br />

n�<br />

n�<br />

x<br />

i=1<br />

r i<br />

(xi − ¯x)<br />

i=1<br />

2 = ¯σ 2<br />

4. korrigierte Stichprobenstreuung / korrigierte empirische Varianz<br />

T (x1, . . . , xn) = 1<br />

n − 1<br />

5. konkrete geordnete Stichprobe / Variationsreihe<br />

6. i-te geordnete Statistik / i-te Rangstatistik<br />

7. Spannweite einer Stichprobe<br />

n�<br />

(xi − ¯x)<br />

i=1<br />

2 = ˆσ 2 = n<br />

n − 1 ¯σ2<br />

T (x1, . . . , xn) = (x ∗ 1, . . . , x ∗ n) (sortieren)<br />

T (x1, . . . , xn) = x ∗ i<br />

8. Stichprobenmedian / empirischer Zentralwert<br />

T (x1, . . . , xn) = ˜x 1<br />

2<br />

mit x ∗ 1 ≤ . . . ≤ x ∗ n<br />

(nach Sortieren, i-tes Element)<br />

T (x1, . . . , xn) = x ∗ n − x ∗ 1<br />

⎧<br />

⎨x<br />

=<br />

⎩<br />

∗ n+1<br />

�2<br />

1<br />

2<br />

x ∗ n<br />

2<br />

+ x ∗ n<br />

2 +1<br />

�<br />

falls n ungerade<br />

falls n gerade


<strong>Stochastik</strong> <strong>II</strong>: mathematische Statistik Punktschätzungen 9<br />

9. Stichproben-α-Quantil / empirisches α-Quantil,<br />

⎧<br />

α ∈ (0, 1)<br />

⎨x<br />

T (x1, . . . , xn) = ˜xα =<br />

⎩<br />

∗ ⌊nα⌋+1<br />

1<br />

�<br />

falls nα nicht ganzzahlig<br />

falls nα ganzzahlig<br />

10. empirische Verteilungsfunktion<br />

�<br />

2 x∗ nα + x∗ nα+1<br />

T (x1, . . . , xn) = ˆ F (s) = 1<br />

n�<br />

1<br />

n<br />

[xi,α)(s)<br />

i=1<br />

= 1<br />

n |{i ∈ 1, . . . , n : xi ≤ s}|<br />

11. Histogramm oder rel. Häufigkeiten zu einer Vorgegebenen Klasseneinteilung ∆1, . . . , ∆k<br />

�<br />

n� 1<br />

T (x1, . . . , xn) = 1∆1<br />

n<br />

(xi), . . . , 1<br />

n�<br />

1∆k n<br />

(xi)<br />

�<br />

12. Box-Plot<br />

i=1<br />

• ∆1, . . . ∆k paarweise Disjunkt, äquidistant<br />

• Faustregel von STURGES: k = 1 + 3.32 log 10 n<br />

2 Punktschätzungen<br />

2.1 Punktschätzungen für Erwartungswert<br />

ˆµ(x1, . . . , xn) = ¯x<br />

varθ ˆµ(X1, . . . , Xn) = 1<br />

n varθX1<br />

2.2 Punktschätzung für die Varianz<br />

ˆσ 2 (x1, . . . , xn) = 1<br />

n − 1<br />

2.3 Gütekriterien<br />

n�<br />

(xi − ¯x)<br />

i=1<br />

2<br />

i=1<br />

T (x1, . . . , xn) = (˜x0.1, ˜x0.25, ˜x0.5, ˜x0.75, ˜x0.9)<br />

falls X1, . . . , Xn i.i.d.<br />

• T erwartungstreue Punktschätzung für γ<br />

⇔ EθT (X1, . . . , Xn) = γ(θ) ∀θ ∈ Θ<br />

• T1 effizienter als T2<br />

⇔ varθT1(X1, . . . , Xn) < varθT2(X1, . . . , Xn) < ∞<br />

• T ∗ bester erwartungstreuer Schätzer (BUE - best unbiased estimator)<br />

⇔ varθT ∗ (X1, . . . , Xn) ≤ varθTi(X1, . . . , Xn) ∀θ ∈ Θ und Ti erwartungstreu ∀i<br />

Mögliche andere Kriterien<br />

• Eθ(T (X1, . . . , Xn) − θ) 2<br />

• Asymptot. Verhalten für n → ∞<br />

Anmerkung: ˆµ = ¯x ist bester erwartungstreuer Schätzer, falls Grundgesamtheit normalverteilt,<br />

poissonverteilt, binomialverteilt, aber nicht bei Gleichverteilung auf (a, b), a, b unbekannt.


<strong>Stochastik</strong> <strong>II</strong>: mathematische Statistik Verteilungen 10<br />

2.4 Die Maximum-Likelihood-Methode<br />

θ ∈ Θ suchen für das diese Stichprobe den Maximalwert der Wahrscheinlichkeitsdichte liefert.<br />

• Likelihood-Funktion:<br />

L : θ × Rn → [0, ∞)<br />

L(θ, x1, . . . , xn)<br />

n�<br />

= fθ(xi) (stetig)<br />

i=1<br />

n�<br />

= Pθ(Xi = xi)<br />

i=1<br />

(diskret)<br />

• Maximum-Likelihood Schätzwert ˆ θ ∗<br />

L( ˆ θ ∗ , x1, . . . , xn) ≥ L(θ, x1, . . . , xn) ∀θ ∈ Θ<br />

• Zur Berechnung häufig ln L betrachten.<br />

3 Verteilungen<br />

Xi ∼ N0,1<br />

Zi ∼ N µ,σ 2<br />

3.1 χ 2 -Verteilung<br />

r�<br />

• X<br />

i=1<br />

2 i ∼ χ 2 r<br />

• 1<br />

σ2 �<br />

n(Zi − µ)<br />

i=1<br />

2 ∼ χ 2 n<br />

• 1<br />

σ2 �<br />

n(Zi −<br />

i=1<br />

¯ Z) 2 ∼ χ 2 n−1<br />

• Y1 ∼ χ 2 r1 Y2 ∼ χ 2 r2 Y1 + Y2 ∼ χ 2 r1+r2<br />

• χ 2 2 = ε 1<br />

2<br />

3.2 t-Verteilung<br />

• fY (−x) = fY (x)<br />

• r = 1: Cauchy-Verteilung<br />

⎧<br />

⎪⎨ 0 x < 0<br />

fY (x) =<br />

⎪⎩<br />

1<br />

2 r 2 Γ( r<br />

r<br />

x 2<br />

2) −1 x2<br />

− e 2 x ≥ 0<br />

fY (x) =<br />

�<br />

r+1 Γ( 2 )<br />

Γ( r<br />

2) √ �<br />

πr<br />

• r → ∞: Normalverteilung mit µ = 0, σ 2 = 1<br />

•<br />

� 1<br />

r<br />

• √ n<br />

X0<br />

� ri=1 X 2 i<br />

� 1<br />

n−1<br />

∼ tr<br />

¯Z − µ<br />

�ni=1 (Xi − ¯ ∼ tn−1<br />

X) 2<br />

1 + x2<br />

r<br />

� − r+1<br />

2<br />

x ∈ R


<strong>Stochastik</strong> <strong>II</strong>: mathematische Statistik Tests 11<br />

3.3 F-Verteilung<br />

•<br />

1 �r+s s i=r+1 X2 i<br />

1 �ri=1 r X2 i<br />

∼ Fs,r<br />

4 Konfidenzintervalle<br />

⎧<br />

⎨0<br />

x < 0<br />

fY (x) = �<br />

⎩ s<br />

r<br />

� s<br />

2 x s<br />

2 −1 � 1 + s<br />

r x� − s+r<br />

2 x ≥ 0<br />

(1 − α)-Konfidenzintervall P ⊗n<br />

θ (C(X1, . . . , Xn) ∋ γ(θ)) ≥ 1 − α ∀θ ∈ Θ<br />

Häufig (1 − α) ∈ {0.9; 0.95; 0.99}<br />

4.1 Konfidenzintervall für Erwartungswert bei bekannter Varianz<br />

ist (1 − α)-KI<br />

C(x1, . . . , xn) =<br />

�<br />

¯x − σ √ Φ<br />

n −1 (1 − α<br />

2 ), ¯x + σ √ Φ<br />

n −1 (1 − α<br />

2 )<br />

�<br />

4.2 Konfidenzintervall für Erwartungswert bei unbekannter Varianz<br />

ist (1 − α)-KI<br />

C(x1, . . . , xn) =<br />

�<br />

¯x −<br />

√ ˆσ 2<br />

√ t α<br />

n−1,1− , ¯x +<br />

n 2<br />

√ �<br />

ˆσ 2<br />

√ t α<br />

n−1,1−<br />

n 2<br />

4.3 Konfidenzintervall für Varianz bei unbekanntem Erwartungswert<br />

weil<br />

(n − 1)ˆσ2<br />

σ 2<br />

5 Tests<br />

∼ χ 2 n−1<br />

5.1 Grundbegriffe<br />

Θ partitionieren in Θ0, Θ1<br />

H0 : θ ∈ Θ0 Nullhypothese<br />

H1 : θ ∈ Θ1 Alternativhypothese<br />

⎡<br />

(n − 1)ˆσ2<br />

C(x1, . . . , xn) = ⎣ , (n − 1)ˆσ2<br />

H0 wahr H1 wahr<br />

H0 wählen � Fehler 2. Art<br />

H0 ablehnen Fehler 1. Art �<br />

• Test: D : R n → {H0, H1}<br />

• Testgröße: T : R n → R<br />

χ 2 n−1,1− α<br />

2<br />

χ 2 n−1, α<br />

2<br />

⎤<br />

⎦<br />

2.Art: irrtümliche Annahme von H1<br />

1.Art: irrtümliche Ablehnung von H0


<strong>Stochastik</strong> <strong>II</strong>: mathematische Statistik Tests 12<br />

• Kritischer Bereich K ⊆ R sodass<br />

T (x1, . . . , xn) ∈ K ⇒ H1 wählen<br />

T (x1, . . . , xn) �∈ K ⇒ H0 wählen<br />

• Gütefunktion des Tests D<br />

βD : θ → [0, 1] mit<br />

β(θ) = P ⊗n<br />

θ (D(X1, . . . , Xn) = H1)<br />

• Signifikanzniveau zum Niveau α<br />

βD(θ) ≤ α ∀θ ∈ Θ<br />

βD(θ) ≥ sup<br />

θ ′ βD(θ<br />

∈Θ0<br />

′ ) ∀θ ∈ Θ1 (Unverfälschtheit)<br />

5.2 Tests für Normalverteilte Grundgesamtheit<br />

5.2.1 Gausstest: Prüfung des Erwartungswertes bei bekannter Varianz<br />

(a) H0 : µ = µ0<br />

H1 : µ �= µ0<br />

T (X1, . . . , Xn) = √ n ¯ X − µ0<br />

K =<br />

(b) H0 : µ ≥ µ0 H1 : µ < µ0<br />

Testgröße wie bei Punkt a<br />

�<br />

−∞, Φ −1<br />

K =<br />

σ0<br />

� �� �<br />

α<br />

∪ Φ<br />

2<br />

−1<br />

∼ ↑<br />

falls µ=µ0 (!)<br />

�<br />

�<br />

−∞, −Φ −1 �<br />

(1 − α)<br />

N0,1<br />

1 − α<br />

� �<br />

, ∞<br />

2<br />

5.2.2 t-Test: Prüfung des Erwartungswertes bei unbekannter Varianz<br />

(a) H0 : µ = µ0<br />

H1 : µ �= µ0<br />

T (X1, . . . , Xn) =<br />

K = (−∞, −t n−1,1− α<br />

√<br />

n<br />

√<br />

ˆσ 2 ( ¯ X − µ0) ∼ tn−1<br />

↑<br />

falls µ=µ0 (!)<br />

2 ) ∪ (tn−1,1− α<br />

2<br />

K ist ein wenig kleiner als beim entsprechenden Gauss-Test<br />

, ∞)<br />

• α kann auch als Überschreitungswahrscheinlichkeit gelesen werden, sodass<br />

P Ü (X1, . . . , Xn) < α<br />

(b) H0 : µ ≥ µ0 H1 : µ < µ0<br />

Testgröße wie bei Punkt a<br />

K = (−∞, −tn−1,1−α)


<strong>Stochastik</strong> <strong>II</strong>: mathematische Statistik Tests 13<br />

5.2.3 χ 2 -Test: Prüfung der Varianz bei unbekanntem Erwartungswert und normalverteilter<br />

Grundgesamtheit<br />

(a) H0 : σ 2 = σ 2 0<br />

(b) H0 : σ 2 ≥ σ 2 0<br />

H1 : σ 2 �= σ 2 0<br />

T (X1, . . . , Xn) = ˆσ2 (n − 1)<br />

H1 : σ < σ 2 0<br />

Testgröße wie bei Punkt a<br />

= 1<br />

σ 2 0<br />

K = [0, χ 2 n−1, α<br />

2<br />

σ2 0<br />

n�<br />

(Xi −<br />

i=1<br />

¯ X) 2<br />

∼<br />

↑<br />

falls σ2 =σ2 0 (!)<br />

χ 2 n−1<br />

) ∪ (χ 2 n−1,1− α , ∞)<br />

2<br />

T (X1, . . . , Xn) �∈ K ⇐⇒ α<br />

2 ≤ pü ≤ 1 − α<br />

2<br />

K = (0, χ 2 n−1,α)<br />

5.3 Zwei Testprobleme für disjunkte Verteilungen<br />

5.3.1 Likelihood-Quotienten Methode<br />

Allgemeines Prinzip zur Konstruktion von Tests bzw von Testgrößen.<br />

Betrachten [Rn , Rn{Pθ0 , Pθ1 }] d.h. θ = {Pθ0 , Pθ1 }<br />

H0 : θ = θ0<br />

H1 : θ = θ1<br />

L(θ1, x1, . . . , xn)<br />

L(θ0, x1, . . . , xn) > c dann H0 ablehnen<br />

c so wählen, dass Wahrscheinlichkeit für Fehler 1.Art β(θ0) ≤ α0<br />

Man kann zeigen, dass dieser Test, falls β(θ0) = α bester α-Signifikanztest ist, in dem Sinne, dass<br />

β(θ1) ≥ βD(θ1) ∀α-Signifikanztests D.<br />

5.3.2 Testen von Hypothesen über Parameter der hypergeometrischen Verteilung<br />

N - Gesamtzahl der Produkte in einer Lieferung<br />

θ - Anzahl der fehlerhaften Produkte (unbekannt), θ ∈ {0, 1, 2, . . . , N} = Θ<br />

m - Anzahl geprüfter Produkte<br />

Zufallsgröße: κ - Anzahl der fehlerhaften Produkte unter den geprüften Produkten. κ besitzt eine<br />

hypergeometrische Verteilung mit Parametern N, θ, m = HN,θ,m<br />

H0 : θ ≤ θ0 H1 : θ ≥ θ1<br />

Kritischen Bereich aus Quantilen wählen.<br />

• N >> m ⇒ HN,θ,m ≈ B m, θ<br />

N<br />

Pθ(κ = k) =<br />

�θ��N−θ� k m−k<br />

�N� m<br />

• Diese Binomialverteilung gegebenenfalls mithilfe des zentralen Grenzwertsatzes durch Normalverteilung<br />

oder durch Poissonverteilung mit λ = m·θ<br />

N nähern.


<strong>Stochastik</strong> <strong>II</strong>: mathematische Statistik Stat. Methoden für 2-dim Stichproben (Multivariatstatistik) 14<br />

5.4 Anpassungstests (Kolmogorov-Smirnov)<br />

H0 : F = F0<br />

H1 : F �= F0<br />

5.5 Zwei-Stichproben Test<br />

H0 : µ1 ≤ µ2<br />

H1 : µ1 > µ2<br />

T (X1, . . . , Xn, Y1, . . . , Yn) =<br />

• Vergleich der Varianzen: F-Test<br />

• σ 2 1 �= σ2 2<br />

: Welch Test<br />

T (x1, . . . , xn) = √ n sup<br />

t∈R<br />

� n · m<br />

n + m<br />

�<br />

�<br />

� ˆ �<br />

�<br />

F (t) − F0(t) �<br />

¯X − ¯ Y<br />

�ˆσ 2<br />

ˆσ 2 1<br />

=<br />

n + m − 2<br />

K = (tm+n−2,1−α, ∞)<br />

∼ ↑<br />

falls µ1=µ2<br />

und varX1=varX2=σ2 �<br />

(n − 1)ˆσ 2 X + (m − 1)ˆσ 2 �<br />

Y<br />

tn+m−2<br />

6 Stat. Methoden für 2-dim Stichproben (Multivariatstatistik)<br />

6.1 Test auf Unabhängigkeit von Beobachtungsparametern<br />

6.1.1 Randverteilungen<br />

F (X,Y )(x, y) = FX(x) · FY (y) ⇐⇒ Unabhängigkeit von X und Y<br />

mit F (X,Y )(x, y) = P (X ≤ x, Y ≤ y)<br />

6.1.2 Korrelationskoeffizient<br />

ρX,Y =<br />

cov(X, Y )<br />

√ varX · varY<br />

6.1.3 χ 2 Unabhängigkeitstest<br />

Es seien a1, . . . , ar ∈ R und b1, . . . , bs ∈ R<br />

Bezeichnung:<br />

nur falls X, Y normalverteilt ⇒<br />

⇐ gilt immer<br />

pij = P (X1 = ai, Y1 = bj) mit �<br />

pij = 1<br />

i,j<br />

X, Y unabhängig<br />

s�<br />

pi· = pij = P (X1 = ai)<br />

r�<br />

p·j = pij = P (Y1 = bj)<br />

j=1<br />

i=1<br />

H0 : pij = pi· · p·j ∀i,j<br />

H1 : pij �= pi· · p·j für wenigstens ein Paar (i, j)


<strong>Stochastik</strong> <strong>II</strong>: mathematische Statistik Stat. Methoden für 2-dim Stichproben (Multivariatstatistik) 15<br />

Zufallsgröße: Hij - Anzahl {l : Xl = ai, Yl = bj} ˆ= Absolute Häufigkeit des Auftretens ddes Paares<br />

(ai, bj) in der Stichprobe.<br />

Testgröße:<br />

Kritischer Bereich:<br />

T = n ·<br />

s�<br />

s�<br />

Hi· = Hij<br />

j=1<br />

j=1 i=1<br />

�<br />

r� Hij − Hi··H·j<br />

n<br />

K =<br />

Hi· · H·j<br />

� 2<br />

r�<br />

H·j = Hij<br />

i=1<br />

�<br />

χ 2 �<br />

(r−1)(s−1),1−α , ∞<br />

∼ χ<br />

↑<br />

asymptot. n→∞<br />

H0 wahr<br />

2 (r−1)(s−1)<br />

• Falls X1 und Y1 nicht diskret mithilfe von Klasseneinteilung diskretisieren<br />

• ACHTUNG: Falls H0 abgelehnt wird, dann Annahme dass notwendige Bedingung für die Unabhängigkeit<br />

verletzt ist!<br />

Falls H0 angenommen wird, dann also keine Aussage über die Unabhängigkeitshypothese möglich<br />

6.2 Regressionsanalyse<br />

MKQ is BLUE<br />

Gauss Markov Theorem<br />

Zufällige Prozesse !

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!