Mathematische Statistik Gliederung zur Vorlesung im ...

Mathematische Statistik
Gliederung zur Vorlesung
im Wintersemester 2006/07
Markus Reiß
Universität Heidelberg
reiss@statlab.uni-heidelberg.de
VORLÄUFIGE FASSUNG: 9. Februar 2007
Inhaltsverzeichnis
1 Einführende Beispiele 1
2 Entscheidungstheorie 1
2.1 Formalisierung eines statistischen Problems . . . . . . . . . . . . 1
2.2 Minimax- und Bayes-Ansatz . . . . . . . . . . . . . . . . . . . . . 1
2.3 Das Stein-Phänomen . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.4 Ergänzungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3 Dominierte Experimente und Suffizienz 5
3.1 Dominierte Experimente . . . . . . . . . . . . . . . . . . . . . . . 5
3.2 Exponentialfamilien . . . . . . . . . . . . . . . . . . . . . . . . . 5
3.3 Suffizienz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
4 Testtheorie 7
4.1 Neyman-Pearson-Theorie . . . . . . . . . . . . . . . . . . . . . . 7
4.2 Bedingte Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
4.3 Tests im Normalverteilungsmodell . . . . . . . . . . . . . . . . . 10
5 Schätztheorie 11
5.1 Momentenschätzer . . . . . . . . . . . . . . . . . . . . . . . . . . 11
5.2 Maximum-Likelihood- und M-Schätzer . . . . . . . . . . . . . . . 12
5.3 Effizienz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
5.4 Nichtparametrische Dichteschätzung . . . . . . . . . . . . . . . . 14
I

1 Einführende Beispiele
• Modellierung
• Modelldiagnostik (QQ-Plot, Boxplot, empirische Korrelation)
• Median, Mittelwert, Ausreißer
• Konfidenzintervall
• Hypothesentest
• Klassifikation
• Vorhersage
2 Entscheidungstheorie
2.1 Formalisierung eines statistischen Problems
2.1 Definition. Ein Messraum (X, F ) versehen mit einer Familie (P ϑ ) ϑ∈Θ
von Wahrscheinlichkeitsmaßen, Θ ≠ ∅ beliebige Parametermenge, heißt
statistisches Experiment. Jede (F , S )-messbare Funktion Y : X → S heißt
Beobachtung oder Statistik mit Werten in (S, S ) und induziert das statistische
Experiment (S, S , (P Y ϑ ) ϑ∈Θ). Sind die Beobachtungen Y 1 , . . . , Y n für jedes P ϑ
unabhängig und identisch verteilt, so nennt man Y 1 , . . . , Y n eine mathematische
Stichprobe.
2.2 Definition. Es sei (X, F , (P ϑ ) ϑ∈Θ ) ein statistisches Experiment. Eine
Entscheidungsregel ist eine messbare Abbildung ρ : X → A, wobei der Messraum
(A, A ) der sogenannte Aktionsraum ist. Jede Funktion l : Θ × A → [0, ∞) =:
R + , die messbar im zweiten Argument ist, heißt Verlustfunktion. Das Risiko
einer Entscheidungsregel ρ bei Vorliegen des Parameters ϑ ∈ Θ ist
∫
R(ϑ, ρ) := E ϑ [l(ϑ, ρ)] = l(ϑ, ρ(x)) P ϑ (dx).
2.3 Definition. Die Entscheidungsregel ρ heißt besser als eine Entscheidungsregel
ρ ′ , falls R(ϑ, ρ) R(ϑ, ρ ′ ) für alle ϑ ∈ Θ gilt und falls ein ϑ 0 ∈ Θ mit
R(ϑ 0 , ρ) < R(ϑ 0 , ρ ′ ) existiert. Eine Entscheidungsregel heißt zulässig, wenn es
keine bessere Entscheidungsregel gibt.
2.2 Minimax- und Bayes-Ansatz
2.4 Definition. Eine Entscheidungsregel ρ heißt minimax, falls
sup R(ϑ, ρ) = inf sup R(ϑ, ρ ′ ),
ϑ∈Θ
ρ ′ ϑ∈Θ
wobei sich das Infimum über alle Entscheidungsregeln ρ ′ erstreckt.
X
1

2.5 Definition. Der Parameterraum Θ trage die σ-Algebra F Θ , die Verlustfunktion
l sei produktmessbar und ϑ ↦→ P ϑ (B) sei messbar für alle B ∈ F . Die a
priori-Verteilung π des Parameters ϑ ist gegeben durch ein Wahrscheinlichkeitsmaß
auf (Θ, F Θ ) . Das zu π assoziierte Bayesrisiko einer Entscheidungsregel ρ
ist
∫
∫ ∫
R π (ρ) := E π [R(ϑ, ρ)] = R(ϑ, ρ) π(dϑ) = l(ϑ, ρ(x)) P ϑ (dx) π(dϑ).
Θ
ρ heißt Bayesregel oder Bayes-optimal (bezüglich π), falls
Θ
R π (ρ) = inf
ρ ′ R π (ρ ′ )
gilt, wobei sich das Infimum über alle Entscheidungsregeln ρ ′ erstreckt.
2.6 Satz. Es liege die Situation aus der vorangegangenen Definition vor.
(a) Für jede Entscheidungsregel ρ gilt
sup
ϑ∈Θ
X
R(ϑ, ρ) = sup R π (ρ),
π
wobei sich das zweite Supremum über alle a priori-Verteilungen π erstreckt.
Insbesondere ist das Risiko einer Bayesregel stets kleiner oder
gleich dem Minimaxrisiko.
(b) Für eine Minimaxregel ρ gilt sup π R π (ρ) = inf ρ ′ sup π R π (ρ ′ ).
2.7 Definition. Definiere Ω := X × Θ und ˜P auf (Ω, F ⊗ F Θ ) gemäß
˜P(dx, dϑ) = P ϑ (dx)π(dϑ) (gemeinsame Verteilung von Beobachtung und Parameter).
Bezeichne mit X und ¯ϑ die Koordinatenprojektionen von Ω auf X
bzw. Θ.
2.8 Satz. Eine Regel ρ ist Bayes-optimal, falls für ˜P-f.a. x ∈ X gilt
ρ(x) = argmin a∈A E˜P[l( ¯ϑ, a) | X = x].
2.9 Korollar. Für Θ ⊆ R, A = R und quadratisches Risiko (d.h. l(ϑ, a) = (a−
ϑ) 2 ) ist die bedingte Erwartung ˆϑ π := E˜P[ ¯ϑ | X = x] Bayes-optimaler Schätzer
von ϑ bezüglich der a priori-Verteilung π.
2.10 Definition. Es sei X eine (S, S )-wertige Zufallsvariable auf (Ω, F , P).
Eine Abbildung K : S × F → [0, 1] heißt reguläre bedingte Wahrscheinlichkeit
oder Markovkern bezüglich X, falls
(a) A ↦→ K(x, A) ist Wahrscheinlichkeitsmaß für alle x ∈ S;
(b) x ↦→ K(x, A) ist messbar für alle A ∈ F ;
(c) K(X, A) = P(A | X) := E[1 A | X] P-f.s. für alle A ∈ F .
2

2.11 Satz. Es sei (Ω, d) ein vollständiger, separabler Raum mit Metrik d und
Borel-σ-Algebra F (polnischer Raum). Für jede Zufallsvariable X auf (Ω, F , P)
existiert eine reguläre bedingte Wahrscheinlichkeit K bezüglich X. K ist P-f.s.
eindeutig bestimmt, d.h. für eine zweite solche reguläre bedingte Wahrscheinlichkeit
K ′ gilt
P(∀A ∈ F : K(X, A) = K ′ (X, A)) = 1.
2.12 Definition. Die Verteilung von ¯ϑ unter der regulären bedingten Wahrscheinlichkeit
˜P(• | X = x) von ˜P heißt a posteriori-Verteilung des Parameters
gegeben die Beobachtung X = x.
2.13 Satz. Für jede Entscheidungsregel ρ gilt:
(a) Ist ρ minimax und eindeutig in dem Sinn, dass jede andere Minimax-Regel
die gleiche Risikofunktion besitzt, so ist ρ zulässig.
(b) Ist ρ zulässig mit konstanter Risikofunktion, so ist ρ minimax.
(c) Ist ρ eine Bayesregel (bzgl. π) und eindeutig in dem Sinn, dass jede andere
Bayesregel (bzgl. π) die gleiche Risikofunktion besitzt, so ist ρ zulässig.
(d) Die Parametermenge Θ bilde einen metrischen Raum mit Borel-σ-Algebra
F Θ . Ist ρ eine Bayesregel (bzgl. π), so ist ρ zulässig, falls (i) R π (ρ) < ∞;
(ii) für jede nichtleere offene Menge U in Θ gilt π(U) > 0; (iii) für jede
Regel ρ ′ ist ϑ ↦→ R(ϑ, ρ ′ ) stetig.
2.14 Korollar. Es sei X 1 , . . . , X n eine N(µ, 1)-verteilte mathematische Stichprobe
mit µ ∈ R unbekannt. Bezüglich quadratischem Risiko ist das arithmetische
Mittel ¯X =
1
n
∑ n
i=1 X i zulässig und minimax als Schätzer von µ.
2.15 Definition. Eine Verteilung π auf (Θ, F Θ ) heißt ungünstigste a
priori-Verteilung zu einer gegebenen Verlustfunktion, falls
inf
ρ
R π(ρ) = sup inf R π ′(ρ).
π ′ ρ
2.16 Lemma. Gilt R π (ρ π ) = sup ϑ∈Θ R(ϑ, ρ π ) für eine a priori-Verteilung π
und ihre zugehörige Bayesregel ρ π , so folgt die Sattelpunktseigenschaft
∀π ′ ∀ρ ′ : R π ′(ρ π ) R π (ρ π ) R π (ρ ′ ).
Weiterhin ist ρ π minimax und π ungünstigste a priori-Verteilung.
2.3 Das Stein-Phänomen
2.17 Lemma. Es sei f : R d → R eine Funktion, die Lebesgue-f.ü. absolut
stetig in jeder Koordinate ist. Dann gilt für Y ∼ N(µ, σ 2 E d ) mit µ ∈ R d ,
σ > 0, E d = diag(1, . . . , 1) ∈ R d×d und für alle i = 1, . . . , d
sofern E[| ∂f
∂x i
(Y )|] < ∞.
E[(µ i − Y i )f(Y )] = −σ 2 E[ ∂f
∂x i
(Y )],
3

2.18 Satz. Es sei d 3 und Y 1 , . . . , Y n eine N(µ, E d )-verteilte mathematische
Stichprobe mit µ ∈ R d unbekannt. Dann gilt für den James-Stein-Schätzer
(
ˆµ JS := 1 − d − 2 )Ȳ
n|Ȳ |2
mit Ȳ := 1 n
∑ n
i=1 Y i, dass
E µ [|ˆµ JS − µ| 2 ] = d n − E µ
[ (d − 2)
2
n 2 |Ȳ |2 ]
< d n = E µ[|Ȳ − µ|2 ].
Insbesondere ist Ȳ bei quadratischem Risiko kein zulässiger Schätzer von µ im
Fall d 3!
2.19 Satz. Es sei d 3 und Y 1 , . . . , Y n eine N(µ, E d )-verteilte mathematische
Stichprobe mit µ ∈ R d unbekannt. Dann ist der James-Stein-Schätzer mit
positivem Gewicht
(
ˆµ JS+ := 1 − d − 2 Ȳ , x + := max(x, 0)
n|Ȳ )+ |2
bei quadratischem Risiko besser als der James-Stein-Schätzer ˆµ JS .
2.4 Ergänzungen
2.20 Definition. Zu vorgegebener Verlustfunktion l heißt eine Entscheidungsregel
ρ unverzerrt, falls
∀ϑ, ϑ ′ ∈ Θ : E ϑ [l(ϑ ′ , ρ)] E ϑ [l(ϑ, ρ)] =: R(ϑ, ρ).
2.21 Lemma. Es seien g : Θ → A ⊆ R und l(ϑ, ρ) = (ρ − g(ϑ)) 2 der quadratische
Verlust. Dann ist eine Entscheidungsregel (ein Schätzer von g(ϑ))
ĝ : X → A mit E ϑ [ĝ 2 ] < ∞ und E ϑ [ĝ] ∈ g(Θ) für alle ϑ ∈ Θ genau dann
unverzerrt, wenn sie erwartungstreu ist, d.h. E ϑ [ĝ] = g(ϑ) für alle ϑ ∈ Θ gilt.
2.22 Lemma. Es sei Θ = Θ 0 ˙∪Θ 1 , A = [0, 1]. Für den Verlust l(ϑ, a) =
l 0 a1 Θ0 (ϑ) + l 1 (1 − a)1 Θ1 (ϑ) ist eine Entscheidungsregel ρ (ein randomisierter
Test von H 0 : ϑ ∈ Θ 0 gegen H 1 : ϑ ∈ Θ 1 ) genau dann unverzerrt, wenn sie
zum Niveau α := l 1
l 0 +l 1
unverfälscht ist, d.h.
∀ϑ ∈ Θ 0 : E ϑ [ρ] α, ∀ϑ ∈ Θ 1 : E ϑ [ρ] α.
2.23 Definition. Ein Entscheidungskern oder randomisierte
Entscheidungsregel ρ : X × A → [0, 1] ist eine reguläre bedingte Wahrscheinlichkeit
auf dem Aktionsraum (A, A ) mit der Interpretation, dass
bei Vorliegen der Beobachtung x gemäß ρ(x, •) eine Entscheidung zufällig
ausgewählt wird. Das zugehörige Risiko ist
[ ∫ ] ∫ ∫
R(ϑ, ρ) := E ϑ l(ϑ, a) ρ(da) = l(ϑ, a)ρ(x, da) P ϑ (dx).
A
X A
2.24 Lemma. Es sei A ⊆ R d konvex sowie l(ϑ, a) eine im zweiten Argument
konvexe Verlustfunktion. Dann gibt es zu jeder randomisierten Entscheidungsregel
eine deterministische Entscheidungsregel, deren Risiko nicht größer ist.
4

3 Dominierte Experimente und Suffizienz
3.1 Dominierte Experimente
3.1 Definition. Ein statistisches Experiment (X, F , (P ϑ ) ϑ∈Θ ) heißt dominiert
(von µ), falls es ein σ-endliches Maß µ auf F gibt, so dass P ϑ absolutstetig
bezüglich µ ist (P ϑ ≪ µ) für alle ϑ ∈ Θ. Die durch ϑ parametrisierte Radon-
Nikodym-Dichte
L(ϑ, x) := d P ϑ
(x), ϑ ∈ Θ, x ∈ X,
dµ
heißt auch Likelihoodfunktion, wobei diese meist als durch x parametrisierte
Funktion in ϑ aufgefasst wird.
3.2 Satz. Es sei (X, F , (P ϑ ) ϑ∈Θ ) ein dominiertes Experiment. Dann gibt es ein
Wahrscheinlichkeitsmaß Q der Form Q = ∑ ∞
i=1 c i P ϑi mit c i 0, ∑ i c i = 1,
ϑ i ∈ Θ, so dass P ϑ ≪ Q für alle ϑ ∈ Θ gilt.
3.3 Satz. Es sei (X, F , (P ϑ ) ϑ∈Θ ) ein dominiertes Experiment mit produktmessbarer
Likelihoodfunktion L(ϑ, x). Zu vorgegebener a priori-Verteilung π hat
die a posteriori-Verteilung von ¯ϑ gegeben X = x folgende Dichte bezüglich π:
Z π x (ϑ) =
L(ϑ, x)
∫Θ L(ϑ′ , x) π(dϑ ′ ) 1 { R L(ϑ ′ ,x)π(dϑ ′ )>0}, ϑ ∈ Θ (Bayesformel).
3.2 Exponentialfamilien
3.4 Definition. Es sei (X, F , (P ϑ ) ϑ∈Θ ) ein von µ dominiertes Experiment.
Dann heißt (P ϑ ) ϑ∈Θ Exponentialfamilie (in η(ϑ) und T ), wenn k ∈ N, η : Θ →
R k , C : Θ → R + , T : X → R k messbar und h : X → R + messbar existieren, so
dass
d P ϑ
dµ (x) = C(ϑ)h(x) exp(〈η(ϑ), T (x)〉 Rk), x ∈ X, ϑ ∈ Θ.
T wird natürliche suffiziente Statistik von (P ϑ ) ϑ∈Θ genannt. Sind η 1 , . . . , η k
linear unabhängige Funktionen und gilt für alle ϑ ∈ Θ die Implikation
λ 0 + λ 1 T 1 + · · · + λ k T k = 0 P ϑ -f.s. ⇒ λ 0 = λ 1 = · · · = λ k = 0
(1, T 1 , . . . , T k sind P ϑ -f.s. linear unabhängig), so heißt die Exponentialfamilie
k-parametrisch.
3.5 Definition. Bildet (P ϑ ) ϑ∈Θ eine Exponentialfamilie (mit obiger Notation),
so heißt
∣ ∫
}
Z :=
{u ∈ R k ∣∣
e 〈u,T (x)〉 h(x)µ(dx) ∈ (0, ∞)
X
ihr natürlicher Parameterraum. Die entsprechend mit u ∈ Z parametrisierte
Familie wird natürliche Exponentialfamilie in T genannt.
5

3.6 Lemma. Bildet (P ϑ ) ϑ∈Θ eine (k-parametrische) Exponentialfamilie in η(ϑ)
und T (x), so bilden auch die Produktmaße (P ⊗n
ϑ
) ϑ∈Θ eine (k-parametrische)
Exponentialfamilie in η(ϑ) und ∑ n
i=1 T (x i) mit
d P ⊗n
n ϑ
dµ ⊗n (x) = C(ϑ)n( ∏ )
h(x i ) exp(〈η(ϑ), ∑ n
i=1 T (x i)〉 R k), x ∈ X n , ϑ ∈ Θ.
i=1
3.7 Satz. Es sei (P ϑ ) ϑ∈Z eine Exponentialfamilie mit natürlichem Parameterraum
Z ⊆ R k und Darstellung
d P ϑ
(x) = C(ϑ)h(x) exp(〈ϑ, T (x)〉) = h(x) exp(〈ϑ, T (x)〉 − A(ϑ)),
dµ
wobei A(ϑ) = log ( ∫ h(x) exp(〈ϑ, T (x)〉)µ(dx) ) . Ist ˜ϑ ein innerer Punkt von Z ,
so ist die erzeugende Funktion ψ ˜ϑ(s) = E ˜ϑ[e 〈T,s〉 ] in einer Umgebung der Null
wohldefiniert und beliebig oft differenzierbar. Es gilt ψ ˜ϑ(s) = exp(A( ˜ϑ + s) −
A( ˜ϑ)) für alle s mit ˜ϑ + s ∈ Z .
Für i, j = 1, . . . , k folgt E ˜ϑ[T i ] = dA
dϑ i
( ˜ϑ) und Cov ˜ϑ(T i , T j ) =
3.3 Suffizienz
d2 A
dϑ i dϑ j
( ˜ϑ).
3.8 Definition. Eine (S, S )-wertige Statistik T auf (X, F , (P ϑ ) ϑ∈Θ ) heißt
suffizient (für (P ϑ ) ϑ∈Θ ), falls für jedes ϑ ∈ Θ die reguläre bedingte Wahrscheinlichkeit
von P ϑ gegeben T (existiert und) nicht von ϑ abhängt, d.h.
∃k ∀ϑ ∈ Θ, B ∈ F : k(T, B) = P ϑ (B | T ) := E ϑ [1 B | T ]
P ϑ -f.s.
Statt k(t, B) schreiben wir P • (B | T = t) bzw. E • [1 B | T = t].
3.9 Satz (Faktorisierungskriterium von Neyman). Es sei (X, F , (P ϑ ) ϑ∈Θ ) ein
von µ dominiertes Experiment mit Likelihoodfunktion L sowie T eine (S, S )-
wertige Statistik. Dann ist T genau dann suffizient, wenn eine messbare Funktion
h : X → R + existiert, so dass für alle ϑ ∈ Θ eine messbare Funktion
g ϑ : S → R + existiert mit
L(ϑ, x) = g ϑ (T (x))h(x) für µ-f.a. x ∈ X.
3.10 Korollar. Die natürliche suffiziente Statistik einer Exponentialfamilie ist
in der Tat suffizient.
3.11 Satz (Rao-Blackwell). Es sei (X, F , (P ϑ ) ϑ∈Θ ) ein statistisches Experiment,
A ⊆ R k konvex und l(ϑ, a) eine im zweiten Argument konvexe Verlustfunktion.
Ist T eine für (P ϑ ) ϑ∈Θ suffiziente Statistik, so gilt für jede Entscheidungsregel
ρ die Risikoabschätzung
∀ϑ ∈ Θ : R(ϑ, ˜ρ) R(ϑ, ρ) mit ˜ρ := E • [ρ | T ].
3.12 Satz. Es sei (X, F , (P ϑ ) ϑ∈Θ ) ein statistisches Experiment und T eine
suffiziente Statistik. Dann gibt es zu jedem randomisierten Test ϕ einen randomisierten
Test ˜ϕ, der nur von T abhängt und dieselbe Gütefunktion besitzt,
nämlich ˜ϕ = E • [ϕ | T ].
6

4 Testtheorie
4.1 Neyman-Pearson-Theorie
4.1 Definition. Es sei (X, F , (P ϑ ) ϑ∈Θ ) ein statistisches Experiment mit Zerlegung
Θ = Θ 0 ˙∪Θ 1 . Jede messbare Funktion ϕ : X → [0, 1] heißt (randomisierter)
Test. ϕ besitzt Niveau α ∈ [0, 1], falls E ϑ [ϕ] α für alle ϑ ∈ Θ 0 gilt.
Die Abbildung ϑ ↦→ E ϑ [ϕ] heißt Gütefunktion von ϕ. Ein Test ϕ der Hypothese
H 0 : ϑ ∈ Θ 0 gegen die Alternative H 1 : ϑ ∈ Θ 1 ist ein gleichmäßig bester Test
zum Niveau α, falls ϕ Niveau α besitzt sowie für alle anderen Tests ϕ ′ vom
Niveau α gilt
∀ϑ ∈ Θ 1 : E ϑ [ϕ] E ϑ [ϕ ′ ].
ϕ heißt gleichmäßig bester unverfälschter Test zum Niveau α, falls ϕ unverfälscht
zum Niveau α ist sowie für alle anderen unverfälschten Tests ϕ ′ zum
Niveau α obige Ungleichung gilt.
4.2 Definition. Es sei (X, F , (P ϑ ) ϑ∈Θ ) ein (binäres) statistisches Experiment
mit Θ = {0, 1}. Bezeichnet p i , i = 1, 2, die Dichte von P i bezüglich P 0 + P 1 , so
heißt ein Test der Form
⎧
⎪⎨ 1, falls p 1 (x) > kp 0 (x)
ϕ(x) = 0, falls p 1 (x) < kp 0 (x)
⎪⎩
γ(x), falls p 1 (x) = kp 0 (x)
mit k ∈ R + und γ(x) ∈ [0, 1] Neyman-Pearson-Test.
4.3 Satz (Neyman-Pearson-Lemma).
(a) Jeder Neyman-Pearson-Test ϕ ist ein (gleichmäßig) bester Test für H 0 :
ϑ = 0 gegen H 1 : ϑ = 1 zum Niveau E 0 [ϕ].
(b) Für jedes vorgegebene α ∈ (0, 1) gibt es einen Neyman-Pearson-Test zum
Niveau α mit γ(x) = γ ∈ [0, 1] konstant.
4.4 Definition. Es seien (X, F , (P ϑ ) ϑ∈Θ ) ein dominiertes Experiment mit
Θ ⊆ R und Likelihoodfunktion L(ϑ, x) sowie T eine reellwertige Statistik.
Dann hat die Familie (P ϑ ) ϑ∈Θ monotonen Dichtequotienten (oder monotonen
Likelihoodquotienten) in T , falls
(a) ϑ ≠ ϑ ′ ⇒ P ϑ ≠ P ϑ ′;
(b) Für alle ϑ < ϑ ′ gibt es eine monoton wachsende Funktion h(•, ϑ, ϑ ′ ) : R →
R + ∪{+∞} mit (Konvention a/0 := +∞ für a > 0)
L(ϑ, x)
L(ϑ ′ , x) = h(T (x), ϑ, ϑ′ ) für (P ϑ + P ϑ ′)-f.a. x ∈ X.
4.5 Satz. Ist (P ϑ ) ϑ∈Θ mit Θ ⊆ R eine einparametrische Exponentialfamilie in
η(ϑ) und T , so hat sie monotonen Dichtequotienten, sofern η streng monoton
wächst.
7

4.6 Satz. Die Familie (P ϑ ) ϑ∈Θ , Θ ⊆ R, besitze monotonen Dichtequotienten
in T . Für α ∈ (0, 1) und ϑ 0 ∈ Θ gilt dann:
(a) Unter allen Tests ϕ für das einseitige Testproblem H 0 : ϑ ϑ 0 gegen
H 1 : ϑ > ϑ 0 mit der Eigenschaft E ϑ0 [ϕ] = α gibt es einen Test ϕ ∗ , der die
Fehlerwahrscheinlichkeiten erster und zweiter Art gleichmäßig minimiert,
nämlich
⎧
⎪⎨ 1, falls T (x) > k,
ϕ ∗ (x) = 0, falls T (x) < k,
⎪⎩
γ, falls T (x) = k,
wobei k ∈ R, γ ∈ [0, 1] gemäß E ϑ0 [ϕ ∗ ] = α bestimmt werden.
(b) Dieser Test ϕ ∗ ist gleichmäßig bester Test zum Niveau α für H 0 : ϑ ϑ 0
gegen H 1 : ϑ > ϑ 0 .
(c) Für alle ϑ < ϑ ′ gilt E ϑ [ϕ ∗ ] E ϑ ′[ϕ ∗ ], wobei in den Fällen E ϑ [ϕ ∗ ] ∈ (0, 1)
und E ϑ ′[ϕ ∗ ] ∈ (0, 1) sogar die strikte Ungleichung gilt.
4.7 Satz (Verallgemeinertes NP-Lemma). Es seien (P ϑ ) ϑ∈Θ eine Exponentialfamilie
in η(ϑ) und T , L die zugehörige Likelihoodfunktion sowie ϑ 0 , ϑ 1 ∈ Θ
zwei Parameter. Erfüllt ein Test für H 0 : ϑ = ϑ 0 gegen H 1 : ϑ = ϑ 1 der Form
⎧
⎪⎨ 1, falls L(ϑ 1 , x) > kL(ϑ 0 , x) + lT (x)L(ϑ 0 , x)
ϕ(x) = 0, falls L(ϑ 1 , x) < kL(ϑ 0 , x) + lT (x)L(ϑ 0 , x)
⎪⎩
γ, falls L(ϑ 1 , x) = kL(ϑ 0 , x) + lT (x)L(ϑ 0 , x)
mit k, l ∈ R + und γ ∈ [0, 1] die Nebenbedingungen
E ϑ0 [ϕ] = α und E ϑ0 [T ϕ] = α E ϑ0 [T ],
so maximiert er die Güte E ϑ1 [ϕ] in der Menge aller Tests, die diese Nebenbedingungen
erfüllen.
4.8 Satz. (P ϑ ) ϑ∈Θ sei eine einparametrische Exponentialfamilie in η(ϑ) und
T . Θ ⊆ R sei offen, ϑ 0 ∈ Θ und η ∈ C 1 (Θ) sei streng monoton (wachsend oder
fallend) mit η ′ (ϑ 0 ) ≠ 0. Für α ∈ (0, 1), c 1 < c 2 und γ 1 , γ 2 ∈ [0, 1] erfülle der
Test
⎧
⎪⎨ 1, falls T (x) < c 1 oder T (x) > c 2
ϕ ∗ (x) = 0, falls T (x) ∈ (c 1 , c 2 )
⎪⎩
γ i , falls T (x) = c i , i = 1, 2
die Nebenbedingungen
E ϑ0 [ϕ ∗ ] = α und E ϑ0 [T ϕ ∗ ] = α E ϑ0 [T ].
Dann ist ϕ ∗ gleichmäßig bester unverfälschter Test zum Niveau α für H 0 : ϑ =
ϑ 0 gegen H 1 : ϑ ≠ ϑ 0 .
8

4.2 Bedingte Tests
4.9 Definition. Eine (S, S )-wertige Statistik T auf (X, F , (P ϑ ) ϑ∈Θ ) heißt
vollständig (bezüglich Θ), falls für alle messbaren Funktionen f : S → R gilt
∀ϑ ∈ Θ : E ϑ [f(T )] = 0 (und existiert) ⇒ ∀ϑ ∈ Θ : P ϑ (f(T ) = 0) = 1.
4.10 Definition. Es sei Θ ′ ⊆ Θ. Dann heißt ein Test ϕ α-ähnlich auf Θ ′ , wenn
E ϑ [ϕ] = α für alle ϑ ∈ Θ ′ gilt.
4.11 Satz. Ist T eine bezüglich Θ ′ vollständige und suffiziente Statistik und ist
ϕ ein auf Θ ′ α-ähnlicher Test, so gilt E • [ϕ | T ] = α P ϑ -f.s. für alle ϑ ∈ Θ ′ .
4.12 Satz. Es sei (P ϑ ) ϑ∈Θ eine k-parametrische natürliche Exponentialfamilie
in T . Enthält Θ ′ ⊆ Θ eine offene Menge im R k , so ist T suffizient und
vollständig bezüglich Θ ′ .
4.13 Satz. Gegeben sei die natürliche Exponentialfamilie
d P ϑ
dµ (x) = C(ϑ)h(x) exp (
ϑ 0 U(x) +
k∑
i=1
)
ϑ i T i (x) , x ∈ X, ϑ ∈ Θ,
sowie α ∈ (0, 1) und ein Punkt ϑ 0 im Innern von Θ. Dann ist
⎧
⎪⎨ 1, falls U(x) < K(T (x))
ϕ ∗ (x) = 0, falls U(x) > K(T (x))
⎪⎩
γ(T (x)), falls U(x) = K(T (x))
mit K(t) ∈ R, γ(t) ∈ [0, 1] derart, dass E ϑ0 [ϕ ∗ | T ] = E ϑ 0
0
[ϕ ∗ | T ] = α P ϑ0 -f.s.,
ein gleichmäßig bester unverfälschter Test zum Niveau α von H 0 : ϑ 0 ϑ 0 0
gegen H 1 : ϑ 0 > ϑ 0 0 (d.h. Θ 0 = {ϑ ∈ Θ | ϑ 0 ϑ 0 0 }, Θ 1 = {ϑ ∈ Θ | ϑ 0 > ϑ 0 0 }).
4.14 Satz. Es liege die Situation des vorigen Satzes vor. Dann ist
⎧
⎪⎨ 1, falls U(x) < K 1 (T (x)) oder U(x) > K 2 (T (x))
ϕ ∗ (x) = 0, falls U(x) ∈ (K 1 (T (x)), K 2 (T (x)))
⎪⎩
γ i (T (x)), falls U(x) = K i (T (x)), i = 1, 2,
mit K i (t) ∈ R, γ i (t) ∈ [0, 1] derart, dass
E ϑ 0
0
[ϕ ∗ | T ] = α und E ϑ 0
0
[Uϕ ∗ | T ] = α E ϑ 0
0
[U | T ]
P ϑ0 -f.s.
ein gleichmäßig bester unverfälschter Test zum Niveau α von H 0 : ϑ 0 = ϑ 0 0
gegen H 1 : ϑ 0 ≠ ϑ 0 0 . 9

4.3 Tests im Normalverteilungsmodell
4.15 Satz. Es sei X 1 , . . . , X n eine N(µ, σ 2 )-verteilte mathematische Stichprobe
mit µ ∈ R und σ > 0 unbekannt. Für σ 0 > 0 ist ein gleichmäßig bester
unverfälschter Test von H 0 : σ σ 0 gegen H 1 : σ > σ 0 zum Niveau α ∈ (0, 1)
gegeben durch
⎧
⎨1, falls 1 ∑ n
ϕ ∗ σ
(X 1 , . . . , X n ) =
0 2 i=1 (X i − ¯X) 2 > K α
⎩0, falls 1 ∑ n
σ0 2 i=1 (X i − ¯X) 2 K α
mit dem α-Fraktil K α der χ 2 (n − 1)-Verteilung:
∫ ∞
K α
2 −(n−1)/2
Γ((n − 1)/2) z(n−1)/2−1 e −z/2 dz = α.
4.16 Lemma. Sind Z 1 , . . . , Z n unabhängig N(0, σ 2 )-verteilt sowie f : R n →
R messbar mit f(cx) = f(x) für alle c > 0, x ∈ R n , so ist f(Z 1 , . . . , Z n )
unabhängig von ∑ n
i=1 Z2 i . Insbesondere sind jeweils √P
¯Z
i (Z i− ¯Z) und √P
¯Z
2 i Z2 i
unabhängig von ∑ n
i=1 Z2 i .
4.17 Satz. Es sei X 1 , . . . , X n eine N(µ, σ 2 )-verteilte mathematische Stichprobe
mit µ ∈ R und σ > 0 unbekannt. Ein gleichmäßig bester unverfälschter Test von
H 0 : µ = µ 0 gegen H 1 : µ ≠ µ 0 zum Niveau α ∈ (0, 1) ist gegeben durch den
zweiseitigen t-Test
ϕ ∗ (X) = 1 {|t(X)|>Kα/2 }, t(X) :=
√
1
n−1
√ n( ¯X − µ0 )
∑ n
i=1 (X i − ¯X)
,
2
mit dem α/2-Fraktil K α/2 der t(n − 1)-Verteilung :
∫ ∞
K α/2
Γ(n/2)
(
√ 1 + z2 ) −n/2dz
= α/2.
π(n − 1)Γ((n − 1)/2) n − 1
4.18 Satz. Es werden zwei unabhängige mathematische Stichproben
X 1 , . . . , X m ∼ N(µ, σ 2 ) und Y 1 , . . . , Y n ∼ N(ν, σ 2 ) beobachtet mit µ, ν ∈ R und
σ > 0 unbekannt. Ein gleichmäßig bester unverfälschter Test von H 0 : µ = ν
gegen H 1 : µ ≠ ν zum Niveau α ∈ (0, 1) ist gegeben durch
ϕ ∗ (X, Y ) = 1 {|t(X,Y )|>Kα/2 },
( 1 m
mit t(X, Y ) :=
+ 1 n )−1/2 (Ȳ √
− ¯X)
( ∑ m
i=1 (X i − ¯X) 2 + ∑ n
j=1 (Y j − Ȳ )2 )/(m + n − 2)
und dem α/2-Fraktil K α/2 der t(m + n − 2)-Verteilung.
4.19 Satz. Es werden zwei unabhängige mathematische Stichproben
X 1 , . . . , X m ∼ N(µ, σ 2 ) und Y 1 , . . . , Y n ∼ N(ν, τ 2 ) beobachtet mit µ, ν ∈ R
und σ, τ > 0 unbekannt. Für c 0 > 0 ist ein gleichmäßig bester unverfälschter
10

Test von H 0 : τ 2 c 0 σ 2 gegen H 1 : τ 2 > c 0 σ 2 zum Niveau α ∈ (0, 1) gegeben
durch
ϕ ∗ (X, Y ) = 1 {c
−1
0 V (X,Y )>Kα},
∑ n
j=1
mit V (X, Y ) :=
(Y j − Ȳ )2 /(n − 1)
∑ m
i=1 (X i − ¯X) 2 /(m − 1)
und dem α-Fraktil K α der F (n − 1, m − 1)-Verteilung:
∫ ∞
K α
5 Schätztheorie
Γ((m+n−2)/2)( n−1
m−1 )(n−1)/2
Γ((m−1)/2)Γ((n−1)/2)
5.1 Momentenschätzer
(1 + n−1
m−1
z (n−3)/2
z)(m+n−2)/2
dz = α.
5.1 Definition. Es seien (X n , F ⊗n , (P ⊗n
ϑ ) ϑ∈Θ) ein statistisches
(Produkt-)Experiment mit X ⊆ R, F ⊆ B R und g(ϑ) mit g : Θ → R p
ein abgeleiteter Parameter. Ferner sei ψ = (ψ 1 , . . . , ψ q ) : R → R q derart, dass
ϕ(ϑ) := E ϑ [ψ] = (E ϑ [ψ j ]) j=1,...,q
existiert. Gibt es nun eine Borel-messbare Funktion G : ϕ(Θ) → g(Θ) mit
1
∑
G ◦ ϕ = g und liegt n
n i=1 ψ(x i) in ϕ(Θ) für alle x 1 , . . . , x n ∈ X, so
heißt G( 1 ∑ n
n i=1 ψ(x i)) Momentenschätzer für g(ϑ) mit Momentenfunktionen
ψ 1 , . . . , ψ q .
5.2 Lemma. Existiert für hinreichend großes n der Momentenschätzer ĝ n =
G( 1 n
∑ n
i=1 ψ(x i)) und ist G stetig, so ist ĝ n (stark) konsistent, d.h. lim n→∞ ĝ n =
g(ϑ) P ϑ -f.s.
5.3 Satz (∆-Methode). Es seien (X n ) eine Folge von Zufallsvektoren im R k ,
σ n > 0, σ n → 0, ϑ 0 ∈ R k sowie Σ ∈ R k×k positiv definit und es gelte
σn
−1 (X n − ϑ 0 ) −→ d N(0, Σ).
Ist f : R k → R in einer Umgebung von ϑ 0 stetig differenzierbar mit
(∇f(ϑ 0 )) ⊤ Σ ∇f(ϑ 0 ) > 0, so folgt
σ −1
n (f(X n ) − f(ϑ 0 )) d −→ N(0, (∇f(ϑ 0 )) ⊤ Σ ∇f(ϑ 0 )).
5.4 Satz. Es seien ϑ 0 ∈ Θ, g : Θ → R und für hinreichend großes n
existiere der Momentenschätzer ĝ n = G( 1 ∑ n
n i=1 ψ(x i)) mit Momentenfunktionen
ψ j ∈ L 2 (P ϑ0 ), j = 1, . . . , q. Setze Σ(ϑ 0 ) := (Cov ϑ0 (ψ i , ψ j )) i,j=1,...,q .
Sofern G in einer Umgebung von ϕ(ϑ 0 ) stetig differenzierbar ist mit σ 2 :=
(∇G(ϕ(ϑ 0 ))) ⊤ Σ(ϑ 0 ) ∇G(ϕ(ϑ 0 )) > 0, ist ĝ n unter P ⊗n
ϑ 0
asymptotisch normalverteilt
mit Rate n −1/2 und asymptotischer Varianz σ 2 :
√ n(ĝn − g(ϑ 0 )) d −→ N(0, σ 2 ).
11

5.2 Maximum-Likelihood- und M-Schätzer
5.5 Definition. Es sei (X, F , (P ϑ ) ϑ∈Θ ) ein von µ dominiertes Experiment mit
Likelihoodfunktion L(ϑ, x). Eine Statistik ˆϑ : X → Θ (Θ trage eine σ-Algebra
F Θ ) heißt Maximum-Likelihood-Schätzer (MLE) von ϑ, falls L( ˆϑ(x), x) =
sup ϑ∈Θ L(ϑ, x) für P ϑ -fast alle x ∈ X und alle ϑ ∈ Θ gilt.
Mit l(ϑ, x) := log L(ϑ, x) wird die Loglikelihood-Funktion bezeichnet.
5.6 Lemma. Für eine natürliche Exponentialfamilie (P ϑ ) ϑ∈Θ in T (x) ist der
MLE ˆϑ implizit gegeben durch die Momentengleichung E ˆϑ[T ] = T (x), vorausgesetzt
der MLE existiert und liegt im Innern int(Θ) von Θ.
5.7 Definition. Es sei (X n , F n , (P n ϑ ) ϑ∈Θ) n1 eine Folge statistischer Experimente.
Eine Funktion K : Θ × Θ → R ∪{+∞} heißt Kontrastfunktion, falls
ϑ ↦→ K(ϑ 0 , ϑ) ein eindeutiges Minimum bei ϑ 0 hat für alle ϑ 0 ∈ Θ. Eine Folge
K n : Θ × X n → R ∪{+∞} heißt zugehöriger Kontrastprozess (oder bloß Kontrast),
falls folgende Bedingungen gelten:
(a) K n (ϑ, •) ist F n -messbar für alle ϑ ∈ Θ;
(b) ∀ϑ, ϑ 0 ∈ Θ : K n (ϑ) Pn ϑ
−−→
0
K(ϑ0 , ϑ) für n → ∞.
Ein zugehöriger M-Schätzer (oder Minimum-Kontrast-Schätzer) ist gegeben
durch ˆϑ n (x n ) := argmin ϑ∈Θ K n (ϑ, x n ) (sofern existent; nicht notwendigerweise
eindeutig).
5.8 Satz. Es sei (K n ) n1 ein Kontrastprozess zur Kontrastfunktion K. Dann
ist der zugehörige M-Schätzer ˆϑ n konsistent für ϑ 0 ∈ Θ unter folgenden Bedingungen:
(A1) Θ ist ein kompakter Raum;
(A2) ϑ ↦→ K(ϑ 0 , ϑ) ist stetig und ϑ ↦→ K n (ϑ) ist P n ϑ 0
-f.s. stetig;
(A3) sup ϑ∈Θ |K n (ϑ) − K(ϑ 0 , ϑ)| Pn ϑ
−−→
0
0.
5.9 Satz. Es mögen die Annahmen (A1)-(A3) sowie Θ ⊆ R k und ϑ 0 ∈ int(Θ)
gelten. Der Kontrastprozess K n sei zweimal stetig differenzierbar in einer Umgebung
von ϑ 0 (P n ϑ 0
-f.s.), so dass mit
U n (ϑ) := ∇ ϑ K n (ϑ) (Score),
V n (ϑ) := ∇ 2 ϑ K n(ϑ)
folgende Konvergenzen unter P n ϑ 0
gelten:
(a) √ nU n (ϑ 0 ) d −→ N(0, I(ϑ 0 )) mit I(ϑ 0 ) ∈ R k×k positiv definit.
P n ϑ
(b) Aus ϑ
0
n −−→ ϑ0 folgt V n (ϑ n ) Pn ϑ
−−→
0
V (ϑ0 ) mit V (ϑ 0 ) ∈ R k×k regulär.
Dann ist der M-Schätzer ˆϑ n asymptotisch normalverteilt. Genauer gilt unter
P n ϑ 0
:
√ n( ˆϑn − ϑ 0 ) d −→ N(0, V (ϑ 0 ) −1 I(ϑ 0 )V (ϑ 0 ) −1 ).
12

5.10 Satz. Ist Θ ⊆ R k kompakt, (X n (ϑ), ϑ ∈ Θ) n1 eine Folge stetiger Prozesse
mit X n (ϑ) P −→ X(ϑ) für alle ϑ ∈ Θ und stetigem Grenzprozess (X(ϑ), ϑ ∈ Θ),
so gilt max ϑ∈Θ |X n (ϑ)−X(ϑ)| −→ P 0 genau dann, wenn (X n ) straff ist, also wenn
(
)
∀ε, η > 0 ∃δ > 0 : lim sup P
n→∞
|X n (ϑ 1 ) − X n (ϑ 2 )| ε η.
sup
|ϑ 1 −ϑ 2 |

5.4 Nichtparametrische Dichteschätzung
5.14 Definition. Eine Funktion K : R → R heißt Kern (oder Kernfunktion),
falls ∫ ∞
−∞ K(x) = 1 und K ∈ L2 (R). Gilt
∫ ∞
−∞
K(x)x p dx = 0, 1 p P,
sowie ∫ |K(x)x P +1 |dx < ∞, so besitzt der Kern K die Ordnung P . Für h > 0
setze K h (x) := h −1 K(h −1 x). Hierbei wird h als Bandweite bezeichnet.
5.15 Definition. Für reellwertige Beobachtungen X 1 , . . . , X n bezeichnet
ˆf h,n (x) = 1 n
n∑
K h (x − X i ),
i=1
x ∈ R
den Kerndichteschätzer zu gegebenem Kern K mit Bandweite h > 0.
5.16 Satz. Es sei X 1 , . . . , X n eine mathematische Stichprobe gemäß einer
Dichte f. Gilt f ∈ C s (R) und besitzt der Kern K die Ordnung P s − 1,
so gilt für das quadratische Risiko der Kerndichteschätzung
∀ x 0 ∈ R : E f [( ˆf h,n (x 0 ) − f(x 0 )) 2 ] C(K, s)‖f (s) ‖ ∞ h s + ‖K‖ 2 L 2 ‖f‖ ∞ (nh) −1 ,
wobei C(K, s) > 0 nur von K und s abhängt.
5.17 Korollar. Setze für s 1, R > 0
D(s, R) := {f : R → R + | f ∈ C s (R), ∫ f(x)dx = 1, max(‖f‖ ∞ , ‖f (s) ‖ ∞ ) R}.
Dann erfüllt der Kerndichteschätzer mit einem Kern der Ordnung P s − 1
und der Bandweite h(n) = Cn −s/(2s+1) , C > 0 beliebig, asymptotisch:
∀ x 0 ∈ R : lim sup
n→∞
n 2s/(2s+1)
sup
f∈D(s,R)
E f [( ˆf n,h(n) (x 0 ) − f(x 0 )) 2 ] < ∞.
Insbesondere ergeben sich die Konvergenzraten n −2/3 (s=1), n −4/5 (s=2) sowie
als Grenzwert für s → ∞ die parametrische Rate n −1 für das quadratische
Risiko.
14