Die asymptotische Verteilung des Likelihood-Quotienten-Tests für ...

4.1. ML-Schätzer im 1-Stichprobenfall 31
für alle θ ∈ B θ (0) und liefert somit für das Restglied der Taylorentwicklung
R(θ) ≤ 3d ‖ θ − θ(0) ‖ 3 1
n∑
6 n ·
∑
d 3
log f(X i , θ) ∣
i=1 ∥ dθ j dθ l dθ m
j,l,m=1,...,d
≤ ‖ θ − θ (0) ‖ 3 · 1 n∑
K(X i ) · O(1)
n
i=1
Nach dem schwachen Gesetz der großen Zahlen (A.1) gilt
und es wird somit
1
n
n∑
P
K(X i ) −→ E θ (0)K(X 1 ) < ∞
i=1
R(θ) =‖ θ − θ (0) ‖ 3 · O p (1).
geschlossen. Die Taylorentwicklung zweiter Ordnung schreibt sich folglich als
1
n l n(θ) = 1 n l n(θ (0) ) + A T n · (θ − θ (0) ) + 1 2 (θ − θ(0) ) T B n · (θ − θ (0) )+ ‖ θ − θ (0) ‖ 3 O p (1).
∣
θ=˜θ
∥
Lemma 4.2. Das 1-Stichproben-Modell sei gegeben, das heißt X 1 , X 2 , . . . seien unabhängig,
identisch verteilte Zufallsvariablen mit Dichte f(x, θ (0) ) bezüglich einem σ-endlichen Maß ν,
Θ der Parameterraum. Sind die Regularitätsbedingungen R erfüllt, so gilt mit J = J(θ (0) )
(i)
(ii)
√ D nAn −→ N (0, J),
a.s.
B n −→ −J.
Beweis. Der Zentrale Grenzwertsatz (siehe A.2) liefert zusammen mit Lemma 4.1, dass √ nA n
asymptotisch normalverteilt ist mit Erwartungswert 0 und Kovarianzmatrix J. Weiter ist
nach Lemma 4.1 E θ [W (X, θ)] = −J(θ). Somit konvergiert B n fast sicher gegen −J nach dem
starken Gesetz der großen Zahlen (siehe A.1).
Theorem 4.3. Für unabhängig, identisch verteilte Zufallsvariablen X 1 , X 2 , . . . , die die Regularitätsbedingungen
R erfüllen, gilt mit J = J(θ (0) )
√ n (ˆθn − θ (0) )
D −→ N (0, J −1 ).
Beweis. Unter den gegebenen Regularitätsbedingungen existiert der ML-Schätzer ˆθ n und ist
stark konsistent, d.h. ˆθ a.s.
n −→ θ (0) . Der Beweis wird hier ausgelassen und zum Beispiel auf
die Originalarbeit von Wald (1949) oder auf das Buch von Ferguson (1996, Satz 17), das die
Resultate von Wald nutzt, verwiesen.
Es bezeichne ˙l n (θ) die Ableitung von l n nach θ. Es wird die Taylorentwicklung von ˙l n um
θ ∈ B θ (0) betrachtet,
1
n ˙l n (θ) = A n + B n (θ − θ (0) )+ ‖ θ − θ (0) ‖ 2 O p (1), (4.3)