Hintergrundmaterial zur Vorlesung Statistik 2

Hintergrundmaterial zur Vorlesung Statistik 2
Kap. 15.2: Herleitung des Zerlegungssatzes der Gesamtstreuung
bei linearer Regression
Die Gleichung für die Zerlegung bei linearer Regression lautet bekanntlich:
n∑
n∑
n∑
(y i − ȳ) 2 = (y i − ŷ i ) 2 + (ŷ i − ȳ) 2 . (1)
i=1
i=1
i=1
Betrachten wir zunächst die Quadratsumme der Residualabweichung ∑ n
i=1 (y i − ŷ i ) 2 :
Einsetzen des Ergebnisses für die Ausgleichsgerade,
ergibt zunächst:
ŷ = a + bx = ȳ + b(x − ¯x),
n∑
n∑
(y i − ŷ i ) 2 = (y i − ȳ − b(x i − ¯x)) 2
i=1
i=1
n∑
n∑
= (y i − ȳ) 2 − 2b (y i − ȳ)(x i − ¯x) + b 2 ∑ n (x i − ¯x) 2
i=1
i=1
i=1
Setzt man nun auch für den Ausgleichskoeffizienten b das Regressionsergebnis b = s xy /s 2 x
ein, ergibt sich für die Quadratsumme der Residualabweichung:
n∑
n∑
(y i − ŷ i ) 2 = (y i − ȳ) 2 − n s2 xy
.
i=1
i=1
s 2 x
Für die Quadratsumme der erklärten Abweichung (zweiter Summand der rechten Seite in
Gl. (1)) ergibt sich analog:
n∑
(ŷ i − ȳ) 2 = b 2 ∑ n (x i − ¯x) 2 = n s2 xy
.
i=1
i=1
s 2 x
Damit heben sich die Kovarianzterme ∝ s 2 xy weg und man erhält
was zu beweisen war.
n∑
n∑
n∑
(y i − ȳ) 2 = (y i − ŷ i ) 2 + (ŷ i − ȳ) 2 ,
i=1
i=1
i=1
1

Zu 15.3 Herleitung des Zusammenhangs
Rangkorrelation-Bestimmtheitsmaß im linearen Fall
Das Bestimmtheitsmaß der Regression ŷ(x) eines Streudiagramms {(x i , y i ), i = 1, · · · , n}
lautet bekanntlich
n∑
n∑
n∑
(y i − ŷ i ) 2 (y i − ȳ) 2 − (y i − ŷ i ) 2
i=1
i=1
i=1
B = 1 − U = 1 −
=
.
n∑
n∑
(y i − ȳ) 2 (y i − ȳ) 2
i=1
i=1
Mit dem für lineare Regressionen gültigen Zerlegungssatz (1) erhält man zunächst
n∑
(ŷ i − ȳ) 2
B =
i=1
n∑
i=1
(y i − ȳ) 2 . (2)
Damit nun die Korrelationsfunktion ins Spiel kommt, muss man die Regressionsfunktion
irgendwie durch r xy ausdrücken:
Dabei hat man
ausgenutzt.
ŷ(x) = a + bx = ȳ + b(x − ¯x) = ȳ + r xys y
s x
(x − ¯x). (3)
b = s xy
s 2 x
=
(
sxy
s x s y
)
sy
s x
= r xy
s y
s x
Damit wird der Zähler von (2):
n∑
n∑
(ŷ i − ȳ) 2 s 2
=
yrxy(x 2 i − ¯x) 2
i=1
i=1
s 2 x
= s2 yr 2 xy
s 2 x
n∑
(x i − ¯x) 2 = ns 2 yrxy.
2
i=1
Der Nenner von (2) ist ∑ n
i=1 (y i − ȳ) 2 = ns 2 y und damit letztendlich
was zu zeigen war.
B = ns2 yr 2 xy
ns 2 y
= r 2 xy,
Kap. 15.3(c): Herleitung des Rangkorrelationskoeffizienten nach
Spearman aus dem Maßkorrelationskoeffizient nach Pearson
Ausgangspunkt: Maßkorrelationskoeffizient für einen Scatter-Plot der Werte x i und y i ,
i = 1, · · · , n, von kardinalskalierten Größen X und Y :
r xy = s xy
s x s y
2

Erzeugen einer ordinalskalierten Rangfolgenliste der x i und y i :
Sei R i ∈ {1, 2, · · · , n}, i = 1, 2, · · · , n die Rangfolge der Werte x i und S i ∈ {1, 2, · · · , n}, i =
1, 2, · · · , n die Rangfolge der Werte y i . Alle Werte müssen voneinander verschieden sein,
so dass die Reihenfolge genau von 1 bis n geht! (bzw. allgemeiner von (k + 1) bis (k + n)
mit k einer beliebigen ganzen Zahl). Zum Beispiel gilt R j = 1 für den Index j, für den der
zugehörige Wert x j am kleinsten ist und R k = n für den Index k, für den x k am größten
ist. Falls zwei oder mehr der x i oder y i gleich sind, wählt man die Rangfolge willkürlich.
Anwendung der Maßkorrelation auf die Rangfolgenlisten:
r xy ⇒ r RS = s RS
s R s S
(4)
mit
s 2 R = 1 n∑
(R i −
n
,
i=1
(5)
s 2 S = 1 n∑
(S i −
n
,
i=1
(6)
s RS = 1 n∑
(R i −
n
i − ¯S).
i=1
(7)
Ausnutzen der speziellen Struktur der R i und S i :
¯R = ¯S = n + 1 , (8)
2
n∑
(R i − ¯R)
n∑
2 = (S i − ¯S)
n∑
2 = (i 2 − 2 ¯Ri + ¯R
n∑
( ) n + 1 2 2 ) = i 2 − n . (9)
2
i=1
i=1
i=1
i=1
Mit
ergibt sich
n∑
i 2 = 1
i=1
6 (n + 3n2 + 2n 3 )
Wir benötigen nun noch die Summe ∑ n
i=1 (R i − ¯R)(S i − ¯S):
s 2 R = s 2 s = (n2 − 1)
. (10)
12
n∑
(R i − ¯R)(S i − ¯S)
n∑
= i S i −R i ¯S − ¯RSi −
i=1
i=1(R ¯R ¯S)+ 1 n∑
i −S i )
2
i=1(R 2 − 1 n∑
(R i −S i ) 2 (11)
2
i=1
3

Die letzten beiden Summanden wurden pro Forma hinzuaddiert; sie ergeben natürlich
zusammen Null. Fasst man die beiden ersten Summanden zusammen und beachtet Gln.
(8) und ∑ n
i=1 R i = ∑ n
i=1 S i , erhält man
n∑
(R i − ¯R)(S i − ¯S)
n∑
=
i ¯R +
i=1
i=1(−2R ¯R2 + Ri 2 ) − 1 2
= ns 2 R − 1 n∑
(R i − S i ) 2 .
2
i=1
n∑
(R i − S i ) 2
i=1
Setzt man dies in Gl. (4) ein und beachtet man Gl. (7), s R s S = s 2 R und Gl. (10), erhält
man den Rangkorrelationskoeffizienten nach Spearman:
r RS = n n2 −1
− 1 ∑ ni=1
(R
12 2
i − S i ) 2
n n2 −1
12
= 1 −
6
n(n 2 − 1)
n∑
(R i − S i ) 2 . (12)
i=1
Summa summarum: Der Rangkorrelationskoeffizienten nach Spearman ist der Maßkorrelationskoeffizient
nach Pearson, angewandt auf die natürlichzahligen Rangfolgelisten R i
und S i von ordinal- oder kardinalskalierten Werten x i und y i .
4