Fortbildung zur 18.Informationstagung Tumordokumentation am 1 ...

Mathematisch-statistische Anmerkungen zur Bewertung von
Qualitätsindikatoren beim Einrichtungsvergleich
B. Schicke, J. Bellach, und A. Jagota
Multivariate Bewertung der Ergebnisqualität verschiedener Einrichtungen am
Beispiel der Überlebensraten von Tumorpatienten
B. Schicke, A. Tillack und A. Naas
Fortbildung zur 18.Informationstagung
Tumordokumentation
am 1.April 2009
Jena
Bernd Schicke, Tumorzentrum Berlin, bernd.schicke@web.de
Dr. Joachim Bellach, Tumorzentrum Charité/Mitte
Dr. Anita Jagota, Tumorzentrum Berlin
Dr. Anett Tillack, TZBB, Geschäftsstelle am Klinikum Frankfort/Oder
Arnd Naas, TZBB, Geschäftsstelle am Klinikum Frankfort/Oder

Gliederung
1. Einführung
2. Zufallsauswahl - Darstellung von Ergebnissen in Abhängigkeit von N
Beim Würfel
Überlebenswahrscheinlichkeiten
3. Multivariate Bewertung (Cox-Regression)
• Selektionseffekt
4. Mediane Beobachtungszeit
5. Beispielrechnung mit SPSS Version 17
Literatur:
Fachbücher:
Kalbfleisch, J.D. & Prentice, R.L (1980):
The Statistical Anasysis of Failure Time Data. New York: Wiley
Flemming, T.R. & Harrington, D.P. (1991)
Bortz, Jürgen, Lehrbuch der Statistik, Springer
Counting Processes and Survival Analysis. New York: Wiley
Andersen, P.K., Gill, R.D. & Keiding, N (1992)
Statistical Methods Based on Counting Processes, New York: Springer
Breslow, N.E & Day, N.E. (1987)
Statistical methods in cancer research. Vol.II, IARC, Lyon
Harris, E.K. & Albert, A. (1991)
Survivorship Anaysis for Clinical Studies . New York: marcel Dekker
Lee, E.T. (1992)
Statistical Methods for Survival Data Analysis .2 nd edition, New York: Wiley
Schumacher, M. & Schulgen, G. (2002)
Methodik klinischer Studien, Berlin:Springer
Arbeiten.
Kaplan, E.L & Meier, P. Nonparametric estimation from incomplete observations
JASA 1958 (53: 457-481)
Cox, D.R. Regression models and life-tables JRSS , Series B 1972 (34.187-202)
Ulm, K, Schmoor, C., Sauerbrei, W. u.a.
Strategien zur Auswertung einer Therapiestudie mit der Überlebenszeit als
Zielkriterium. Biometrie und Informatik in Medizin und Biologie 1989 (20:171-202)
Wegscheider, K. Methodische Anforderungen an Einrichtungsvergleiche („Profiling“)
im Gesundheitswesen, Z.ärztl. Fb, Qual. Gesundh. wes. (2004) 98:647-654
2

1. Einführung
Für die Qualitätssicherung werden auch im Gesundheitsbereich verstärkt
Einrichtungsvergleiche vorgenommen. Ausgehend von Qualitätsindikatoren, S3-Leitlinien
und Zertifizierungsanforderungen für Tumorzentren oder Organzentren hat man so die
Möglichkeit, objektive Vergleiche durchzuführen. Dabei wird für die ausgewählten
Indikatoren ein Ranking nach der Häufigkeit des Auftretens eines Ereignisses oder nach dem
Mittelwert oder dem Median durchgeführt.
Die statistischen Schätzer für die Bewertung beruhen auf Wahrscheinlichkeitsaussagen, deren
Voraussetzungen erst bei großen Fallzahlen erfüllt sind. Bei einer geringen Anzahl von
Fällen kann es zu positiven und negativen Abweichungen von der erwarteten
Gesamtverteilung kommen, die eine objektive Bewertung erschweren.
Neben den zufälligen Abweichungen ist aber von unterschiedlichen Ausgangsbedingungen
beim Einrichtungsvergleich auszugehen, die durch ein multivariates Modell adjustiert werden
müssen. Beim Zielereignis Tod unterscheidet man zwischen dem Gesamtüberleben OAS
(over all survival) und dem tumorbedingten Tod oder DFS (disease free survival) Da die
Entscheidung ob der Patient an den Folgen der Tumorerkrankung verstorben ist oder nicht nur
in seltenen Fällen vorliegt, muss eine Alterskorrektur der Überlebensrate vorgenommen
werden. Eine Besonderheit bei der Überlebenszeitanalyse ist, dass der Beginn der
Beobachtung für jeden Patienten zu einem anderen Zeitpunkt stattfindet. Damit liegen zum
Analyse- oder Auswertungszeitpunkt unterschiedliche Beobachtungszeiten vor.
Den Zielpunkt Tod kann man bei vielen Studien und Auswertungen nicht bestimmen, da man
nicht warten kann, bis alle Patienten verstorben sind. Man erhält also Überlebenszeiten, von
denen man weiß, dass sie eine untere Grenze darstellen.
Patienten, die zum Zeitpunkt der Analyse noch leben nennt man zensiert. Aber auch für
Patienten, die während der Studie ausgeschieden sind oder wo kein aktueller Lifestaus
vorliegt, werden als zensiert gewertet.
Um eine Auswertung vornehmen zu können, wird für jeden Patienten die Beobachtungszeit
als Differenz zwischen Auswertungszeitpunkt (oder letzter Kontrolle) und dem Eintritt in die
Studie (Diagnosedatum, Op-Datum, Ende einer Therapie) gebildet. Voraussetzung für die
Analyse sind vollständige Datensätze, wobei die zensierten Fälle eine mittlere
Beobachtungszeit haben sollten, die den zu schätzenden Überlebensraten entspricht.
3

2. Zufallsauswahl - Darstellung von Ergebnissen in Abhängigkeit von N
Würfel
Abb. 1 Gleichverteilung beim Würfel nach 6000 Würfen
Abb. 2 Zufällige Verteilung beim Würfel nach 30 Würfen (Abweichungen bis 80 %)
4

Abb. 3 Zufällige Verteilung beim Würfel nach 300 Würfen (Abweichungen >20%)
Abb. 4 Zufällige Verteilung beim Würfel nach 3000 Würfen (Abweichungen < 10%)
5

Abb. 5 95 % Konfidenzintervall des Mittelwertes für unterschiedliche Anzahlen
2. Zufallsauswahl - Darstellung von Ergebnissen in Abhängigkeit von N
Überlebenswahrscheinlickeit
Wir betrachten jetzt eine Überlebenswahrscheinlichkeit, die gleiche Ausgangsbedingungen
haben soll:
Abb. 6 K-M-Überlebenskurve: primäre, invasive, operierte Mamma-Ca, M=0,
6

Abb. 7 Zufallsauswahl zu je N=100
Abb. 8 95 % Konfidentintervalle für die mittle Überlebenswahrscheinlichkeit
7

3. Multivariate Bewertung (Cox-Regression)
Wenn bei univariate Analyse verschiedene Einflussgrößen bewertet werden, kann nicht
entschieden werden, welche Variable einen unabhängigen Einfluss auf das Überleben
hat. Deshalb müssen in einem Modell alle Variablen berücksichtigt werden.
Es können aber nur Fälle berücksichtig werden, bei denen alle Daten vorhanden sind.
Ist dies nicht der Fall, kommt es zu Selektionen, die verfälschende Ergebnisse ergeben.
Grundlage für die Cox-Regression ist die Annahme eines proportionalen Hazard-
Modells, d. h. die Ereignisraten verlaufen bei jeder Variablen in den Kategorien
proportional. Es gibt keine wechselseitigen Überschneidungen.
Alle metrischen und kategorialen Variablen können berücksichtig werden, wobei die
Rechenprogramme die Kategorien in 0 – 1 Zustände auflöst.
KH n G3 > 70 pN+ pT1 pT4 HR -
1 1061 18,3% 19,5% 39,3% 54,0% 2,1% 15,0%
2 799 31,7% 29,5% 39,7% 53,1% 3,3% 16,5%
3 634 16,9% 26,2% 37,1% 46,7% 3,0% 14,0%
4 577 31,0% 24,6% 39,2% 48,0% 4,0% 17,3%
5 494 33,6% 30,8% 35,0% 43,7% 5,7% 21,3%
6 413 42,0% 29,3% 40,4% 52,5% 3,4% 23,4%
7 369 32,6% 35,0% 36,6% 49,1% 3,3% 18,4%
8 366 26,2% 23,5% 36,9% 51,9% 3,3% 13,7%
9 326 24,5% 32,2% 37,4% 44,8% 5,5% 24,8%
10 321 19,1% 38,6% 42,1% 52,3% 3,7% 12,4%
11 282 31,9% 27,7% 35,1% 44,0% 4,3% 14,7%
12 243 33,3% 40,3% 41,2% 42,0% 5,3% 18,1%
13 214 43,0% 24,3% 40,2% 58,9% 5,6% 21,7%
14 189 29,0% 33,3% 39,7% 44,4% 7,4% 11,5%
15 166 68,1% 38,6% 31,3% 46,4% 4,8% 9,4%
16 157 35,7% 29,9% 37,6% 47,1% 4,5% 21,3%
17 135 44,4% 45,9% 43,0% 36,3% 13,3% 19,1%
18 141 32,1% 31,9% 34,0% 45,4% 4,3% 23,3%
19 101 26,7% 37,6% 37,6% 40,6% 3,0% 12,8%
20 1097 31,0% 14,9% 38,7% 54,5% 3,3% 21,9%
Tab. 1. Verteilung der tumorrelevanten biologischen Faktoren nach Kliniken (KH)
8

Selektionseffekt
Jg 2000 -2007 Jg 2003 -2007
KH n Selektion % n Selektion %
1 1061 930 12,35 776 725 6,57
2 799 710 11,14 524 510 2,67
3 634 592 6,62 442 422 4,52
4 577 486 15,77 395 376 4,81
5 494 459 7,09 356 348 2,25
6 413 332 19,61 278 250 10,07
7 369 310 15,99 263 243 7,60
8 366 267 27,05 284 230 19,01
9 326 248 23,93 178 165 7,30
10 321 249 22,43 213 199 6,57
11 282 202 28,37 195 176 9,74
12 243 176 27,57 171 155 9,36
13 214 198 7,48 174 168 3,45
14 189 146 22,75 139 117 15,83
15 166 128 22,89 120 111 7,50
16 157 155 1,27 147 147 0,00
17 135 68 49,63 80 43 46,25
18 141 132 6,38 125 122 2,40
19 101 94 6,93 84 80 4,76
20 1097 763 30,45 739 583 21,11
Summe 8085 6645 17,81 5683 5170 9,03
Tab. 2. Verteilung der Fälle, die bei der Cox-Regression ausgeschlossen werden,
nach Kliniken (KH)
Es stellt sich die Frage, ob die Selektion von Fällen zufällig ist.
9

Abb. 9 Vergleich der ÜL-Wahrscheinlichkeit insgesamt nach Selektion (0=ja, 1=nein)
10

Abb. 10 Vergleich der ÜL-Wahrscheinlichkeit für Klinik 1 nach Selektion
Abb. 11 Vergleich der ÜL-Wahrscheinlichkeit für Klinik 5 nach Selektion
11

Abb. 12 Vergleich der ÜL-Wahrscheinlichkeit für Klinik 17 nach Selektion
Abb. 13 Vergleich der ÜL-Wahrscheinlichkeit für Klinik 17 nach Selektion
Zusammenfassung
Statistische Bewertungen beruhen auf Wahrscheinlichkeitsaussagen, die
von N abhängen.
Wegen unterschiedlicher Ausgangsbedingungen kann ein
Einrichtungsvergleich nur multivariat erfolgen, wobei eine
Risikoadjustierung erfolgen muss.
Multivariate Auswertungen erfordern vollständige Datensätze, da es sonst
zur Selektion kommen kann.
12

4. Mediane Beobachtungszeit
Die Überlebenswahrscheinlichkeiten dürfen nur bis zu einem bestimmten Zeitpunkt
geschätzt werden
Beobachtungszeit
lebt Tod
KH N Mittelwert. Median N Mittelwert Median
1 974 41,1 37,5 87 40,9 36,3
2 714 48,6 47,6 85 37,0 34,3
3 567 44,5 41,8 67 29,5 24,8
4 514 44,5 42,1 63 28,1 24,8
5 417 40,0 32,7 77 29,6 23,4
6 361 45,0 41,7 52 35,2 32,1
7 319 43,4 40,2 50 35,6 27,4
8 328 38,7 32,7 38 28,7 21,2
9 272 51,6 52,3 54 29,6 27,0
10 267 45,9 41,8 54 30,7 25,7
11 251 42,5 38,6 31 36,8 35,4
12 212 46,4 44,5 31 28,1 25,5
13 196 35,9 32,9 18 46,2 45,7
14 170 41,6 38,2 19 24,4 24,5
15 135 41,7 34,6 31 26,4 24,5
16 146 25,1 23,9 11 20,5 22,3
17 98 50,6 50,5 37 27,1 27,8
18 124 37,5 37,2 17 26,3 23,8
19 87 42,5 44,2 14 28,3 22,6
20 987 45,2 42,2 110 34,3 30,9
Gesamt 7139 43,5 39,9 946 32,4 28,1
Tab. 3. Mittlere und mediane Beobachtungszeiten nach dem Lifestaus und Kliniken
13

6. Beispielrechnung mit SPSS
Fragenstellung: Hat die Einrichtung einen Einfluss auf die Ergebnisqualität „Überleben“?
Hierzu wird eine Cox-Regression mit SPSS Version 17 gerechnet.
Datenauswahl: Jahrgang, nur operierte, invasive und primär nicht metastasierte Fälle
Da aber auch andere Variable einen Einfluss auf das Überleben haben, muss multivariat
ausgewertet werden:
14

Variablenauswahl:
Häufigkeitstabelle
Gültig
Gültig
khaus
Häufigkeit Prozent Gültige Prozente
Kumulierte
Prozente
1 1061 13,1 13,1 13,1
2 799 9,9 9,9 23,0
3 634 7,8 7,8 30,8
4 577 7,1 7,1 38,0
5 494 6,1 6,1 44,1
6 413 5,1 5,1 49,2
7 369 4,6 4,6 53,8
8 366 4,5 4,5 58,3
9 326 4,0 4,0 62,3
10 321 4,0 4,0 66,3
11 282 3,5 3,5 69,8
12 243 3,0 3,0 72,8
13 214 2,6 2,6 75,4
14 189 2,3 2,3 77,8
15 166 2,1 2,1 79,8
16 157 1,9 1,9 81,8
17 135 1,7 1,7 83,4
18 141 1,7 1,7 85,2
19 101 1,2 1,2 86,4
20 1097 13,6 13,6 100,0
Gesamt 8085 100,0 100,0
gradg1
Häufigkeit Prozent Gültige Prozente
Kumulierte
Prozente
G1/2 5563 68,8 70,4 70,4
G3 2339 28,9 29,6 100,0
Gesamt 7902 97,7 100,0
Fehlend System 183 2,3
Gesamt 8085 100,0
16

Gültig
Gültig
Gültig
Gültig
altgr
Häufigkeit Prozent Gültige Prozente
Kumulierte
Prozente
=70 2178 26,9 26,9 100,0
Gesamt 8085 100,0 100,0
png
Häufigkeit Prozent Gültige Prozente
Kumulierte
Prozente
n-/nx 4983 61,6 61,6 61,6
n+ 3102 38,4 38,4 100,0
Gesamt 8085 100,0 100,0
ptn
Häufigkeit Prozent Gültige Prozente
Kumulierte
Prozente
pT1 4027 49,8 49,8 49,8
pT2 3326 41,1 41,1 90,9
pT3 417 5,2 5,2 96,1
pT4 315 3,9 3,9 100,0
Gesamt 8085 100,0 100,0
rez1
Häufigkeit Prozent Gültige Prozente
Kumulierte
Prozente
P 5581 69,0 82,3 82,3
N 1197 14,8 17,7 100,0
Gesamt 6778 83,8 100,0
Fehlend k.A. 1307 16,2
Gesamt 8085 100,0
17

Ausgeschlossen werden die Fälle, die unvollständig sind. (Selektionseffekt!)
Für die kategorialen Variablen ist eine Referenzkategorie festzulegen, die von den anderen
trennen soll. Es kann nur die erste oder letzte Kategorie sein, wenn das nicht geht, muss
zunächst umsortiert werden.
Ergebnistabelle: Cox-Regression
Variable
95,0% Konfidenzinterv. für
Exp(B)
B SE Wald df Signifikanz Exp(B) Untere Obere
gradg1 ,371 ,089 17,473 1 ,000 1,450 1,218 1,725
altgr 188,524 2 ,000
altgr(1) ,066 ,118 ,316 1 ,574 1,069 ,848 1,347
altgr(2) 1,167 ,117 98,789 1 ,000 3,214 2,553 4,046
rez1 ,589 ,097 36,889 1 ,000 1,802 1,490 2,179
png ,455 ,082 30,579 1 ,000 1,577 1,342 1,853
ptn 151,660 3 ,000
ptn(1) ,425 ,094 20,222 1 ,000 1,529 1,271 1,840
ptn(2) 1,180 ,142 68,661 1 ,000 3,253 2,461 4,300
ptn(3) 1,496 ,136 120,580 1 ,000 4,463 3,417 5,829
khaus 36,700 19 ,009
khaus(1) -,102 ,175 ,341 1 ,559 ,903 ,641 1,273
khaus(2) ,207 ,177 1,358 1 ,244 1,230 ,868 1,741
khaus(3) ,169 ,189 ,804 1 ,370 1,184 ,818 1,714
khaus(4) ,548 ,173 10,059 1 ,002 1,729 1,233 2,425
khaus(5) ,137 ,206 ,443 1 ,506 1,147 ,766 1,717
khaus(6) ,285 ,205 1,921 1 ,166 1,329 ,889 1,987
khaus(7) ,335 ,243 1,897 1 ,168 1,397 ,868 2,250
khaus(8) ,203 ,207 ,957 1 ,328 1,225 ,816 1,839
khaus(9) ,664 ,205 10,515 1 ,001 1,943 1,301 2,904
khaus(10) ,139 ,280 ,248 1 ,619 1,149 ,664 1,988
khaus(11) -,302 ,304 ,984 1 ,321 ,740 ,408 1,342
khaus(12) -,061 ,280 ,047 1 ,829 ,941 ,543 1,630
khaus(13) ,058 ,295 ,038 1 ,845 1,059 ,594 1,889
khaus(14) ,621 ,252 6,066 1 ,014 1,860 1,135 3,049
khaus(15) ,091 ,326 ,078 1 ,780 1,095 ,578 2,077
khaus(16) ,318 ,284 1,250 1 ,264 1,374 ,787 2,398
khaus(17) ,484 ,286 2,854 1 ,091 1,622 ,925 2,844
khaus(18) ,213 ,326 ,428 1 ,513 1,238 ,653 2,346
khaus(19) ,051 ,180 ,079 1 ,779 1,052 ,739 1,496
Alle Variablen haben einen unabhängigen Einfluss auf das Überleben. Beim Alter sind
es aber nur die über 70 jährigen, die ein höheres Risiko haben. Bei den KH haben die
Patienten in drei Einrichtungen ein erhöhtes Sterberisiko.
18