DIPLOMARBEIT - Universität Oldenburg

4 Methoden 24
Sensitivität und Spezifizität. Je nach Fragestellung gibt es verschiedene Möglichkeiten den
Schwellenwert..festzulegen.
- a priori Festlegung eines Schwellenwertes, z.B. 0,5 (P krit )
- Vorkommenswahrscheinlichkeit bei der Sensitivität und Spezifizität möglichst
gleich groß sind (P fair )
- Vorkommenswahrscheinlichkeit bei welcher der Anteil korrekter Prognosen am
höchsten ist (P opt )
- Vorkommenswahrscheinlichkeit bei der Kappa am größten ist (P kappa )
Da sich die a-priori Methode und P opt nicht für Datensätze mit niedriger oder hoher
Prävalenz eignen, wurde für alle Modelle P kappa verwendet. Die Berechnung wurde mit dem
Programm „ROC Plotting and AUC Calculation“ (Version 1.3) von SCHRÖDER (2004)
vorgenommen. In der Habitateignungskarte werden darüber hinaus auch
Vorkommensprognosen auf Basis der Schwellenwerte P fair und P krit = 0,5 sichtbar. Nach
REINEKING & SCHRÖDER (2004a) stellt letzterer eine objektive Vergleichsmöglichkeit dar
und sollte neben anderen, möglicherweise besser angepassten Schwellenwerten angegeben
werden. Aus diesem Grund erfolgt auch die Angabe der korrekten Prognosen im Falle des
Regionalmodells auf Basis des Schwellenwertes P krit = 0,5.
Ein von vielen Autoren empfohlenes schwellenwertunabhängiges (und damit für den
Vergleich von unterschiedlich erstellten Modellen geeignetes) Gütemaß stellt die Fläche
unter der receiver-operating characteristic-Kurve (ROC) dar (HOSMER & LEMESHOW 2000,
SCHRÖDER 2000, MANEL et al. 2001). Sie wird als area under curve (AUC) bezeichnet
(HANLEY & MCNEIL 1982) und stellt ein integrierendes Gütemaß für die Eignung des
Modells zur Klassifizierung dar. ROC-Kurven ergeben sich in einem Streudiagramm durch
Auftragen aller möglichen Trennwerte der Sensitivität gegen 1 - Spezifizität. Der AUC-
Wert ist besser, je näher er an 1 liegt: 0,5 ist der Wert für ein Null- oder Zufallsmodell.
Werte über 0,7 weisen eine akzeptable, Werte zwischen 0,8 und 0,9 eine gute und Werte
über 0,9 eine hervorragende Modelldiskriminierung aus (HOSMER & LEMESHOW 2000). Ein
Wert von AUC = 0,75 bedeutet, dass in 75% der Fälle für eine zufällig gewählte
Probefläche mit nachgewiesenem Vorkommen eine größere Vorkommenswahrscheinlichkeit
geschätzt wurde, als für eine zufällig gewählte Fläche mit Nichtvorkommen (FIELDING
& BELL 1997).
4.4.5 Modellvalidierung
Die bisher beschriebenen Bewertungskriterien legen zur Beurteilung der Modellgüte nur
den Datensatz zugrunde, aus dem auch das Modell errechnet wurde. Sie werden also auf
der Basis derjenigen Daten bestimmt, an die das Modell optimal angepasst ist. Neben der
Qualität des Modells kann dadurch vor allem die Übertragbarkeit und Vorhersagequalität
überschätzt werden (VERBYLA & LITATIS 1989). Für alle Modelle wurde daher eine interne
Validierung durchgeführt. Das bootstrapping-Verfahren eignet sich dazu am besten
(VERBYLA & LITATIS 1989). Dabei werden durch Ziehen mit Zurücklegen aus dem