Handout

Einführung 

Univariates Gaußsches Modell 

ROC 

Ausblick 

PWP 1 

Signalentdeckungstheorie 

Signal Detection Theory 

Roland Marcus Rutschmann 

WiSe 2006 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 

Beispiel Goldstein 

Einfaches Modell 

SDT in der Psychologie 

◮ Mensch als Detektor/Entscheidungsträger 

◮ Empfindlichkeit/Entdeckbarkeit des Reizes 

◮ Antworttendenz 

◮ Psychophysisches Modell 

◮ Beschreibung nicht beobachtbarer Prozesse 

◮ Verhaltensvorhersage 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



Anwendungsbeispiele 

◮ Psychophysik: 1000 Hz-Ton aus weißem Rauschen 

◮ Diagnostik: bestimmter Befund vorhanden? 

◮ Seismologie: Steht Erdbeben bevor? 

◮ Zeugenaussagen: Person vor Ort? 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



Bsp. Detektion von Tönen im Rauschen 

◮ 2 VPn sollen reagieren, wenn Töne anwesend sind 

◮ Je 100 Durchgänge Rauschen, 100 Durchgänge Signale 

◮ VP1 detektiert 90, VP2 60 Signale 

◮ Hört VP1 besser? 

◮ VP1 sagt in 40 Fällen, in denen kein Ton da war 

(Rauschdurchgänge, Catch-Trials) „Ja“ es war ein Ton da 

VP2 irrt sich nur bei 10 Rauschdurchgängen 

◮ Wer ist jetzt besser? 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



Terminologie 

◮ „Rauschdurchgänge“ (noise trials): Nur Zufallsrauschen 

◮ Versuchsdurchgänge (trials) ohne Signal 

◮ Signaldurchgänge (signal trials) 

◮ Versuchsdurchgänge mit Signal und Rauschen 

◮ Antwort „ja“ auf Signaldurchgang = Treffer (hit) 

trial type 

Antwort 

Nein 

Ja 

Rauschen korrekte Ablehnung falscher Alarm 

Signal Auslassung (miss) Treffer (hit) 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



Zusammenfassung der VPn im Bsp. von Goldstein 

◮ Je 100 Trials nur Rauschen 100 Trials mit Signal 

◮ VP 1 tendiert zum „Ja“-Sagen 

VP 1 VP 2 

Nein Ja 

Nein 

N 60 40 

S 10 90 

Ja 

N 90 10 

S 40 60 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



Änderung der Antworttendenz 

◮ Gleicher Versuch mit VP2 aber Geld für richtige Antworten 

(und Abzug für falsche) ⇒ liberalere Antworten 

◮ Belohnung von korrekter Zurückweisung ⇒ konservative 

Antworten (wenig „Ja“) 

◮ Neutrale Antworten, wenn alles gleich belohnt. 

Payoff-Matrix VP2-Antwort Gewinn 

Nein Ja Nein Ja 

N +20e -20e 10 90 

S -200e +200e 02 98 17600e 

N +200e -20e 99 1 

S -20e +20e 90 10 18180e 

N +20e -20e 80 20 

S -20e +20e 25 75 2200e 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



Falscher Alarm vs. Treffer 

1 

● 

● ● 

VP2 neut VP1 lib 

VP1 neut 

● 

P H 

● 

VP2 kons 

● 

VP1 kons 

0 

0 1 

P F 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



2. Beispiel: 1000 Hz-Ton 

◮ Je 100 Trials nur Rauschen 100 Trials mit Signal 

◮ 1. Durchgang: Treffer wichtig (Belohnung für hit) 

◮ 2. Durchgang: kein falscher Alarm (Belohnung für correct 

rejection) 

1. Durchgang 2. Durchgang 

Nein Ja 

Nein Ja 

N 54 46 

N 81 19 

S 18 82 

S 45 55 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



Relative Häufigkeiten 

◮ Überführung in rel. Häufigkeiten 

Anz. Treffer 

◮ Trefferrate (hit rate): h = 

Anz. Signaldurchgänge 

◮ falscher Alarm Rate (false-alarm rate): f = 

Anz. false alarm 

Anz. Rauschdurchgänge 

Nein Ja 

N 54 46 

S 18 82 

Nein Ja 

und N 81 19 

S 45 55 

⇒ 

h f 

1. Durchg. 0.82 0.46 

2. Durchg. 0.55 0.19 

Redundante Werte: 

◮ Auslassungsrate, Fehlerrate (miss rate)= 1 − h 

◮ Rate der korr. Zurückweisungen (corr. rej. rate)= 1 − f 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



Modell der Entscheidung 

Noise 

Signal 

x 

◮ Verteilung der Zufallsvariablen X 

◮ bei Rauschdurchgängen (Xn ) 

◮ und Signaldurchgängen (Xs ) 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



Setzen des Kriteriums 

Nein 

λ 

Ja 

Noise 

Signal 

◮ Zufallsvar. x > λ ⇒ Entscheidung „Ja“ 

◮ false-alarm rate: 

P F = P(Ja|noise) = P(X > λ|noise) = P(X n > λ) = R ∞ 

λ 

◮ hit rate: 

P F = P(Ja|signal) = P(X > λ|signal) = P(X s > λ) = R ∞ 

λ 

Roland Marcus Rutschmann SDT 

f n(x)dx = 1 − F n(λ) 

f s (x)dx = 1 − F s (λ)

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



Variation von λ 

λl 

λ 

λ k 

Noise 

Signal 

◮ Veränderung von λ wirkt auf h und f gemeinsam 

◮ λk : (konservativ) Vermeidung von false alarm, aber wenig Treffer 

◮ λ l : Viele Treffer, aber auch viele false alarm 

◮ Geringere Überlappung der Dichtefunktionen f n und f s 

⇒ höhere Trennschärfe 


SDT

Einführung 


ROC 

Ausblick 

Motivation 

Terminologie 



Modell der statistischen Entscheidung 

◮ Modell zur Bestimmung interpretierbarer Variablen 

◮ 3 Voraussetzungen 

◮ Gesamte Information in einer Zahl repräsentiert 

◮ Diese Zahl ist Zufallsvariable 

◮ Überschreiten einer festen Schwelle ⇒ Entscheidung ja 

◮ Analogie zur NHST (Nullhypothesensignifikanztest) 


SDT

Einführung 


ROC 

Ausblick 

Das Gaußsche Modell 

Allgemeines Modell 

Univariates Modell 

Berechnung Kriterium und d ′ 

Bias und Likelihood 

Idealer Beobachter 

◮ X n ∼ N (µ n , σ n ) und X s ∼ N (µ s , σ s ) 

◮ Skalierung: µ n = 0, σ n = 1 

◮ X n ∼ N (0, 1) und X s ∼ N (µ s , σ s ) 

◮ Rechtfertigung für Normalverteilungsannahme 

◮ Gut untersuchte Eigenschaften 

◮ Zentraler Grenzwertsatz 

◮ Empirische Befunde 

◮ Bei speziellen Fragestellungen andere Verteilung 


SDT

Die Normalverteilung 

Einführung 


ROC 

Ausblick 






◮ Dichte an der Stelle x :φ(x) = 1 

σ √ e 1 x−µ 

2 ·( σ ) 2 

2π 

◮ Akkumulierte Dichte: Φ(x) = ∫ x 

−∞ 

φ(t) dt 

◮ mit µ Erwartungswert und σ Standardabweichung der 

Verteilung 


SDT

Einführung 


ROC 

Ausblick 

Das univariate Gaußsche Modell 






◮ Problem 

◮ Ein Experiment → 2 Meßwerte (f , h) 

◮ aber 3 unbekannte Variablen (λ, µ s , σ s ) 

◮ Setze σ s = σ n = 1, µ s wird zu d ′ 

◮ X n ∼ N (0, 1) und X s ∼ N (d ′ , 1) 

◮ Vorsicht: Echte Einschränkung, sollte überprüft werden. 


SDT

Einführung 


ROC 

Ausblick 






Beispiel zur Berechnung von d ′ und λ 

Nein Ja 

2. Beispiel oben, 1. Durchg. N 54 46 f = 0.46 

S 18 82 h = 0.82 

1. P F = 0.46 = 1 − F n (λ) = 1 − Φ(λ) ⇒ Φ(λ) = 1 − 0.46 = 0.54 

⇒ λ = Z(1 − 0.46) = Z(0.54) = 0.10 

2. X s ∼ N (d ′ , 1) 

⇒ λ − d ′ = Z(1 − 0.82) = Z(0.18) = −0.92 

3. Kombination: d ′ = λ − (λ − d ′ ) = 0.10 + 0.92 = 1.02 


SDT

Einführung 


ROC 

Ausblick 

Schätzer für d ′ und λ 






1. Z(1 − f ) = ˆλ symm. 

⇒ ˆλ = −Z(f ) 

2. Z(1 − h) = ˆλ − ˆd ′ ⇒ Z(h) = ˆd ′ − ˆλ 

3. ˆd ′ = Z(h) − Z(f ) 

! Vorsicht! Vorzeichen überprüfen! 


SDT

Einführung 


ROC 

Ausblick 

Fortsetzung 2. Beispiel 






◮ Beispiel oben, rel. H. 

◮ 1. Durchgang: ˆd ′ = 1.02; ˆλ = 0.10 

h f 

1. Durchg. 0.82 0.46 

2. Durchg. 0.55 0.19 

◮ 2. Durchgang: ˆd ′ = 1.00; ˆλ = 0.88 

◮ ˆλ = −Z(f ) = −Z(0.19) = 0.88 

◮ ˆd ′ 

= Z(h)−Z(f ) = Z(0.55)−Z(0.19) = 0.12−(−0.88) = 1.00 

⇒ 

ˆd ′ ˆλ 

1. Durchg. 1.02 0.10 

2. Durchg. 1.00 0.88 


SDT

Einführung 


ROC 

Ausblick 

Erhöhung der Entdeckbarkeit 






◮ Weniger Überlappung der Verteilungen durch 

◮ Erhöhung von d ′ 

◮ Verringerung der Varianz σ 2 


SDT

Einführung 


ROC 

Ausblick 






Messung des „Bias“ (Tendenz/Neigung) 

◮ „Ja-Sage-Tendenz“ von Kriterium λ und d ′ abhängig. 

◮ zentriertes Kriterium: λ center = λ − 1 2 d ′ = − 1 2 

[Z(f ) + Z(h)] 

◮ Wahrscheinlichkeitsverhältnis (likelihood ratio): 

β = fs(λ) 

f = φ(λ−d′ ) 

n(λ) φ(λ) 


SDT

Verlauf β 

Einführung 


ROC 

Ausblick 






◮ Asymmetrisch von 0 . . . ∞ 

◮ 1 am Schnittpunkt [ ] von f s und f n 

◮ log(β) = log fs(λ) 

f n(λ) 

= log(f s (λ)) − log(f n (λ)) 


SDT

Einführung 


ROC 

Ausblick 

Der ideale Beobachter 






◮ Maximierung der Wahrscheinlichkeit richtiger Antwort 

◮ s Wahrscheinlichkeit für Signaltrial 

⇒ 1 − s = Wahrscheinlichk. für Noisetrial 

◮ P C = P(signal) · P(Ja|signal) + P(noise) · P(Nein|noise) 

= s[1 − F s (λ)] + (1 − s)F n (λ) 

1.0 

0.8 

0.6 

Pc 

0.4 

0.2 

0.0 

λ * 

−3 −1 1 3 5 

Kriterium λ 


SDT

Einführung 


ROC 

Ausblick 






Optimales Kriterium 

◮ Optimales Krit. λ ∗ für β ∗ = fs(λ∗ ) 

f n(λ ∗ ) = 1−s 

s 

◮ s = 1 2 ⇒ f s(λ ∗ ) = f n (λ ∗ ) Schnittpunkt der Kurven. 

: Wettchance (odds) 

◮ Mehr Signaltrials: s > 1 2 ⇒ 1−s 

s 

< 1 ⇒ f s (λ ∗ ) < f n (λ ∗ ) 

Das Kriterium verschiebt sich nach links (wird liberaler) 


SDT

Pay-off Matrix 

Einführung 


ROC 

Ausblick 






◮ Kosten und Nutzen der Verschiedenen Möglichkeiten ungleich 

⇒ Optimierung des Erwartungswertes des „Gesamtwerts“ 

E(V ) = P(Signal + Ja)V (hit) + P(Signal + Nein)V (miss) 

+P(Noise + Ja)V (false alarm) 

+P(Noise + Nein)V (cor. rej.) 

V (miss) und V (f. a.) meist negativ 


SDT

Einführung 


ROC 

Ausblick 

Graphische Darstellung 

Isosensitivitätskurven 

Univar. Gaußsches Modell 

Graph zu 2. Bespiel 

◮ 2. Bsp.: 

h f ˆd ′ ˆλ 

1. Durchg. 0.82 0.46 1.02 0.10 

2. Durchg. 0.55 0.19 1.00 0.88 

λ 1 λ 2 

d' 

−4 −2 0 2 4 


SDT

Einführung 


ROC 

Ausblick 




Umsetzung in ROC-Graph 

◮ Trefferrate gegen Falschen Alarm auftragen 

◮ Punkte auf einer Linie, weil d ′ gleich groß 

1 

S1 

● 

P H 

S2 

● 

0 

0 1 

P F 


SDT

, - . / 0 12 3 4 5 6 7 8 9 : ; < = > ? @ A B C B @ D E C F G H I J K L I G K G M N G I H I O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c 


+ 

Einführung 


ROC 

Ausblick 




Eine ¡ ¢ £ ¤ ¥ ¦ § ¨ © ! ! " # $ % & ' ( ) 

Isosensitivitätskurve

! " # $ % & ' ( ) ( * + , - . / 0 1 2 3 4 5 6 7 8 9 : ; < ; = > ? @ ; : A B C D E F G F H I J K L M F N O P Q 


 

Einführung 


ROC 

Ausblick 




Isosensitivitätslinien bei versch. d ′ 

¢ £ ¤ ¥ ¦ § ¨ ¦ © ¤ ¥ © ¤ ¦ © ¤ 

¡

Einführung 


ROC 

Ausblick 




Isokriteriumslinien (λ fest) 

1 

−1.5 

−1 

−0.5 

P H 

0 

0.5 

1 

0 1.5 

0 1 

P F 


SDT

Einführung 


ROC 

Ausblick 




ROC im univ. Gaußschen Modell 

◮ Es gilt P F = ∫ ∞ 

λ 

f n(x)dx und P H = ∫ ∞ 

λ 

f s(x)dx 

◮ im univariaten Fall also 

P F = 1 − Φ(λ) = Φ(−λ) und 

P H = 1 − Φ(λ − d ′ ) = Φ(d ′ − λ) 

◮ Durch einsetzen gewinnt man die Kurve: 

P H = Φ(d ′ + Φ −1 (P F )) 

◮ Nur durch Tabellen oder Computerprogramme errechenbar 


SDT

Einführung 


ROC 

Ausblick 

Weiterführende Themen 

Literatur 

Weitere Themen 

◮ ROC-Gerade mit Gaußschen Koordinaten 

◮ Ungleiche Varianzen σ 2 n und σ 2 s 

◮ Verschiedene Alternativen zu d ′ 

◮ Anwendung SDT auf 

◮ Vertrauensskalen 

◮ forced-choice Paradigma 

◮ Diskrimination, bzw. Identifikation 

◮ Likelihoods und Bayesscher Beobachter 


SDT

Einführung 


ROC 

Ausblick 

Weiterführende Themen 

Literatur 

Literatur 

◮ Goldstein, E. B. (1997) Wahrnehmungspsychologie. Spektrum 

Akademischer Verlag, Heidelberg, erste Auflage. 

◮ Macmillan, N. A. (2002) Signal detection theory. In: Pashler, 

H. (Hrsg.), Stevens’ Handbook of Experimental Psychology, 

Band 1, Kapitel 2, Seiten 43–91. Wiley, New York, dritte 

Auflage. 

◮ Wickens, T. D. (2002) Elementary Signal Detection Theory. 

Oxford University Press, New York, New York. 


SDT

Handout

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?