Hvorfor vurderer erfarne klinikere så dårlig enda de - Universitetet i ...
Hvorfor vurderer erfarne klinikere så dårlig enda de - Universitetet i ...
Hvorfor vurderer erfarne klinikere så dårlig enda de - Universitetet i ...
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Tidsskrift for Norsk Psykologforening, 36, 523-536, 1999<br />
Skjønn, formler og klinisk praksis:<br />
<strong>Hvorfor</strong> <strong>vur<strong>de</strong>rer</strong> <strong>erfarne</strong> <strong>klinikere</strong> <strong>så</strong> <strong>dårlig</strong> <strong>enda</strong> <strong>de</strong> vet <strong>så</strong> mye?<br />
Geir Kirkebøen,<br />
Institutt for informatikk,<br />
<strong>Universitetet</strong> i Oslo<br />
geirki@ifi.uio.no<br />
Abstract<br />
How are the judgments ma<strong>de</strong> by professionals compared with those ma<strong>de</strong> by<br />
novices and those based on formulas? Dreyfus and Dreyfus (1986) claim that experts,<br />
as opposed to expert systems, “intuitively see” what to do, and that such<br />
holistic un<strong>de</strong>rstanding is a result of “a great <strong>de</strong>al of involved experience." Their<br />
popular “mind over machine”-view is a myth. Although “artificially intelligent”<br />
expert systems have not successfully replaced experts, simple formulas consistently<br />
outperform experts on judgment tasks. Experienced professionals know<br />
more than inexperienced, but they do not judge better. These apparent paradoxes<br />
are well supported by psychological research, especially in areas like clinical psychology.<br />
The article explains central findings in the judgment and <strong>de</strong>cision making<br />
literature and discusses implications for clinical practice.<br />
Ekspertise og eksperters vur<strong>de</strong>ringer er stu<strong>de</strong>rt i to ulike tradisjoner i psykologien, i kognisjonsvitenskapen<br />
(kognitiv psykologi) og i beslutnings- og vur<strong>de</strong>ringsforskningen. I tillegg<br />
til at eksperter er sammenlignet med noviser, er <strong>de</strong> vur<strong>de</strong>rt opp mot <strong>så</strong>vel "intelligente"<br />
dataprogrammer som helt enkle formlers summeringer av data. Sammenligningene har gitt<br />
tilsynelaten<strong>de</strong> paradoksale resultater.<br />
I <strong>de</strong>n kognisjonsvitenskapelige tradisjon har man stu<strong>de</strong>rt hva eksperter vet og hvordan<br />
<strong>de</strong> bruker sin kunnskap. Man har, ikke overrasken<strong>de</strong>, funnet at eksperter vet mer enn noviser,<br />
har kunnskapen bedre organisert og bruker andre resonneringsstrategier. I vur<strong>de</strong>ringsog<br />
beslutningsforskningen <strong>de</strong>rimot, har man ikke påvist noen systematisk forskjell i kvalitet<br />
på vur<strong>de</strong>ringene til u<strong>erfarne</strong> og <strong>erfarne</strong> profesjonsutøvere. Paradokset er alt<strong>så</strong> at eksperter<br />
vet mer enn u<strong>erfarne</strong>, men at <strong>de</strong> likevel ikke <strong>vur<strong>de</strong>rer</strong> og predikerer bedre enn <strong>de</strong>m. (I<br />
psykologisk faglitteratur menes med prediksjon en uttalelse om hva man forventer å<br />
observere i framtida, for eksempel om en persons skoleatferd eller kriminelle atferd.<br />
Vur<strong>de</strong>ring brukes bå<strong>de</strong> om prosessen som ligger til grunn for å trekke en konklusjon på<br />
grunnlag av tilgjengelig materiale og om selve konklusjonen. Or<strong>de</strong>t ekspert bruker jeg her<br />
synonymt med en profesjonsutøver med lang erfaring på et felt.)<br />
I begge tradisjoner har man og<strong>så</strong> vært opptatt av i hvilken grad formler og programmer<br />
kan erstatte eksperter. I <strong>de</strong>n kognisjonsvitenskapelige "kunstig intelligens" (heretter KI)-tra-
2<br />
disjonen har man hatt vyer om å spre sofistikert og dyr ekspertise i form av datapro-<br />
grammer. Man har brukt avanserte formalismer til å representere eksperters kunnskap, og<br />
utviklet komplekse ekspertsystemer basert på disse formalismene. Det er imidlertid få eks-<br />
empler på at man har lykkes med å erstatte eksperter med slike programmer (f.eks. Kirke-<br />
bøen, 1993). I beslutnings- og vur<strong>de</strong>ringsforskningen har man sammenlignet eksperters<br />
skjønn med til <strong>de</strong>ls helt enkle mekaniske rutiners ”vur<strong>de</strong>ringer” av data. Det tilsynelaten<strong>de</strong><br />
paradokset er at sammenligninger av eksperter med komplekse KI-programmer har<br />
åpenbart menneskers styrke i forhold til datamaskiner, mens sammenligningen av<br />
intelligente, motiverte og <strong>erfarne</strong> beslutningstagere med enkle mekaniske rutiner har avslørt<br />
dramatiske svakheter i menneskelig skjønn og vur<strong>de</strong>ringsevne.<br />
I tillegg til å belyse <strong>de</strong> tilsynelaten<strong>de</strong> paradoksale resultatene fra ekspertiseforskningen,<br />
gir jeg en kort historisk oversikt over <strong>de</strong>batten om eksperters vur<strong>de</strong>ringsevne sammenlignet<br />
med formler og maskiner. I framstillingen tar jeg utgangspunkt i kontroversen rundt mulig-<br />
heten av å utvikle KI-programmer. Jeg anty<strong>de</strong>r hvorfor man i liten grad har lykkes, men<br />
legger hovedvekten på å avlive <strong>de</strong>n generelle "mind-over-machine"-myten som KI-fiaskoen<br />
har gitt næring til. Denne myten kommer særlig til uttrykk i <strong>de</strong>t populære ekspertisesynet<br />
som Dreyfus og Dreyfus forfekter i sin bok Mind over machine (1986). Jeg viser at <strong>de</strong>tte<br />
synet er en myte sett i lys av beslutnings- og vur<strong>de</strong>ringsforskningen. Deretter presenterer og<br />
diskuterer jeg noen sentrale funn i <strong>de</strong>nne forskningstradisjonen. På <strong>de</strong>n bakgrunn viser jeg<br />
at <strong>de</strong>t er relaterte årsaker til at ”intelligente” ekspertsystemer ikke har vært noen suksess og<br />
at eksperter <strong>vur<strong>de</strong>rer</strong> <strong>dårlig</strong> <strong>enda</strong> <strong>de</strong> vet mye. Jeg avslutter med å drøfte hvilke konsekvenser<br />
resultatene fra beslutnings- og vur<strong>de</strong>ringsforskningen bør få for klinisk praksis, og jeg spe-<br />
kulerer og<strong>så</strong> litt over hvorfor konsekvensene ikke tas.<br />
"Kunstig intelligens"-kontroversen<br />
I 1947 ble <strong>de</strong>n første datamaskinen satt i drift. Samme år startet Alan Turing <strong>de</strong>batten om<br />
muligheten for å utvikle kunstig intelligens. Turing (1947) antok at kognisjon essensielt er<br />
symbolsk problemløsning som alltid kan betraktes som søking: "the form 'Finding a number<br />
n such that ...' (...) We should not go far wrong if we assumed that all problems are<br />
reducible to this form" (s. 22). På slutten av 40-tallet diskuterte matematikeren Turing<br />
psykologi særlig med en venn og nabo, nemlig kjemiprofessoren Michael Polanyi. Polanyi<br />
hev<strong>de</strong>t at kognisjon slett ikke lot seg mo<strong>de</strong>llere eller simulere med formelle systemer.
3<br />
Diskusjonene inspirerte henholdsvis Turings artikkel Computing machinery and intelli-<br />
gence (1950) og Polanyis bok Personal knowledge (1958).<br />
Turing lanserer i sin artikkel <strong>de</strong>n <strong>så</strong>kalte turing-testen på om en programmert maskin er<br />
intelligent. Ifølge testen er maskinen <strong>de</strong>t <strong>de</strong>rsom en person som står fritt til å stille bå<strong>de</strong> <strong>de</strong>n<br />
og et menneske spørsmål (via tastatur og skjerm) ikke er i stand til å avgjøre hvilke svar<br />
som kommer fra maskinen. Polanyi avviste testen. For han var <strong>de</strong>t en a priori kjenns-<br />
gjerning at kognisjon og intelligens er vesensforskjellig fra datamaskiner. Ingen empiri kan<br />
endre <strong>de</strong>tte, hev<strong>de</strong>t Polanyi. Den fundamentale forskjellen som Polanyi ser mellom menne-<br />
sker og maskiner kommer til uttrykk i hans begrep taus kunnskap (”tacit knowledge”). I<br />
begrepet ligger <strong>de</strong>t at kognisjon <strong>de</strong>ls er basert på kunnskap som ikke lar seg beskrive.<br />
Etter Turings død i 1954 tar Herbert Simon og Allen Newell over som <strong>de</strong> fremste tals-<br />
menn for KI-visjonen. De lar seg ikke affisere av Polanyi. Samme år sistnevnte gir ut sin<br />
bok, slår <strong>de</strong> fast: "there are now in the world machines that think, that learn and that create.<br />
Moreover, their ability to do things is going to increase rapidly until - in the visible future -<br />
the range of problems they can handle will be coextensive with the range to which the<br />
human mind has been applied" (Simon & Newell, 1958, s. 8).<br />
Filosofen Hubert Dreyfus overtar på 60-tallet Polanyis rolle som toneangiven<strong>de</strong> KI-kri-<br />
tiker. Han fokuserer, som Polanyi, på What computers can’t do (Dreyfus, 1972). Mens Pol-<br />
anyi blant annet argumenterte ut fra Gö<strong>de</strong>ls ufullstendighetsteorem, er utgangspunktet for<br />
Dreyfus' kritikk <strong>de</strong> tidlige forsøkene på å utvikle KI-programmer. Han retter en skarp<br />
kritikk mot vyene om å representere intelligens og ekspertise i dataprogrammer. Dreyfus<br />
har ikke store forhåpninger til datamaskinen: Ikke engang i sjakk vil en maskin noen gang<br />
kunne vinne over en stormester, slår han bombastisk fast i 1972.<br />
Dreyfus tok feil. IBMs datamaskin Deep Blue slo nylig ver<strong>de</strong>nsmesteren i sjakk, og <strong>de</strong>t<br />
er utviklet imponeren<strong>de</strong> programmer som overgår mennesker på mange områ<strong>de</strong>r. Likevel,<br />
lite ty<strong>de</strong>r på at datamaskiner i overskuelig framtid skal kunne besitte noe i nærheten av et<br />
menneskes generelle intelligens. Newell og Simons svulstige visjoner er ikke blitt realisert.<br />
KI-visjonærene og KI-kritikerne har hatt én ting felles. De har basert sine oppfatninger<br />
om henholdsvis datamaskinens muligheter og menneskets fortreffeligheter, på spekula-<br />
sjoner. KI-visjonen baserer seg på en ren spekulasjon, nemlig antagelsen om at "a physical<br />
symbol system has the necessary and sufficient means for general intelligent action"<br />
(Newell & Simon, 1981, s. 41). Denne hypotesen er igjen basert på en antagelse om at<br />
kognisjon er samme type prosess som informasjonsprosessering i datamaskiner. KI-
4<br />
kritikerne har med go<strong>de</strong> argumenter avvist <strong>de</strong>nne antagelsen, men <strong>de</strong> har fulgt opp med en<br />
like spekulativ antagelse om menneskelig intuisjon og skjønn som noe høyt hevet over<br />
maskiner.<br />
Dreyfus og Dreyfus' myter<br />
Dreyfus (1985) sammenfatter sin forståelse av hva som skiller eksperter fra nybegynnere<br />
slik: ”a beginner makes inferences using rules and facts just like a heuristically programmed<br />
computer, but that with talent and a great <strong>de</strong>al of involved experience the beginner <strong>de</strong>velops<br />
into an expert who intuitively sees what to do without applying rules” (s. 9). I boka Mind<br />
over machine (1986) forsøker Dreyfus og Dreyfus å forsvare <strong>de</strong> to relaterte mytene som<br />
kommer til uttrykk i <strong>de</strong>tte sitatet. Den ene myten er påstan<strong>de</strong>n om at <strong>erfarne</strong> profesjons-<br />
utøvere intuitivt ser helheter og hva som bør gjøres i komplekse situasjoner. Vi kan kalle<br />
<strong>de</strong>tte myten om <strong>de</strong>t go<strong>de</strong> skjønn. Den andre kan vi kalle myten om erfaringslæring, nemlig<br />
troen på at man generelt kan erverve seg et godt skjønn gjennom erfaring.<br />
Dreyfus og Dreyfus peker på at KI-visjonene er basert på spekulasjoner: "the grandiose<br />
claims and predictions ma<strong>de</strong> by Simon and associates were not based on sound empirical<br />
research" (s. 8). De har helt rett. Men hva bygger <strong>de</strong> sin alternative forståelse på? I<br />
hovedsak baserer <strong>de</strong> seg på "the seemingly plausible arguments of Merleau-Ponty,<br />
Hei<strong>de</strong>gger, and Wittgenstein, which [we] had come to accept" (s. 7). De bortforklarer<br />
empirisk forskning som stri<strong>de</strong>r mot <strong>de</strong>res eget syn: "To forsake rationality in favor of<br />
unrationalized know-how is to sail on uncharted seas, and there will always be those (...)<br />
who challenge the wisdom. A number of aca<strong>de</strong>mic psychologists have gone so far as to<br />
create experiments purporting to show (...) consistent flaws in human <strong>de</strong>cision-making" (s.<br />
41).<br />
I <strong>de</strong>n grad Dreyfus og Dreyfus baserer seg på empiri, vektlegger <strong>de</strong> studier av senso-<br />
motoriske ferdigheter som sykling, svømming og flyvning. Av kognitive ferdigheter er <strong>de</strong>t<br />
gjerne studier av sjakkspillere <strong>de</strong> viser til. De appellerer <strong>de</strong>ssuten til lesernes ”common<br />
sense”: "You need not merely accept our word but should check to see if the process by<br />
which you yourself acquired various skills reveals a similar pattern" (s. 20).<br />
Det er ikke tvil om at Dreyfus og Dreyfus' ekspertisesyn er utbredt. Mange tiårs psyko-<br />
logisk forskning har imidlertid vist at <strong>de</strong>res tro på intuisjonens kraft og vår evne til å lære av<br />
erfaring er "common non-sense".
Dreyfus og Dreyfus' feilslutninger<br />
5<br />
På vesentlige områ<strong>de</strong>r, som språk og persepsjon, er menneskelig kognisjon overlegen data-<br />
maskiner. Vi har for eksempel en ekstrem evne til å ”lese” ansikter og <strong>vur<strong>de</strong>rer</strong> raskt humø-<br />
ret en person er i ut fra ansiktsuttrykket. Selv om vi er svært dyktige til <strong>de</strong>tte, kan vi ofte<br />
bare vagt beskrive <strong>de</strong> trekkene vi kjenner igjen. Polanyi (1958) vektlegger nettopp slike<br />
persepsjonseksempler i sin argumentasjon for <strong>de</strong>n tause kunnskapens betydning. Persepsjon<br />
har åpenbart en gestaltkarakter: Ser vi <strong>de</strong>ler av en sirkel, "ser" vi hele sirkelen. Dreyfus og<br />
Dreyfus (1986) hev<strong>de</strong>r at og<strong>så</strong> eksperters vur<strong>de</strong>ringer har en slik gestaltkarakter, dvs. at<br />
eksperter i sin alminnelighet er i stand til å se helheter i mønstre av data. De generaliserer<br />
alt<strong>så</strong> fra persepsjon til vur<strong>de</strong>ringer generelt. Det er en feilslutning.<br />
Millioner av års evolusjon ligger bak våre språklige og perseptuelle ferdigheter, ferdig-<br />
heter som er forutsetninger for intelligent atferd. Det er <strong>de</strong>rfor ikke overrasken<strong>de</strong> at <strong>de</strong>t har<br />
vist seg vanskelig å utvikle intelligente datamaskiner. Det som imidlertid skiller mange pro-<br />
blemer som eksperter i dag stilles overfor fra <strong>de</strong>t å lese ansikter og forstå naturlig språk, er<br />
at vi ikke har noen evolusjonsmessige preferanser for å løse <strong>de</strong>m. Det gjel<strong>de</strong>r for eksempel<br />
problemet <strong>klinikere</strong> har når <strong>de</strong> på grunnlag av ulike data skal vur<strong>de</strong>re en pasient.<br />
Dreyfus og Dreyfus’ mo<strong>de</strong>ll for utviklingen fra nybegynner til ekspert er basert på stu-<br />
dier av "the skill-acquisition process of airline pilots, chess-players, automobile drivers and<br />
adult learners of a second language" (s. 20). Når <strong>de</strong>t gjel<strong>de</strong>r disse områ<strong>de</strong>ne, er <strong>de</strong>t liten<br />
grunn til å betvile at <strong>de</strong> "observed a common pattern in all cases, which [they] call the five<br />
stages of skill acquisition" (s. 20). Feilen <strong>de</strong> gjør er igjen at <strong>de</strong> generaliserer til ervervelse av<br />
kognitive ferdigheter i sin alminnelighet.<br />
Myten om <strong>de</strong>t go<strong>de</strong> skjønn er avlivet<br />
Den første kjente psykologiske studien av kvaliteten på eksperters vur<strong>de</strong>ringer ble gjennom-<br />
ført av Hughes allere<strong>de</strong> i 1917. Han stu<strong>de</strong>rte vur<strong>de</strong>ringene til anerkjente eksperter på<br />
<strong>så</strong>korn. Resultatet var nedslåen<strong>de</strong>: ekspertene tok ofte feil, variasjonen i <strong>de</strong>res vur<strong>de</strong>ringer<br />
var stor og <strong>de</strong> baserte sine konklusjoner på langt færre indikasjoner enn hva <strong>de</strong> selv trod<strong>de</strong>.<br />
Senere studier har, som vi skal se, ikke gitt grunn til å tvile på Hughes' funn.<br />
De første systematiske sammenligninger av eksperters vur<strong>de</strong>ringer mot mekaniske ruti-<br />
ner ble gjennomført av Sarbin tidlig på 1940-tallet. Han sammenlignet kvaliteten på klinik-<br />
eres vur<strong>de</strong>ringer med enkle regresjonsligninger, og konklu<strong>de</strong>rte med at <strong>de</strong>t vil gi "less error
6<br />
if clinicians <strong>de</strong>liberately adopted the actuarial method for all their activities" (Sarbin, 1986,<br />
363). Heller ikke Sarbins konklusjon er svekket av senere forskning.<br />
I 1954 gir Meehl ut boka Clinical versus statistical predictions, <strong>de</strong>r han drøfter hva som<br />
er best av skjønnsmessige og statistiske meto<strong>de</strong>r. (Statistisk prediksjon innebærer en statis-<br />
tisk vekting og kombinering av data, mens klinisk prediksjon betyr at data kombineres<br />
skjønnsmessig.) Meehl argumenterer for at spørsmålet må avgjøres empirisk, og setter fram<br />
metodologiske regler for hvordan <strong>de</strong>t kan gjøres. På grunnlag av en analyse av 20 empiriske<br />
studier slutter han at vur<strong>de</strong>ringer (som ’Har pasienten hjerneska<strong>de</strong>?’, ’Li<strong>de</strong>r pasienten av<br />
schizofreni?’ osv.) foretatt ved hjelp av statistiske prosedyrer alltid er minst like nøyaktige,<br />
og oftest mer nøyaktige, enn skjønnsmessige vur<strong>de</strong>ringer.<br />
<strong>de</strong>r:<br />
Innvendingene mot Meehls konklusjoner var av tre typer. Det ble hev<strong>de</strong>t at <strong>de</strong> ikke hol-<br />
1) for reelle vur<strong>de</strong>ringer som <strong>klinikere</strong> faktisk foretar i praksis (f.eks. McArthur,<br />
1956)<br />
2) når <strong>klinikere</strong> og<strong>så</strong> har tilgang til <strong>de</strong>n informasjon som møte med pasientene gir<br />
(f.eks. Holt, 1958)<br />
3) for vur<strong>de</strong>ringer som krever en konfigural (helhetlig) analyse av data. (Meehl<br />
selv er i 1954 åpen for at slike vur<strong>de</strong>ringer muligens kan gå i favør av klinisk<br />
prediksjon).<br />
Holdbarheten av disse tre innvendingene er testet ut i en rekke studier. De hol<strong>de</strong>r ikke. La<br />
oss se på noen klassiske og representative studier som indikerer <strong>de</strong>t.<br />
MMPI (Minnesota multiphasic personality inventory) er <strong>de</strong>n mest brukte personlig-<br />
hetstesten. Testresultatene summeres i en profil bygd opp av elleve tallverdier som hver<br />
representerer testpersonens nivå på én skala eller personlighetsdimensjon (introvert-ekstro-<br />
vert; maskulinitet-feminitet; psykopati osv.) Det var lenge allment akseptert at go<strong>de</strong> tolk-<br />
ninger av MMPI-profiler krever konfigurale vur<strong>de</strong>ringer av profilen, dvs. at man ser <strong>de</strong><br />
elleve skårene i forhold til hverandre (jfr. innvending 3). Vur<strong>de</strong>ring av MMPI-profiler er for<br />
øvrig en type vur<strong>de</strong>ring som <strong>klinikere</strong> hyppig møter i praksis (jfr. innvending 1).<br />
Goldberg (1965) stu<strong>de</strong>rte <strong>erfarne</strong> <strong>klinikere</strong>s evne til å vur<strong>de</strong>re om en pasient er nevro-<br />
tisk eller psykotisk på grunnlag av MMPI-profiler. Han sammenlignet blant annet kliniker-<br />
nes vur<strong>de</strong>ringer med en enkel regel som legger sammen skårene på tre utvalgte skalaer og<br />
trekker fra skårene på to andre. Er resultatet un<strong>de</strong>r 45 er pasienten nevrotisk, ellers psyko-<br />
tisk. 861 MMPI-profiler (til pasienter med bekreftet diagnose) skulle vur<strong>de</strong>res. Goldbergs<br />
regel utkonkurrerte med god margin alle <strong>de</strong> <strong>erfarne</strong> klinikerne.
7<br />
Sawyers (1966) omfatten<strong>de</strong> oversiktsstudie viser at klinisk informasjon ofte ikke bidrar<br />
til bedre vur<strong>de</strong>ringer (jfr. innvending 2). Sawyer fant blant annet at <strong>de</strong>rsom <strong>klinikere</strong> gis<br />
mulighet til å basere sine vur<strong>de</strong>ringer på intervjuer med pasientene i tillegg til testdata, <strong>så</strong><br />
faller systematisk kvaliteten på vur<strong>de</strong>ringene i forhold til om <strong>de</strong> utelukken<strong>de</strong> tar hensyn til<br />
testdata. Generelt har <strong>de</strong>t vist seg at <strong>de</strong>rsom en beslutningstaker får tilgang til informasjon<br />
ut over <strong>de</strong> to-tre mest prediktive data, <strong>så</strong> faller gjerne kvaliteten på vur<strong>de</strong>ringene (f.eks.<br />
Oskamp, 1965). Beslutningstakere drukner raskt i informasjon.<br />
Dawes (1971) påviser at <strong>enda</strong> enklere formler enn Goldbergs regel kan utkonkurrere<br />
<strong>erfarne</strong> beslutningstakere. Han stu<strong>de</strong>rte inntakskomitéer ved amerikanske college. Disse av-<br />
gjør hvilke stu<strong>de</strong>nter som skal tas inn fra high school, dvs. <strong>de</strong> skal predikere framtidige<br />
skoleprestasjoner. Dawes sammenlignet komitéenes vur<strong>de</strong>ringer med helt trivielle lineære<br />
ligninger. Han finner at selv ligninger som bare trenger informasjon om én variabel (elevens<br />
standpunktkaraktersnitt) predikerer framtidige prestasjoner bedre enn en komité beståen<strong>de</strong><br />
av <strong>erfarne</strong> skolefolk. Komitéen had<strong>de</strong> i tillegg til <strong>de</strong>tte karaktersnittet og<strong>så</strong> tilgang til elev-<br />
enes eksamenskarakterer, kjennskap til og et anbefalingsbrev fra <strong>de</strong>n skolen <strong>de</strong> kom fra,<br />
samt et lengre intervju med elevene.<br />
Stikk i strid med Dreyfus og Dreyfus' påstand om at eksperter intuitivt ser hva <strong>de</strong> bør<br />
gjøre, er <strong>de</strong>t nå grundig dokumentert at intelligente og motiverte beslutningstakeres skjønn<br />
systematisk overgås av usofistikerte prosedyrer (f.eks. Dawes, Faust & Meehl, 1989).<br />
Profesjonsutøveres vur<strong>de</strong>ringer bedres (ofte) ikke med erfaring<br />
Dreyfus og Dreyfus påpeker at komitémedlemmene i Dawes’ (1971) studie ikke er<br />
eksperter på heltid: "It would be interesting to compare the predictive ability of mo<strong>de</strong>ls<br />
against those professionals responsible on a full-time basis for the admission <strong>de</strong>cisions at<br />
elite un<strong>de</strong>rgraduate colleges. Our guess is that full-timers would fare better" (s. 45). <strong>Hvorfor</strong><br />
<strong>de</strong> gjetter er ikke lett å forstå. Det er nemlig gjort en rekke studier av betydningen grad av<br />
erfaring har for vur<strong>de</strong>ringers kvalitet. Ett eksempel: I en stor un<strong>de</strong>rsøkelse basert på et<br />
representativt utvalg på 600 av USAs drøyt 3400 nevropsykologer, konklu<strong>de</strong>rte man slik:<br />
"Except for a possible ten<strong>de</strong>ncy among more experienced practitioners to overdiagnose<br />
abnormality, no systematic relations were obtained between training, experience, and<br />
accuracy across a series of neuropsychologic judgments" (Faust et al., 1988).<br />
Dette er ikke en spesielt valgt studie og heller ikke et oppsiktsvekken<strong>de</strong> funn. Allere<strong>de</strong> i<br />
1973 sammenfattet Wiggins resultatene fra en rekke studier av <strong>klinikere</strong> med ulik grad av
8<br />
erfaring slik: "Surprisingly, there is little empirical evi<strong>de</strong>nce that justifies the granting of<br />
'expert' status to the clinician on the basis of his [or her] training, experience, or infor-<br />
mation-processing ability" (s. 131). I en bredt anlagt meta-studie nylig bekrefter Garb<br />
(1989) i hovedsak Wiggins konklusjoner.<br />
Hvordan kan <strong>de</strong>t ha seg at <strong>klinikere</strong>s vur<strong>de</strong>ringer ikke blir bedre med erfaring? Vi lærer<br />
jo <strong>så</strong> mye annet av erfaring, for eksempel å kjøre bil. Vi følger instruksjoner rigid og<br />
klønete i starten. Med øvelse kjører vi bedre og bedre, samtidig som vi tenker mindre og<br />
mindre på hva vi gjør. Vi opparbei<strong>de</strong>r en “taus kunnskap” som gjør at vi “intuitivt ser” hva<br />
vi bør gjøre selv i komplekse situasjoner. <strong>Hvorfor</strong> skjer ikke <strong>de</strong>t samme i klinisk praksis?<br />
Det er mange ulike grunner til at en klinisk psykologs erfaring med tidligere pasienter<br />
ikke gjør han eller hun bedre til å vur<strong>de</strong>re (og behandle) nye pasienter (f.eks. Brehmer,<br />
1980; Dawes, 1994). Jeg skal kort anty<strong>de</strong> et par av <strong>de</strong>m. I klinisk praksis vil en vur<strong>de</strong>ring av<br />
et individ typisk innebære å slutte fra en konfigurasjon av data eller tegn (symptomer, test-<br />
verdier, bakgrunnsopplysninger, familiesituasjon osv.) til en (årsaks-, behandlings- eller<br />
forståelses)kategori (type hjerneska<strong>de</strong>, schizofreni, er misbrukt, trenger behandling X osv.)<br />
Faktorene som bestemmer indivi<strong>de</strong>rs tanker, følelser og handlinger er svært komplekse og<br />
<strong>dårlig</strong> forståtte. Det bidrar til at sammenhengene mellom tegn og kategorier nesten alltid er<br />
probabilistiske i klinisk praksis. Noen ganger skyl<strong>de</strong>s en bestemt konfigurasjon av tegn at et<br />
individ er misbrukt, andre ganger kan årsaken til <strong>de</strong> samme tegnene være noe helt annet.<br />
Bedre kliniske vur<strong>de</strong>ringer forutsetter alt<strong>så</strong> en bedre forståelse av relevante<br />
probabilistiske sammenhenger mellom tegn og kategorier. Det er nærliggen<strong>de</strong> å tro at<br />
<strong>klinikere</strong> gjennom erfaring får større innsikt i slike sammenhenger. Det er imidlertid ikke<br />
tilfelle (f.eks. Brehmer, 1980). En vesentlig grunn til <strong>de</strong>t er at <strong>klinikere</strong>, som alle oss<br />
andre, har en sterk tilbøyelighet til å gjøre ver<strong>de</strong>n forståelig ved å se <strong>de</strong>n gjennom kausale<br />
(<strong>de</strong>terministiske) skjemaer (X bestemmer Y, nevrosene skyl<strong>de</strong>s barndomstraumer osv.).<br />
Laboratoriestudier <strong>de</strong>r enkle probabilistiske sammenhenger mellom variabler skal læres<br />
fra eksempler, viser at <strong>de</strong>t heller ikke hjelper å gjøre forsøkspersonene oppmerksomme på<br />
at sammenhengene er probabilistiske. De lærer <strong>de</strong>m likevel ikke. Grunnen er, kort sagt, at<br />
få kjenner og er i stand til å bruke <strong>de</strong> strategier (sannsynlighetsregning, Bayes’ formel<br />
mm.) som kreves for å fungere effektivt i probabilistiske situasjoner. Vi forenkler i ste<strong>de</strong>t<br />
kompleksiteten i vår erfaringsver<strong>de</strong>n ved å betrakte <strong>de</strong>n <strong>de</strong>terministisk, tenke<br />
representativt osv. Ne<strong>de</strong>nfor forklarer jeg hvorfor slike strategier ikke bidrar til bedre<br />
vur<strong>de</strong>ringer.
9<br />
Den type enkle probabilistiske sammenhenger som forsøkspersoner ikke er i stand til<br />
å lære i laboratoriet, er mellom vel<strong>de</strong>finerte variabler (bestemt av form, farge osv.) Vari-<br />
ablene (tegn og kategorier) er sjel<strong>de</strong>n vel<strong>de</strong>finerte i klinisk praksis. Det er ofte uklart<br />
hvilke tegn som er relevante for å foreta en bestemt vur<strong>de</strong>ring, og kategoriene er i seg selv<br />
ofte <strong>dårlig</strong> forståtte og kontroversielle. Dette gjør læring mye vanskeligere i klinisk prak-<br />
sis enn i laboratoriet. En klinisk psykolog er ikke sjel<strong>de</strong>n i tilsvaren<strong>de</strong> situasjon som en<br />
lege som forsøker å diagnostisere kreft på basis av tidligere erfaring med kreftpasienter og<br />
pasienter uten kreft, men uten å vite hva kreft er. Da kan man heller ikke ha en klar forstå-<br />
else av hva som er en gal vur<strong>de</strong>ring, som er en av <strong>de</strong> to betingelsene som generelt har vist<br />
seg å være avgjøren<strong>de</strong> for erfaringslæring. Den andre helt essensielle betingelsen for lær-<br />
ing er at man får umid<strong>de</strong>lbar, utvetydig og konsistent tilbakemelding når man tar feil.<br />
Disse betingelsene er tilste<strong>de</strong> når vi lærer å kjøre bil. De er av en rekke ulike grunner sjel-<br />
<strong>de</strong>n til ste<strong>de</strong> når <strong>klinikere</strong> <strong>vur<strong>de</strong>rer</strong> enkeltindivi<strong>de</strong>r (f.eks. Dawes, 1994). Og<strong>så</strong> av <strong>de</strong>n<br />
grunn er <strong>de</strong>t ikke slik at en kliniker gjennom ”a great <strong>de</strong>al of involved experience (...)<br />
<strong>de</strong>velops into an expert who intuitively sees what to do” (Dreyfus, 1985, s. 9).<br />
Heuristikk, intelligens og ekspertise<br />
Fra Platon til Freud ble <strong>dårlig</strong> skjønn forklart med at høyere intellektuelle prosesser ble for-<br />
styrret av lavere pasjoner og drifter. Først med informasjonsteknologien ble <strong>de</strong>t mulig å for-<br />
klare kognitiv feilfungering uten å måtte henvise til slike ikke-kognitive faktorer. Shannons<br />
(1948) informasjonsteori, som gir en presis kvantitativ <strong>de</strong>finisjon av informasjon, var <strong>de</strong>t<br />
viktigste enkeltbidraget. Teorien gjor<strong>de</strong> <strong>de</strong>t nemlig mulig for psykologer å betrakte tenkning<br />
kvantitativt. Millers (1956) klassiske studie av begrensningen ved vår ”umid<strong>de</strong>lbare huk-<br />
ommelse” ville for eksempel ”not have been done without the apperance of information<br />
theory" (s. 81). På slutten av 50-tallet inspirerer <strong>de</strong>n nye teknologien psykologer til å be-<br />
trakte mennesket i analogi til datamaskinen, som en informasjonsprosessor (f.eks. Newell,<br />
Shaw & Simon, 1958). Et hovedprosjekt i kognitiv psykologi har si<strong>de</strong>n vært å bestemme <strong>de</strong><br />
kvantitative begrensningene ved <strong>de</strong>nne (postulerte) informasjonsprosessoren, vår <strong>så</strong>kalte<br />
kognitive arkitektur.<br />
Newell og Simon betraktet, som Turing (1947), kognisjon og problemløsning som<br />
søking i problemrom (kognitive symbolske representasjoner av problemomgivelsen). De<br />
konstaterte at optimal søking i slike rom overskri<strong>de</strong>r vår kognitive arkitekturs kapasitet.<br />
Simons (1955) viktige begrep om begrenset rasjonalitet (”boun<strong>de</strong>d rationality") er motivert
10<br />
av <strong>de</strong>nne begrensningen. Idéen bak begrepet er at vår rasjonalitet er begrenset nettopp fordi<br />
<strong>de</strong>n søking eller informasjonsbehandling som kreves <strong>de</strong>rsom vi skal resonnere i overens-<br />
stemmelse med normative kriterier, overskri<strong>de</strong>r vår kognitive kapasitet.<br />
Newell og Simon var ikke primært opptatt av begrensningene ved vår kognitive arki-<br />
tektur, men hvordan vi overskri<strong>de</strong>r <strong>de</strong>m. De stu<strong>de</strong>rte blant annet sjakk, som krever massiv<br />
søking. Hvordan kan da en stormester uten kapasitet til å foreta mer enn en brøk<strong>de</strong>l av søk-<br />
ingen, likevel spille briljant sjakk? Heuristikk kalte <strong>de</strong> <strong>de</strong>n type kunnskap som reduserer<br />
søking og muliggjør go<strong>de</strong>, men ikke alltid optimale, løsninger på komplekse problemer.<br />
Datamaskiner har heller ikke kapasitet til å foreta all <strong>de</strong>n søking som kreves for å løse<br />
virkelige problemer. Antagelsen bak forsøket på å ”klone” eksperter i form av <strong>så</strong>kalte eks-<br />
pertsystemer, er at <strong>de</strong>t er mulig å isolere og representere eksperters heuristiske kunnskap i<br />
dataprogrammer. Dette KI-prosjektet er forøvrig motivert av <strong>de</strong>t samme, i en forstand, opp-<br />
høy<strong>de</strong> syn på ekspertise som <strong>de</strong>t KI-kritikerne Dreyfus og Dreyfus (1986) forfekter. Begge<br />
parter tar nemlig for gitt at eksperters kunnskap gir go<strong>de</strong> vur<strong>de</strong>ringer.<br />
I kognisjonsvitenskapen har alt<strong>så</strong> hovedspørsmålet vært hvordan vi (og datamaskiner)<br />
er i stand til å løse komplekse problemer. Heuristisk kunnskap trod<strong>de</strong> man var svaret: "heu-<br />
ristics that permit huge spaces to be searched very selectively lies at the heart of intelli-<br />
gence, whether human or artificial" (Simon, 1978, s. 12). I beslutnings- og vur<strong>de</strong>ringsforsk-<br />
ningen har heuristikk slett ikke blitt betraktet som forutsetningen for intelligens, men<br />
tvertimot blitt vektlagt som selve årsaken til irrasjonalitet.<br />
Heuristikk, irrasjonalitet og beslutningstaking<br />
Psykologene Daniel Kahneman og Amos Tversky er pionerene i <strong>de</strong>n <strong>så</strong>kalte "heuristics and<br />
biases"-tradisjonen. Tidlig på 70-tallet gjennomførte <strong>de</strong> studier som ty<strong>de</strong>t på at bruk av reg-<br />
ler eller heuristikker som avviker fra statistiske prinsipper, forklarer systematiske skjevheter<br />
(”biases”) i skjønn og beslutningstaking (f.eks. Tversky & Kahneman, 1974). Da disse<br />
heuristikkene er omtalt i alle innføringsbøker i psykologi, skisserer jeg bare kort hva to av<br />
<strong>de</strong>m innebærer: tilgjengelighet (”availability”) og representativitet (”representativeness”).<br />
Med tilgjengelighetsheuristikk menes ten<strong>de</strong>nsen til at vur<strong>de</strong>ringer av hvor hyppig noe<br />
(X) forekommer (i forhold til noe annet) påvirkes av hvor lett tilgjengelig X er, dvs. hvor<br />
lett X er å legge merke til, huske eller forestille seg. Ett hverdagslig eksempel: Det er en<br />
utbredt myte at par som tror <strong>de</strong> ikke kan få barn, lettere får egne barn etter å ha adoptert. En<br />
vanlig forklaring er at <strong>de</strong>tte skyl<strong>de</strong>s at paret etter adopsjon stresser mindre. Klinisk forsk-
11<br />
ning har imidlertid vist at fruktbarheten slett ikke forandrer seg. <strong>Hvorfor</strong> er <strong>de</strong>t likevel <strong>så</strong><br />
mange som tror <strong>de</strong>t? Bruk av tilgjengelighetsheuristikk kan forklare <strong>de</strong>tte: Vi legger veldig<br />
godt merke til at "ufruktbare" par får egne barn etter at <strong>de</strong> har adoptert. Informasjonen som<br />
viser at par som ikke adopterer får barn like hyppig etter å ha forsøkt like lenge, er <strong>de</strong>rimot<br />
sjel<strong>de</strong>n tilgjengelig for oss (se f.eks. Gilovich, 1991).<br />
Tilgjengelighetsheuristikk fungerer bra <strong>så</strong> lenge tilgjengelighet og hyppighet samvar-<br />
ierer. Trolig fungerte slik heuristikk bedre i en før-mo<strong>de</strong>rne ver<strong>de</strong>n. Da var stort sett <strong>de</strong>t<br />
som var viktig for å hol<strong>de</strong> seg i live, lett bå<strong>de</strong> å legge merke til og huske. I vår mo<strong>de</strong>rne<br />
ver<strong>de</strong>n <strong>de</strong>rimot, er statistisk informasjon ofte langt mer pålitelig enn slåen<strong>de</strong>, lett<br />
tilgjengelige egne erfaringer. Tilgjenglighetsheuristikk gjør at vi - kliniske eksperter<br />
inklu<strong>de</strong>rt – likevel har en ten<strong>de</strong>ns til å legge overdreven vekt på <strong>de</strong>t siste. I ste<strong>de</strong>t for å<br />
resonnere statistisk, er vi tilbøyelige til å tenke ”dramatisk”.<br />
Bruk av representativitetsheuristikk innebærer å anven<strong>de</strong> enkle likhetskriterier på<br />
kategoriseringsproblemer, dvs. å redusere vur<strong>de</strong>ringer til gjenkjenning. I et kjent eksperi-<br />
ment spør Kahneman og Tversky: "En professor liker å skrive poesi, er ganske sky og er<br />
liten av vekst. Hva tror du er hans felt? a) Kinesiske studier; b) Psykologi". De fleste svarer<br />
a). Grunnen er at beskrivelsen er mer representativ for hvordan man forestiller seg en sino-<br />
log enn hvordan man forestiller seg en psykolog. Svært få tar hensyn til at <strong>de</strong>t er mange<br />
flere professorer i psykologi enn i sinologi, dvs. man ser bort fra baseratene.<br />
Representativ tenkning bryter med en grunnleggen<strong>de</strong> formel i sannsynlighetsteori:<br />
P(D|S) = P(S|D) * PD/PS (P, D og S er her forkortelser for <strong>de</strong> engelske or<strong>de</strong>ne for hen-<br />
holdsvis sannsynlighet, sykdomskategori og symptom). Denne formelen, som er en måte å<br />
uttrykke Bayes' formel på, kan betraktes som en i<strong>de</strong>alisert mo<strong>de</strong>ll av diagnostisk beslut-<br />
ningstaking. Relatert til klinisk diagnostikk kan formelen forstås slik: Vi kan tenke oss at vi<br />
står overfor en pasient som har et symptom S. Vi ønsker å bestemme sannsynligheten for at<br />
pasienten da og<strong>så</strong> har sykdommen D. Denne sannsynligheten er <strong>de</strong>t som i formelen<br />
betegnes P(D|S). For å kunne beregne P(D|S), må vi vite hvor ofte symptomet S er til ste<strong>de</strong><br />
hos <strong>de</strong> som har <strong>de</strong>n bestemte sykdommen D, alt<strong>så</strong> sannsynligheten for S gitt D eller P(S|D).<br />
Dette må multipliseres med sannsynligheten for at en tilfeldig person i <strong>de</strong>n pasientgruppen<br />
(populasjonen) <strong>klinikere</strong>n behandler har <strong>de</strong>nne sykdommen D, alt<strong>så</strong> med PD. Vi<strong>de</strong>re må <strong>de</strong>t<br />
<strong>de</strong>les med hvor vanlig <strong>de</strong>t er at symptomet S, isolert sett, forekommer i populasjonen, dvs.<br />
med sannsynligheten for symptomet S: PS. Generelt innebærer representativ tenkning at<br />
man betrakter P(D|S) = P(S|D), alt<strong>så</strong> at man ser bort fra baseratene PD og PS.
12<br />
Vi kan si at representativ tenkning skaper symmetrier i vår forståelse som ikke eksi-<br />
sterer i virkeligheten. Det forklarer hvorfor man ofte ser - og<strong>så</strong> blant <strong>erfarne</strong> <strong>klinikere</strong> - en<br />
sterk ten<strong>de</strong>ns til å si<strong>de</strong>stille for eksempel P(Traumatiske barndomsopplevelser|Psykiske pro-<br />
blemer) med P(Psykiske problemer|Traumatiske barndomsopplevelser). Forskning har klart<br />
vist at <strong>de</strong>t ikke er en slik symmetri i virkeligheten. Det er mange som har store traumatiske<br />
opplevelser i barndommen som ikke får alvorlige psykiske problemer senere.<br />
Dette var en liten smakebit. Poenget er at <strong>de</strong>t i stor grad er klarlagt hvilke ulike typer<br />
heuristikker eller strategier som automatisk påvirker bå<strong>de</strong> leg og lærds vur<strong>de</strong>ringer. Det er<br />
blitt heftig diskutert om slike systematiske feilvur<strong>de</strong>ringer som er påvist i "heuristics and<br />
biases"-tradisjonen, viser at mennesket er fundamentalt irrasjonelt (Gigerenzer, 1996, og<br />
Kahneman & Tversky, 1996, er <strong>de</strong> foreløpig siste innlegg i <strong>de</strong>batten). Den diskusjonen er<br />
ikke spesielt interessant her. Det vesentlige må være å begrense og forebygge slike feilvurd-<br />
eringer, som kan ha store uheldige konsekvenser for eksempel i klinisk praksis.<br />
Kliniske vur<strong>de</strong>ringer er komplekse<br />
Representativ tenkning bidrar til at <strong>klinikere</strong> er svært <strong>dårlig</strong>e til å foreta selv enkle vur<strong>de</strong>r-<br />
inger av datas prediktive verdi (eller validitet). I en mye referert studie, ber Eddy (1982)<br />
<strong>erfarne</strong> medisinere anslå sannsynligheten for at en kvinne på førti år som avlegger positiv<br />
mammografitest (i en kartleggingsun<strong>de</strong>rsøkelse) har brystkreft, når man vet at:<br />
- sannsynligheten for brystkreft er 1% i <strong>de</strong>n al<strong>de</strong>rsgruppen (baseraten)<br />
- om en kvinne har brystkreft, <strong>så</strong> er sannsynligheten for positiv mammografi 80%.<br />
- om kvinnen ikke har brystkreft, <strong>så</strong> er sannsynligheten for positiv mammografi<br />
10%<br />
Bayes' formel gir at <strong>de</strong>t er 7.5% sjanse for brystkreft ved positiv mammografi. Medisinerne<br />
i Eddys studie anslår sannsynligheten til 70 - 80%! De forveksler hvor typisk eller repre-<br />
sentativt <strong>de</strong>t er at en kvinne som har brystkreft og<strong>så</strong> har positiv mammografi (testens sensi-<br />
tivitet) med <strong>de</strong>n prediktive (diskrimineren<strong>de</strong>) verdi en positiv mammografitest har.<br />
Eddys studie viser hvor vanskelig <strong>de</strong>t er for <strong>klinikere</strong> å vur<strong>de</strong>re hva et enkelt datum<br />
sier om et individ. Klinikere må i praksis vur<strong>de</strong>re hva en meng<strong>de</strong> av data samlet sier. Dette<br />
kan, optimalt sett, bare gjøres på grunnlag av svært kompliserte beregninger. Alle vil rea-<br />
gere <strong>de</strong>rsom kassamannen på RIMI tar handlekurven på øyemål. Han gjør ikke <strong>de</strong>t. Han<br />
summerer. Klinikere <strong>de</strong>rimot, foretar langt mer komplekse vur<strong>de</strong>ringer (beregninger) - som<br />
kan gjel<strong>de</strong> liv og død - på skjønn. Dette gjel<strong>de</strong>r <strong>så</strong> godt som alle vur<strong>de</strong>ringer, alltid.
13<br />
Paul Meehl (1957) stilte spørsmålet: "When shall we use our heads instead of the for-<br />
mula?", og konklu<strong>de</strong>rte med at <strong>de</strong>rsom vi har tilgang til en formel, <strong>så</strong> bør vi bruke ho<strong>de</strong>t<br />
veldig, veldig sjel<strong>de</strong>n. Konklusjonen ble innlemmet i APAs (<strong>de</strong>n amerikanske psykologfor-<br />
enings) etiske retningslinjer allere<strong>de</strong> i 1962:<br />
”Principle 1.5: Except in unusual circumstances, diagnosis and prediction should<br />
not stray from actuarial conclusions when such analysis is available and applicable<br />
to the judgment(s) of interest. It is inappropriate to substitute less valid<br />
means of appraisal or data interpretation for more valid means.<br />
Comment: Principle 1.5 does not eliminate the need for clinical judgment, knowledge,<br />
or skill. However, when viable actuarial methods exist, the attempt to<br />
selectively countervail actuarial conclusions, except in very unusual<br />
circumstances, represent an abuse of reason” (Sitatet er hentet fra Faust, 1991, s.<br />
203).<br />
Det er sterke ord. Men lite har skjedd i kliniske miljøer. Selv om evi<strong>de</strong>nsen i favør av<br />
formler framfor klinisk skjønn bare har styrket seg. Meehl <strong>så</strong> <strong>de</strong>t slik i 1986: ”When you are<br />
pushing 90 investigations, predicting everything from the outcome of football games to the<br />
diagnosis of liver disease and when you can hardly come up with half dozen studies<br />
showing even a weak ten<strong>de</strong>ncy in favor of the clinician, it is time to draw a practical<br />
conclusion” (s. 374).<br />
I dag har <strong>de</strong> nitti studiene vokst til nærmere <strong>de</strong>t dobbelte (Grove & Meehl, 1996). Det<br />
er <strong>de</strong>ssuten viktig å merke seg at i <strong>de</strong> fleste av disse studiene er formelen <strong>de</strong>t er snakk om<br />
helt trivielle mekaniske rutiner som Goldbergs regel og Dawes' lineære ligninger.<br />
<strong>Hvorfor</strong> kan enkle formler erstatte "sofistikert" skjønn?<br />
Eksperter baserer ofte sine vur<strong>de</strong>ringer på kompleks holistisk kunnskap som <strong>de</strong> gjerne<br />
uttrykker i form av konfigurale regler, dvs. regler som forteller hvordan betydningen av en<br />
variabel avhenger av andre variabler. Men slik sofistikert kunnskap bidrar sjel<strong>de</strong>n til å heve<br />
kvaliteten på eksperters vur<strong>de</strong>ringer, snarere tvert imot (f.eks. Camerer, 1981).<br />
<strong>Hvorfor</strong> gir bruk av konfigurale regler (ofte) <strong>dårlig</strong>e vur<strong>de</strong>ringer? Svaret er knyttet til<br />
hvordan slike regler læres. Eksperter, som folk flest, trives med å forstå. Konfigurale regler<br />
er gjerne et produkt av at man i etterkant forsøker å gjøre enkelthen<strong>de</strong>lser forståelige. Reg-<br />
lene blir <strong>de</strong>rmed lett overgeneraliseringer. Slike regler avle<strong>de</strong>s og<strong>så</strong> ofte fra generelle, og i<br />
mange situasjoner uholdbare, teorier. Konfigurale regler er <strong>de</strong>ssuten lite robuste, fenomener<br />
faller lett utenfor (f.eks. Camerer & Johnson, 1991).
14<br />
<strong>Hvorfor</strong> anven<strong>de</strong>r likevel eksperter slik ”<strong>dårlig</strong>” holistisk kunnskap? Vi har alle en<br />
sterk ten<strong>de</strong>ns til å se etter bekreften<strong>de</strong> informasjon (f.eks. Smedslund, 1963; Chapman &<br />
Chapman, 1969). Muligens <strong>de</strong>rfor har og<strong>så</strong> konfigurale regler en ten<strong>de</strong>ns til å utbro<strong>de</strong>res i<br />
ste<strong>de</strong>t for å forkastes, når <strong>de</strong> ikke passer med virkeligheten. Slike komplekse regler gir <strong>de</strong>ss-<br />
uten grunnlag for å generere mange prediksjoner og forklaringer, og eksperter har en ten-<br />
<strong>de</strong>ns til å forveksle høy "fruktbarhet" med stor nøyaktighet. Konfigurale regler er faktisk<br />
og<strong>så</strong> lette bå<strong>de</strong> å lære og bruke. Man slipper å vur<strong>de</strong>re og rangere data etter prediktiv verdi,<br />
og man unngår en kreven<strong>de</strong> vekting og kombinering av usikker informasjon. Reglene kan<br />
anven<strong>de</strong>s omtrentlig, og <strong>de</strong>t passer jo <strong>de</strong> fleste av oss.<br />
Camerer og Johnson (1991) setter erfaringene fra ekspertsystemfeltet opp mot<br />
erfaringene med enkle (regresjons)mo<strong>de</strong>ller, og konklu<strong>de</strong>rer slik: "The main lesson from the<br />
regression-mo<strong>de</strong>l literature is that large numbers of configural rules, which knowledge<br />
engineers take as evi<strong>de</strong>nce of expertise, do not necessarily make good predictions; simple<br />
linear combinations of variables (measured by experts) are better in many tasks" (s. 213).<br />
Denne forskningen ty<strong>de</strong>r alt<strong>så</strong> på at problemet med ekspertsystemer ikke er at <strong>de</strong> fungerer<br />
<strong>så</strong> forskjellig fra eksperter, men at <strong>de</strong> opererer for likt.<br />
Når kan enkle mekaniske rutiner erstatte "sofistikert" skjønn?<br />
Jeg vil nøye meg med å sammenfatte noen funn som indikerer bå<strong>de</strong> hvilke typer kliniske<br />
vur<strong>de</strong>ringer man bør tenke på å automatisere og hva man må vite for å utforme en enkel<br />
mekanisk rutine som vil "vur<strong>de</strong>re" bedre enn <strong>klinikere</strong>:<br />
- Mennesker har en unik evne til å se hva som er relevant informasjon i en situasjon,<br />
men vi har en meget begrenset evne til å integrere <strong>de</strong>n informasjonen som<br />
ligger i flere (unike) observasjoner (f.eks. Sawyer, 1966; Einhorn, 1972).<br />
- Informasjon ut over <strong>de</strong> 2-3 dataene med høyest prediktiv verdi resulterer i <strong>dårlig</strong>ere<br />
vur<strong>de</strong>ringer når informasjonen kombineres klinisk (skjønnsmessig), men<br />
øker samtidig eksperters egen tro på vur<strong>de</strong>ringenes kvalitet (f.eks. Oskamp,<br />
1965).<br />
- Når eksperter hev<strong>de</strong>r å ha brukt konfigural analyse for å nå bestemte vur<strong>de</strong>ringer,<br />
<strong>så</strong> har man stort sett alltid kunnet konstruere lineære mo<strong>de</strong>ller som a<strong>de</strong>kvat dupliserer<br />
ekspertenes vur<strong>de</strong>ringer (f.eks. Camerer, 1981).<br />
Dersom man a priori kan spesifisere hvilken type informasjon eller input som er mest rele-<br />
vant for å foreta en avgrenset vur<strong>de</strong>ring, <strong>så</strong> gir punktene ovenfor god grunn til å tro at man<br />
kan finne fram til en enkel formel som foretar en bedre integrering av input-informasjonen<br />
enn <strong>de</strong>t beslutningstakere er i stand til.
15<br />
Dawes og Corrigan (1974) sammenfatter essensen i hva som må til for å erstatte "sof-<br />
istikert" skjønn med enkle mekaniske rutiner: "the whole trick is to <strong>de</strong>ci<strong>de</strong> what variables to<br />
look at and then to know how to add" (s. 105). Som <strong>de</strong>t ligger implisitt i <strong>de</strong>tte sitatet, <strong>så</strong><br />
kommer vi ikke utenom klinisk skjønn. Skjønn er nødvendig for å avgrense vur<strong>de</strong>ringer<br />
som egner seg for automatisering, og skjønn er og<strong>så</strong> nødvendig "to <strong>de</strong>ci<strong>de</strong> what variables to<br />
look at", dvs. for å i<strong>de</strong>ntifisere hvilken informasjon som er mest relevant for å foreta disse<br />
vur<strong>de</strong>ringene. Kort sagt, <strong>de</strong>t å bestemme hva som er relevant informasjon for å foreta en<br />
vur<strong>de</strong>ring må nesten alltid baseres på klinisk skjønn, mens selve vur<strong>de</strong>ringen (dvs.<br />
integreringen) av <strong>de</strong>nne informasjonen bør overlates til mekaniske rutiner.<br />
Har ingen eksperter reell kompetanse?<br />
Eksperter gjør annet enn å vur<strong>de</strong>re og predikere. De opererer (kirurger), løser problemer<br />
(fysikere), konstruerer (programmerere, ingeniører), komponerer (musikere) osv. I mange<br />
slike ferdigheter utvikles reell domenespesifikk ekspertise gjennom praksis (f.eks. Ericsson<br />
& Lehmann, 1996). Eksperters kognitive prosessering er <strong>de</strong>ssuten overlegen nybegynnere<br />
på <strong>de</strong>t meste fra hukommelse til problemløsning og resonnering. Eksperter (i for eksempel<br />
fysikk og programming) bruker mer effektive resonneringsstrategier enn u<strong>erfarne</strong>, på noen<br />
områ<strong>de</strong>r (som sjakk) oppøver <strong>de</strong> et ”blikk” som gjør at <strong>de</strong> ”intuitivt ser” hva som bør gjøres<br />
osv. (f.eks. Chi, Glaser & Farr, 1988).<br />
Men selv om eksperters kognitive prosessering skiller seg markert fra novisers, <strong>så</strong> gjør<br />
alt<strong>så</strong> ikke kvaliteten på <strong>de</strong>res vur<strong>de</strong>ringer og prediksjoner <strong>de</strong>t. På noen felt erverver imidler-<br />
tid eksperter seg reell kompetanse og<strong>så</strong> i å predikere og vur<strong>de</strong>re. Slike felt er karakterisert<br />
ved at stimuli (<strong>de</strong>t man <strong>vur<strong>de</strong>rer</strong>) er statisk, at <strong>de</strong>t er konsensus om hva som utgjør stimuli,<br />
at samme type stimuli (problem) gjentar seg, at man tar beslutninger om ting (ikke atferd),<br />
at problemer kan <strong>de</strong>les opp, at man får tilbakemelding, at objektive analyser er tilgjengelige,<br />
at man bruker beslutningshjelpemidler og – ikke minst - at <strong>de</strong>t forventes at man og<strong>så</strong> iblant<br />
tar feil. Jo flere av disse faktorene som er tilste<strong>de</strong> på et felt, <strong>de</strong>sto større er muligheten for å<br />
lære av tidligere vur<strong>de</strong>ringer og beslutninger (f.eks. Shanteau, 1992). Sjakk, astronomi, for-<br />
sikringsanalyse og enkelte <strong>de</strong>ler av medisin er eksempler på felt <strong>de</strong>r disse faktorene i stor<br />
grad er tilste<strong>de</strong>. På områ<strong>de</strong>r som klinisk psykologi, psykiatri, astrologi, personellutvelgelse<br />
og prediksjon av aksjeverdier er <strong>de</strong> <strong>de</strong>t ikke.<br />
Og<strong>så</strong> i meteorologi er flere av faktorene nevnt over tilste<strong>de</strong>. Meteorologers predik-<br />
sjoner er da og<strong>så</strong> svært go<strong>de</strong>, ikke minst sammenlignet med kvaliteten på vur<strong>de</strong>ringene til
16<br />
kliniske psykologer. Likevel tror fortsatt mange at meteorologer spår i hytt og vær, mens<br />
psykologer ”ser” gjennom folk. Grunnen til <strong>de</strong>t er åpenbar: Vi har nesten aldri tilgang til<br />
informasjon som forteller når psykologers vur<strong>de</strong>ringer av enkeltindivi<strong>de</strong>r er <strong>dårlig</strong>e, mens vi<br />
blir våte når meteorologene tar feil. Dessuten un<strong>de</strong>rstreker meteorologer selv at <strong>de</strong> spår<br />
været, mens mange psykologer er helt overbeviste om at <strong>de</strong> forstår enkeltmennesker.<br />
<strong>Hvorfor</strong> tar vi ikke konsekvensene?<br />
Det er antagelig mange grunner til at <strong>klinikere</strong> flest kanskje ikke engang har tenkt tanken at<br />
noen av <strong>de</strong> vur<strong>de</strong>ringene <strong>de</strong> rutinemessig foretar med for<strong>de</strong>l kan mekaniseres. En hoved-<br />
grunn er nok at troen på <strong>de</strong>t go<strong>de</strong> kliniske skjønn som erverves gjennom praksis, fortsatt er<br />
en utbredt myte blant psykologer (se f.eks. flere artikler i Reichelt, 1994).<br />
Én annen viktig grunn til at få kliniske vur<strong>de</strong>ringer er forsøkt automatisert er antagelig<br />
at mekaniske rutiner langt fra er feilfrie, selv om <strong>de</strong> alt<strong>så</strong> gir bedre resultater enn klinisk<br />
skjønn. Det virker som om <strong>de</strong> fleste av oss har større problemer med å akseptere at vi skal<br />
"vur<strong>de</strong>res" av formler og maskiner som til og med ofte "tar" feil, selv om vi alt<strong>så</strong> nå vet at<br />
mekanisk integrering av informasjon totalt sett gir færre feil enn om vi overlater <strong>de</strong> samme<br />
vur<strong>de</strong>ringene til menneskelige beslutningstakere.<br />
For <strong>de</strong>n enkelte kliniker er <strong>de</strong>t nok heller ikke særlig tiltalen<strong>de</strong>, etter en lang utdanning<br />
og kanskje mange års spesialisering, å akseptere at helt enkle addisjonsregler "<strong>vur<strong>de</strong>rer</strong>"<br />
data bedre enn hva en selv gjør. Trusselen mot eget selvbil<strong>de</strong>, og kanskje økonomiske pro-<br />
fesjonsinteresser, bidrar muligens og<strong>så</strong> til å sperre for en økt formalisering, automatisering<br />
og forbedring av kliniske vur<strong>de</strong>ringer.<br />
Mange ser trolig og<strong>så</strong> etiske problemer knyttet til å erstatte "godt" menneskelig skjønn<br />
med "kal<strong>de</strong>" mekaniske rutiner. Dawes (1988) har følgen<strong>de</strong> kontante svar på <strong>de</strong>n innvend-<br />
ingen:<br />
”Friends tell me that important human judgment is often ineffable, unsystematic,<br />
and intuitive. I agree. And it is, therefore, often bad. Friends tell me that <strong>de</strong>cisions<br />
that are effable, systematic, and explicit are <strong>de</strong>humanized <strong>de</strong>cisions. I agree. But<br />
they are "<strong>de</strong>humanized" only for the <strong>de</strong>cision maker, and I am concerned with the<br />
consequences for the people affected by the <strong>de</strong>cisions. Bad <strong>de</strong>cisions are <strong>de</strong>humanizing<br />
for them” (s. 150).<br />
Nå skal <strong>de</strong>t og<strong>så</strong> un<strong>de</strong>rstrekes at <strong>de</strong>t langt fra er enkelt å utforme og integrere effektive mek-<br />
aniske rutiner i klinisk praksis. Det er og<strong>så</strong> en vesentlig grunn til at vi i <strong>så</strong> liten grad støtter<br />
oss til mekaniske rutiner.
I <strong>de</strong>t minste: synliggjør usikkerheten!<br />
17<br />
Selv om man ikke har tro på at særlig mange vur<strong>de</strong>ringer i egen klinisk praksis kan mekani-<br />
seres, <strong>så</strong> bør resultatene fra beslutningsforskningen motivere <strong>klinikere</strong> til å klargjøre hvor<br />
ens kunnskap slutter og <strong>de</strong>t tvilsomme skjønnet begynner.<br />
Den enkleste type klinisk vur<strong>de</strong>ring innebærer å vur<strong>de</strong>re hvor sterkt ett bestemt funn<br />
(X) indikerer at en person hører hjemme i en bestemt kategori (Y). X kan for eksempel være<br />
positiv mammografi eller bestemte lekeobservasjoner og Y brystkreft eller om et barn er<br />
misbrukt. Å avgjøre hvor sterkt X indikerer Y, svarer til å bestemme X sin prediktive verdi i<br />
forhold til Y. Man må da kjenne hyppigheten (f.eks. pr. 1000) av bå<strong>de</strong> sanne positive (SP)<br />
og falske positive (FP), dvs. bå<strong>de</strong> hvor hyppig X er tilste<strong>de</strong> samtidig med Y og hvor ofte X<br />
er tilste<strong>de</strong> uten at Y er tilste<strong>de</strong>. Dersom <strong>klinikere</strong> ”presser seg” til å anslå sanne og falske<br />
positive, og <strong>så</strong> beregner Xs prediktive verdi ut fra <strong>de</strong>t (SP/[SP + FP] gir svaret), <strong>så</strong> blir man<br />
og<strong>så</strong> klar over <strong>de</strong>n meget store usikkerheten som ofte knytter seg til å slutte Y fra X (positiv<br />
mammografi, med tallene i Eddys studie ovenfor, indikerer for eksempel brystkreft med<br />
bare 8/[8 + 99] = 7.5% sikkerhet.) Kjenner man ikke hyppigheten av bå<strong>de</strong> sanne og falske<br />
positive, som man sjel<strong>de</strong>n gjør i klinisk psykologi, <strong>så</strong> har man heller ikke noe grunnlag for å<br />
uttale seg om hvor sterkt X indikerer Y. Likevel kan man regelmessig lese i media at klin-<br />
iske sakkyndige gjør nettopp <strong>de</strong>t. I for eksempel Bjugn-saken trakk <strong>de</strong> sakkyndige avgjør-<br />
en<strong>de</strong> konklusjoner om at barn var misbrukt på grunnlag av bestemte funn, uten å ha tilgang<br />
til data om hvor ofte man finner tilsvaren<strong>de</strong> funn på barn som ikke er misbrukt.<br />
Generelt kan man eksplisere grunnlaget for egen klinisk praksis ved å skille ut <strong>de</strong>lvur-<br />
<strong>de</strong>ringer man regelmessig foretar, bestemme <strong>de</strong> mest relevante data for hver av <strong>de</strong>m, anslå<br />
disse datas prediktive verdi, spesifisere grunnlaget for anslagene osv. I tillegg til å være en<br />
forutsetning for eventuell senere mekanisering av vur<strong>de</strong>ringene, vil en slik enkel kunn-<br />
skapsklargjøring ha mange positive si<strong>de</strong>effekter. Den vil, som nevnt, ganske sikkert øke<br />
bevisstheten om <strong>de</strong>n meget store usikkerheten som (trolig) alltid vil være knyttet til psyko-<br />
logiske vur<strong>de</strong>ringer av enkeltindivi<strong>de</strong>r. En slik klargjøring vil og<strong>så</strong> bedre muligheten for<br />
erfaringslæring, og <strong>de</strong>ssuten kunne ha en heuristisk funksjon for forskning som bå<strong>de</strong> kan<br />
redusere og synliggjøre (tallfeste) usikkerheten knyttet til egne vur<strong>de</strong>ringer.
Avslutning<br />
18<br />
Tradisjonelt er klinisk ekspertise blitt betraktet som intern, personavhengig og implisitt,<br />
alt<strong>så</strong> som eksklusivt tilhøren<strong>de</strong> eksperten. Det er blitt godtatt at <strong>klinikere</strong> avgir ekspertvur-<br />
<strong>de</strong>ringer om enkeltindivi<strong>de</strong>r uten å spesifisere grunnlaget for <strong>de</strong>m. Dette tror jeg er i ferd<br />
med å endres. Ikke bare på grunn av sterk intern faglig kritikk (f.eks. Dawes, 1994; Ceci &<br />
Bruck, 1995; Meehl, 1997), men og<strong>så</strong> fordi forskningsbasert klinisk kunnskap nå er i ferd<br />
med å bli lett tilgjengelig for alle via medier som internett. Jevnlige oppslag i media indi-<br />
kerer og<strong>så</strong> at offentligheten begynner å bli utålmodig med for eksempel (ofte motstri<strong>de</strong>n<strong>de</strong>)<br />
kliniske sakkyndige som ikke har annen begrunnelse for sine vur<strong>de</strong>ringer enn henvisninger<br />
til sin utdanning, lange erfaring og aka<strong>de</strong>miske tittel. Jeg er ganske sikker på at klinisk pro-<br />
fesjonsutøvelse i tida framover må basere seg i øken<strong>de</strong> grad på ekstern, standardisert, eks-<br />
plisitt, og <strong>de</strong>rmed og<strong>så</strong> inklu<strong>de</strong>ren<strong>de</strong>, kunnskap. Om ikke initiativet til en slik omlegging tas<br />
fra <strong>de</strong> kliniske profesjonene selv, vil andre minne oss på <strong>de</strong>t.<br />
En vanlig måte en <strong>de</strong>l <strong>klinikere</strong> avviser forskning som krever endringer i status quo på,<br />
er å stemple <strong>de</strong>n som ”positivisme.” I en tidligere artikkel i Tidsskriftet <strong>de</strong>r jeg drøfter imp-<br />
likasjoner av <strong>de</strong>ls samme type forskning som her (Kirkebøen, 1995), fikk jeg et svar som<br />
sluttet slik: "Som konklusjon vil jeg påpeke at å postulere aka<strong>de</strong>misk psykologi som grunn-<br />
laget for klinisk psykologi er å blåse til ny ’positivisme<strong>de</strong>batt’" (Elgarøy, 1995, s. 1041).<br />
Dette er å sage over <strong>de</strong>n greina man som klinisk psykolog sitter på. Forankring i aka<strong>de</strong>misk<br />
forskning er jo nettopp <strong>de</strong>t som gir profesjonen legitimitet. Kravet til slik forankring er<br />
eneste grunn til at vi går sju år på et universitet før vi får praktisere som psykologer. Likevel<br />
er slik ”positivisme-avvisning” av viktig forskning <strong>så</strong> utbredt at Paul Meehl, som for øvrig<br />
bå<strong>de</strong> er "positivistisk" forsker og praktiseren<strong>de</strong> psykoanalytiker, tar <strong>de</strong>n opp i sin takketale i<br />
forbin<strong>de</strong>lse med at han (og Eysenck) fikk APAs (Society of Clinical Psychology) "hundre-<br />
årspris" for fremragen<strong>de</strong> (”positivistiske”) bidrag til faget:<br />
”Some clinicians with obscurantist motives, who do not wish to take intellectual<br />
responsibility for cre<strong>de</strong>ntialing their alleged knowledge, take illegitimate<br />
comforts from the <strong>de</strong>ath of logical positivism as a philosophical movement (...)<br />
The distinction between knowledge that brings cre<strong>de</strong>ntials with it and purported<br />
knowledge that does not has nothing whatsoever to do with logical positivism as a<br />
discredited philosophical movement (...) Clinicians who si<strong>de</strong>-steps the issue of<br />
knowledge cre<strong>de</strong>ntials by positivist-bashing are <strong>de</strong>ceiving themselves with a<br />
philosophical red herring” (Meehl, 1997, s. 96).<br />
Uansett, <strong>de</strong>t bør være åpenbart at <strong>de</strong>t har ingenting med positivisme å gjøre at man forsøker<br />
å spesifisere og eksplisere basis for egen profesjonsutøvelse. Det har heller ingen ting med
19<br />
positivisme å gjøre at man forsøker å finne måter å håndtere informasjon på som gir<br />
systematisk bedre resultater enn eget skjønn. Det dreier seg <strong>de</strong>rimot om skjebnen til <strong>de</strong>m<br />
man er satt til å vur<strong>de</strong>re og behandle, om etikk og profesjonell re<strong>de</strong>lighet.<br />
Referanser<br />
Brehmer, B. (1980). In one word: Not from experience. Acta psychologica, 45, 223-241.<br />
Camerer, C. F. (1981). General conditions for the success of bootstrapping mo<strong>de</strong>ls. Organizational<br />
behavior and human performance, 27, 411-422.<br />
Camerer, C. F., & Johnson, E. J. (1991). The process-performance paradox in expert<br />
judgment. I K. A. Ericsson, & J. Smith (Eds.), Toward a general theory of expertise (ss.<br />
195-217). Cambridge: Cambridge University Press.<br />
Ceci, J. J., & Bruck, M. (1995). Jeopardy in the courtroom. Washington, CD: APA.<br />
Chapman, L. J., & Chapman, J. P. (1969). Illusory correlation as an obstacle to the use of<br />
valid psychodiagnostic signs. Journal of abnormal psychology, 74, 271-280.<br />
Chi, M. T, Glaser, R., & Farr, M. J. (Eds.). (1988). The nature of expertise. Hillsdale, NJ:<br />
Erlbaum.<br />
Dawes, R. M. (1971). A case study of graduate admissions. American Psychologist, 26,<br />
180-88.<br />
Dawes, R. M. (1988). You can't systematize human judgment: Dyslexia. I J. Dowie & A.<br />
Elstein (Eds.), Professional judgment (ss. 150-162). Cambridge: Cambridge University<br />
Press.<br />
Dawes, R. M. (1994). House of cards. Psychology and psychotherapy built on myths. New<br />
York: Free Press.<br />
Dawes, R. M., & Corrigan B. S. (1974). Linear mo<strong>de</strong>ls in <strong>de</strong>cision making. Psychological<br />
Bulletin, 81, 95-106.<br />
Dawes, R. M., Faust, D., & Meehl, P. E. (1989). Clinical versus actuarial judgment.<br />
Science, 243, 1668-1673.<br />
Dreyfus, H. L. (1972). What computers can't do. New York: Harper & Row .<br />
Dreyfus, H. L. (1985). Competent systems: the limits of calculative rationality. Foredragsmanuskript,<br />
20.5, <strong>Universitetet</strong> i Oslo.<br />
Dreyfus, H. L., & Dreyfus, E. (1986). Mind over machine. The power of human intuition<br />
and expertise in the era of the computer. New York: The Free Press.<br />
Eddy, D. M. (1982). Probabilistic reasoning in clinical medicine: problems and opportunities.<br />
I D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment un<strong>de</strong>r uncertainty:<br />
Heuristics and biases (ss. 249-67) Cambridge, U.K.: Cambridge University Press.<br />
Einhorn, H. J. (1972). Expert measurement and mechanical combination. Organizational<br />
behavior and human performance, 7, 86-106.<br />
Elgarøy, S. (1995). Med ho<strong>de</strong>t i behold. Tidsskrift for Norsk Psykologforening, 32, 1040-<br />
1041.<br />
Ericsson, K. A., & Lehmann, A. C. (1996). Expert and exceptional performance: evi<strong>de</strong>nce<br />
of maximal adaptation to task constraints. Annual review of psychology, 47, 273-305.
20<br />
Faust, D. (1991). What if we had really listened? Present reflections on altered pasts. I D.<br />
Cicchetti & W. M. Grove (Eds.), Thinking clearly about psychology. Vol 1: Matters of<br />
Public Interest (ss. 185–216). Minneapolis: University of Minnesota Press.<br />
Faust, D., Guilmette, T. J. Hart, K., Arkes, H. R., Fishburne, F. J., & Davey, L. (1988).<br />
Neuropsychologists' training, experience, and judgment accuracy. Archives of clinical<br />
neuropsychology, 3, 145-163.<br />
Garb, H. N. (1989). Clinical judgment, clinical training, and professional experience. Psychological<br />
Bulletin, 105, 387-92.<br />
Gigerenzer, G. (1996). On narrow norms and vague heuristics: a reply to Kahneman and<br />
Tversky (1996). Psychological Review, 103, 592-596.<br />
Gilovich, T. (1991). How we know what isn't so. The fallibility of human reason in<br />
everyday life. New York: Free press.<br />
Goldberg, L. R. (1965). Diagnosticians versus diagnostic signs: The diagnosis of psychosis<br />
versus neurosis from the MMPI. Psychological Monographs 79, 9, hele nr. 602, 1-28.<br />
Grove, W. M., & Meehl, P. E. (1996). Comparative efficiciency of informal (subjective,<br />
impresionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical-statistical<br />
controversy. Psychology, Public Policy, and Law, 3, 1-31.<br />
Holt, R. R. (1958). Clinical and statistical prediction: A reformulation and some new data.<br />
Journal of Abnormal and Social Psychology, 56, 1-12.<br />
Hughes, H. D. (1917). An interesting corn seed experiment. The Iowa Agriculturalist, 17,<br />
424-425.<br />
Kahneman, D., & Tversky, A. (1996). On the reality of cognitive illusions: a reply to<br />
Gigerenzer's critique. Psychological Review, 103, 582-591.<br />
Kirkebøen, G. (1993). Psykologi, informasjonsteknologi og ekspertise. Doktoravhandling,<br />
Institutt for lingvistikk og filosofi, <strong>Universitetet</strong> i Oslo.<br />
Kirkebøen, G. (1995). En bombe un<strong>de</strong>r soveputen? Tidsskrift for Norsk Psykologforening,<br />
32, 426-434.<br />
McArthur, C. C. (1956). The dynamic mo<strong>de</strong>l. Journal of Counseling Psychology, 3, 168-<br />
71.<br />
Meehl, P. E. (1954). Clinical versus statistical prediction: A theoretical analysis and a review<br />
of the evi<strong>de</strong>nce. Minneapolis: University of Minnesota Press.<br />
Meehl, P. E. (1957). When shall we use our heads instead of the formula? Journal of Counseling<br />
Psychology, 4, 268-273.<br />
Meehl, P. E. (1986). Causes and effects of my disturbing little book. Journal of Personality<br />
assessment, 50, 370-375.<br />
Meehl, P. E. (1997). Cre<strong>de</strong>ntialed persons, cre<strong>de</strong>ntialed knowledge. Clinical psychology:<br />
science and practice, 4, 91-98.<br />
Miller, G. A. (1956). The magical number seven plus or minus two: some limits in our capacity<br />
for processing information. Psycological Review, 63, 81- 97.<br />
Newell, A., Shaw, J. C., & Simon, H. A. (1958). Elements of a theory of human problem<br />
solving. Psychological review, 65, 151-166.<br />
Newell, A., & Simon, H. A. (1981). Computer science as empirical inquiry. I J. Haugeland<br />
(Ed.), Mind <strong>de</strong>sign (ss. 35-66). Montgomery, Vermont: Bradford/MIT.
21<br />
Oskamp S. (1965). Overconfi<strong>de</strong>nce in case study judgment. Journal of consulting psychology,<br />
63, 81-97.<br />
Polanyi, M. (1958). Personal knowledge. London: Routeledge & Kegan.<br />
Reichelt, S. (Red.). (1994). Psykologi i forandring. Oslo: Norsk Psykologforening.<br />
Sarbin, T. R. (1986). Prediction and clinical inference: Forty years later. Journal of personality<br />
assessment, 50, 362-369.<br />
Sawyer, J. (1966). Measurement and prediction, clinical and statistical. Psychological Bulletin,<br />
66, 178-200.<br />
Shannon, C. (1948). A mathematical theory of communication. Bell System technichal<br />
journal, 27, 379-423.<br />
Shanteau, J. (1992). Competence in experts: The role of task characteristics.<br />
Organizational behavior and human <strong>de</strong>cision processes, 53, 252-266.<br />
Simon, H. A. (1955). A behavioral mo<strong>de</strong>l of rational choice. Quarterly journal of economics,<br />
69, 99-118.<br />
Simon, H. A. (1978). Rationality as process and product of thought. American economic<br />
review, 68, 1-16.<br />
Simon, H. A., & Chase, W. G. (1973). Skill in chess. American scientists, 63, 394-403.<br />
Simon, H. A., & Newell, A. (1958). Heuristic problem solving. Operation research, 6, 1–<br />
10.<br />
Smedslund, J. (1963). The concept of correlation in adults. Scandinavian journal of psychology,<br />
4, 165-173.<br />
Turing, A. (1947/1969). Intelligent Machinery. I B. Meltzer, & D. Michie (Eds.), Machine<br />
Intelligence, 5 (ss. 3–23). Edinburgh: Edinburgh University Press.<br />
Turing, A. (1950). Computing machinery and intelligence. Mind, 59, 433-460.<br />
Tversky, A., & Kahneman, D. (1974). Judgement un<strong>de</strong>r uncertainty: heuristics and biases.<br />
Science, 185, 1124-31.<br />
Wiggins, J. S. (1973). Personality and prediction: Principles of personality assessment.<br />
Reading, MA: Addison-Wesley.