18.07.2013 Views

Hvorfor vurderer erfarne klinikere så dårlig enda de - Universitetet i ...

Hvorfor vurderer erfarne klinikere så dårlig enda de - Universitetet i ...

Hvorfor vurderer erfarne klinikere så dårlig enda de - Universitetet i ...

SHOW MORE
SHOW LESS

You also want an ePaper? Increase the reach of your titles

YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.

Tidsskrift for Norsk Psykologforening, 36, 523-536, 1999<br />

Skjønn, formler og klinisk praksis:<br />

<strong>Hvorfor</strong> <strong>vur<strong>de</strong>rer</strong> <strong>erfarne</strong> <strong>klinikere</strong> <strong>så</strong> <strong>dårlig</strong> <strong>enda</strong> <strong>de</strong> vet <strong>så</strong> mye?<br />

Geir Kirkebøen,<br />

Institutt for informatikk,<br />

<strong>Universitetet</strong> i Oslo<br />

geirki@ifi.uio.no<br />

Abstract<br />

How are the judgments ma<strong>de</strong> by professionals compared with those ma<strong>de</strong> by<br />

novices and those based on formulas? Dreyfus and Dreyfus (1986) claim that experts,<br />

as opposed to expert systems, “intuitively see” what to do, and that such<br />

holistic un<strong>de</strong>rstanding is a result of “a great <strong>de</strong>al of involved experience." Their<br />

popular “mind over machine”-view is a myth. Although “artificially intelligent”<br />

expert systems have not successfully replaced experts, simple formulas consistently<br />

outperform experts on judgment tasks. Experienced professionals know<br />

more than inexperienced, but they do not judge better. These apparent paradoxes<br />

are well supported by psychological research, especially in areas like clinical psychology.<br />

The article explains central findings in the judgment and <strong>de</strong>cision making<br />

literature and discusses implications for clinical practice.<br />

Ekspertise og eksperters vur<strong>de</strong>ringer er stu<strong>de</strong>rt i to ulike tradisjoner i psykologien, i kognisjonsvitenskapen<br />

(kognitiv psykologi) og i beslutnings- og vur<strong>de</strong>ringsforskningen. I tillegg<br />

til at eksperter er sammenlignet med noviser, er <strong>de</strong> vur<strong>de</strong>rt opp mot <strong>så</strong>vel "intelligente"<br />

dataprogrammer som helt enkle formlers summeringer av data. Sammenligningene har gitt<br />

tilsynelaten<strong>de</strong> paradoksale resultater.<br />

I <strong>de</strong>n kognisjonsvitenskapelige tradisjon har man stu<strong>de</strong>rt hva eksperter vet og hvordan<br />

<strong>de</strong> bruker sin kunnskap. Man har, ikke overrasken<strong>de</strong>, funnet at eksperter vet mer enn noviser,<br />

har kunnskapen bedre organisert og bruker andre resonneringsstrategier. I vur<strong>de</strong>ringsog<br />

beslutningsforskningen <strong>de</strong>rimot, har man ikke påvist noen systematisk forskjell i kvalitet<br />

på vur<strong>de</strong>ringene til u<strong>erfarne</strong> og <strong>erfarne</strong> profesjonsutøvere. Paradokset er alt<strong>så</strong> at eksperter<br />

vet mer enn u<strong>erfarne</strong>, men at <strong>de</strong> likevel ikke <strong>vur<strong>de</strong>rer</strong> og predikerer bedre enn <strong>de</strong>m. (I<br />

psykologisk faglitteratur menes med prediksjon en uttalelse om hva man forventer å<br />

observere i framtida, for eksempel om en persons skoleatferd eller kriminelle atferd.<br />

Vur<strong>de</strong>ring brukes bå<strong>de</strong> om prosessen som ligger til grunn for å trekke en konklusjon på<br />

grunnlag av tilgjengelig materiale og om selve konklusjonen. Or<strong>de</strong>t ekspert bruker jeg her<br />

synonymt med en profesjonsutøver med lang erfaring på et felt.)<br />

I begge tradisjoner har man og<strong>så</strong> vært opptatt av i hvilken grad formler og programmer<br />

kan erstatte eksperter. I <strong>de</strong>n kognisjonsvitenskapelige "kunstig intelligens" (heretter KI)-tra-


2<br />

disjonen har man hatt vyer om å spre sofistikert og dyr ekspertise i form av datapro-<br />

grammer. Man har brukt avanserte formalismer til å representere eksperters kunnskap, og<br />

utviklet komplekse ekspertsystemer basert på disse formalismene. Det er imidlertid få eks-<br />

empler på at man har lykkes med å erstatte eksperter med slike programmer (f.eks. Kirke-<br />

bøen, 1993). I beslutnings- og vur<strong>de</strong>ringsforskningen har man sammenlignet eksperters<br />

skjønn med til <strong>de</strong>ls helt enkle mekaniske rutiners ”vur<strong>de</strong>ringer” av data. Det tilsynelaten<strong>de</strong><br />

paradokset er at sammenligninger av eksperter med komplekse KI-programmer har<br />

åpenbart menneskers styrke i forhold til datamaskiner, mens sammenligningen av<br />

intelligente, motiverte og <strong>erfarne</strong> beslutningstagere med enkle mekaniske rutiner har avslørt<br />

dramatiske svakheter i menneskelig skjønn og vur<strong>de</strong>ringsevne.<br />

I tillegg til å belyse <strong>de</strong> tilsynelaten<strong>de</strong> paradoksale resultatene fra ekspertiseforskningen,<br />

gir jeg en kort historisk oversikt over <strong>de</strong>batten om eksperters vur<strong>de</strong>ringsevne sammenlignet<br />

med formler og maskiner. I framstillingen tar jeg utgangspunkt i kontroversen rundt mulig-<br />

heten av å utvikle KI-programmer. Jeg anty<strong>de</strong>r hvorfor man i liten grad har lykkes, men<br />

legger hovedvekten på å avlive <strong>de</strong>n generelle "mind-over-machine"-myten som KI-fiaskoen<br />

har gitt næring til. Denne myten kommer særlig til uttrykk i <strong>de</strong>t populære ekspertisesynet<br />

som Dreyfus og Dreyfus forfekter i sin bok Mind over machine (1986). Jeg viser at <strong>de</strong>tte<br />

synet er en myte sett i lys av beslutnings- og vur<strong>de</strong>ringsforskningen. Deretter presenterer og<br />

diskuterer jeg noen sentrale funn i <strong>de</strong>nne forskningstradisjonen. På <strong>de</strong>n bakgrunn viser jeg<br />

at <strong>de</strong>t er relaterte årsaker til at ”intelligente” ekspertsystemer ikke har vært noen suksess og<br />

at eksperter <strong>vur<strong>de</strong>rer</strong> <strong>dårlig</strong> <strong>enda</strong> <strong>de</strong> vet mye. Jeg avslutter med å drøfte hvilke konsekvenser<br />

resultatene fra beslutnings- og vur<strong>de</strong>ringsforskningen bør få for klinisk praksis, og jeg spe-<br />

kulerer og<strong>så</strong> litt over hvorfor konsekvensene ikke tas.<br />

"Kunstig intelligens"-kontroversen<br />

I 1947 ble <strong>de</strong>n første datamaskinen satt i drift. Samme år startet Alan Turing <strong>de</strong>batten om<br />

muligheten for å utvikle kunstig intelligens. Turing (1947) antok at kognisjon essensielt er<br />

symbolsk problemløsning som alltid kan betraktes som søking: "the form 'Finding a number<br />

n such that ...' (...) We should not go far wrong if we assumed that all problems are<br />

reducible to this form" (s. 22). På slutten av 40-tallet diskuterte matematikeren Turing<br />

psykologi særlig med en venn og nabo, nemlig kjemiprofessoren Michael Polanyi. Polanyi<br />

hev<strong>de</strong>t at kognisjon slett ikke lot seg mo<strong>de</strong>llere eller simulere med formelle systemer.


3<br />

Diskusjonene inspirerte henholdsvis Turings artikkel Computing machinery and intelli-<br />

gence (1950) og Polanyis bok Personal knowledge (1958).<br />

Turing lanserer i sin artikkel <strong>de</strong>n <strong>så</strong>kalte turing-testen på om en programmert maskin er<br />

intelligent. Ifølge testen er maskinen <strong>de</strong>t <strong>de</strong>rsom en person som står fritt til å stille bå<strong>de</strong> <strong>de</strong>n<br />

og et menneske spørsmål (via tastatur og skjerm) ikke er i stand til å avgjøre hvilke svar<br />

som kommer fra maskinen. Polanyi avviste testen. For han var <strong>de</strong>t en a priori kjenns-<br />

gjerning at kognisjon og intelligens er vesensforskjellig fra datamaskiner. Ingen empiri kan<br />

endre <strong>de</strong>tte, hev<strong>de</strong>t Polanyi. Den fundamentale forskjellen som Polanyi ser mellom menne-<br />

sker og maskiner kommer til uttrykk i hans begrep taus kunnskap (”tacit knowledge”). I<br />

begrepet ligger <strong>de</strong>t at kognisjon <strong>de</strong>ls er basert på kunnskap som ikke lar seg beskrive.<br />

Etter Turings død i 1954 tar Herbert Simon og Allen Newell over som <strong>de</strong> fremste tals-<br />

menn for KI-visjonen. De lar seg ikke affisere av Polanyi. Samme år sistnevnte gir ut sin<br />

bok, slår <strong>de</strong> fast: "there are now in the world machines that think, that learn and that create.<br />

Moreover, their ability to do things is going to increase rapidly until - in the visible future -<br />

the range of problems they can handle will be coextensive with the range to which the<br />

human mind has been applied" (Simon & Newell, 1958, s. 8).<br />

Filosofen Hubert Dreyfus overtar på 60-tallet Polanyis rolle som toneangiven<strong>de</strong> KI-kri-<br />

tiker. Han fokuserer, som Polanyi, på What computers can’t do (Dreyfus, 1972). Mens Pol-<br />

anyi blant annet argumenterte ut fra Gö<strong>de</strong>ls ufullstendighetsteorem, er utgangspunktet for<br />

Dreyfus' kritikk <strong>de</strong> tidlige forsøkene på å utvikle KI-programmer. Han retter en skarp<br />

kritikk mot vyene om å representere intelligens og ekspertise i dataprogrammer. Dreyfus<br />

har ikke store forhåpninger til datamaskinen: Ikke engang i sjakk vil en maskin noen gang<br />

kunne vinne over en stormester, slår han bombastisk fast i 1972.<br />

Dreyfus tok feil. IBMs datamaskin Deep Blue slo nylig ver<strong>de</strong>nsmesteren i sjakk, og <strong>de</strong>t<br />

er utviklet imponeren<strong>de</strong> programmer som overgår mennesker på mange områ<strong>de</strong>r. Likevel,<br />

lite ty<strong>de</strong>r på at datamaskiner i overskuelig framtid skal kunne besitte noe i nærheten av et<br />

menneskes generelle intelligens. Newell og Simons svulstige visjoner er ikke blitt realisert.<br />

KI-visjonærene og KI-kritikerne har hatt én ting felles. De har basert sine oppfatninger<br />

om henholdsvis datamaskinens muligheter og menneskets fortreffeligheter, på spekula-<br />

sjoner. KI-visjonen baserer seg på en ren spekulasjon, nemlig antagelsen om at "a physical<br />

symbol system has the necessary and sufficient means for general intelligent action"<br />

(Newell & Simon, 1981, s. 41). Denne hypotesen er igjen basert på en antagelse om at<br />

kognisjon er samme type prosess som informasjonsprosessering i datamaskiner. KI-


4<br />

kritikerne har med go<strong>de</strong> argumenter avvist <strong>de</strong>nne antagelsen, men <strong>de</strong> har fulgt opp med en<br />

like spekulativ antagelse om menneskelig intuisjon og skjønn som noe høyt hevet over<br />

maskiner.<br />

Dreyfus og Dreyfus' myter<br />

Dreyfus (1985) sammenfatter sin forståelse av hva som skiller eksperter fra nybegynnere<br />

slik: ”a beginner makes inferences using rules and facts just like a heuristically programmed<br />

computer, but that with talent and a great <strong>de</strong>al of involved experience the beginner <strong>de</strong>velops<br />

into an expert who intuitively sees what to do without applying rules” (s. 9). I boka Mind<br />

over machine (1986) forsøker Dreyfus og Dreyfus å forsvare <strong>de</strong> to relaterte mytene som<br />

kommer til uttrykk i <strong>de</strong>tte sitatet. Den ene myten er påstan<strong>de</strong>n om at <strong>erfarne</strong> profesjons-<br />

utøvere intuitivt ser helheter og hva som bør gjøres i komplekse situasjoner. Vi kan kalle<br />

<strong>de</strong>tte myten om <strong>de</strong>t go<strong>de</strong> skjønn. Den andre kan vi kalle myten om erfaringslæring, nemlig<br />

troen på at man generelt kan erverve seg et godt skjønn gjennom erfaring.<br />

Dreyfus og Dreyfus peker på at KI-visjonene er basert på spekulasjoner: "the grandiose<br />

claims and predictions ma<strong>de</strong> by Simon and associates were not based on sound empirical<br />

research" (s. 8). De har helt rett. Men hva bygger <strong>de</strong> sin alternative forståelse på? I<br />

hovedsak baserer <strong>de</strong> seg på "the seemingly plausible arguments of Merleau-Ponty,<br />

Hei<strong>de</strong>gger, and Wittgenstein, which [we] had come to accept" (s. 7). De bortforklarer<br />

empirisk forskning som stri<strong>de</strong>r mot <strong>de</strong>res eget syn: "To forsake rationality in favor of<br />

unrationalized know-how is to sail on uncharted seas, and there will always be those (...)<br />

who challenge the wisdom. A number of aca<strong>de</strong>mic psychologists have gone so far as to<br />

create experiments purporting to show (...) consistent flaws in human <strong>de</strong>cision-making" (s.<br />

41).<br />

I <strong>de</strong>n grad Dreyfus og Dreyfus baserer seg på empiri, vektlegger <strong>de</strong> studier av senso-<br />

motoriske ferdigheter som sykling, svømming og flyvning. Av kognitive ferdigheter er <strong>de</strong>t<br />

gjerne studier av sjakkspillere <strong>de</strong> viser til. De appellerer <strong>de</strong>ssuten til lesernes ”common<br />

sense”: "You need not merely accept our word but should check to see if the process by<br />

which you yourself acquired various skills reveals a similar pattern" (s. 20).<br />

Det er ikke tvil om at Dreyfus og Dreyfus' ekspertisesyn er utbredt. Mange tiårs psyko-<br />

logisk forskning har imidlertid vist at <strong>de</strong>res tro på intuisjonens kraft og vår evne til å lære av<br />

erfaring er "common non-sense".


Dreyfus og Dreyfus' feilslutninger<br />

5<br />

På vesentlige områ<strong>de</strong>r, som språk og persepsjon, er menneskelig kognisjon overlegen data-<br />

maskiner. Vi har for eksempel en ekstrem evne til å ”lese” ansikter og <strong>vur<strong>de</strong>rer</strong> raskt humø-<br />

ret en person er i ut fra ansiktsuttrykket. Selv om vi er svært dyktige til <strong>de</strong>tte, kan vi ofte<br />

bare vagt beskrive <strong>de</strong> trekkene vi kjenner igjen. Polanyi (1958) vektlegger nettopp slike<br />

persepsjonseksempler i sin argumentasjon for <strong>de</strong>n tause kunnskapens betydning. Persepsjon<br />

har åpenbart en gestaltkarakter: Ser vi <strong>de</strong>ler av en sirkel, "ser" vi hele sirkelen. Dreyfus og<br />

Dreyfus (1986) hev<strong>de</strong>r at og<strong>så</strong> eksperters vur<strong>de</strong>ringer har en slik gestaltkarakter, dvs. at<br />

eksperter i sin alminnelighet er i stand til å se helheter i mønstre av data. De generaliserer<br />

alt<strong>så</strong> fra persepsjon til vur<strong>de</strong>ringer generelt. Det er en feilslutning.<br />

Millioner av års evolusjon ligger bak våre språklige og perseptuelle ferdigheter, ferdig-<br />

heter som er forutsetninger for intelligent atferd. Det er <strong>de</strong>rfor ikke overrasken<strong>de</strong> at <strong>de</strong>t har<br />

vist seg vanskelig å utvikle intelligente datamaskiner. Det som imidlertid skiller mange pro-<br />

blemer som eksperter i dag stilles overfor fra <strong>de</strong>t å lese ansikter og forstå naturlig språk, er<br />

at vi ikke har noen evolusjonsmessige preferanser for å løse <strong>de</strong>m. Det gjel<strong>de</strong>r for eksempel<br />

problemet <strong>klinikere</strong> har når <strong>de</strong> på grunnlag av ulike data skal vur<strong>de</strong>re en pasient.<br />

Dreyfus og Dreyfus’ mo<strong>de</strong>ll for utviklingen fra nybegynner til ekspert er basert på stu-<br />

dier av "the skill-acquisition process of airline pilots, chess-players, automobile drivers and<br />

adult learners of a second language" (s. 20). Når <strong>de</strong>t gjel<strong>de</strong>r disse områ<strong>de</strong>ne, er <strong>de</strong>t liten<br />

grunn til å betvile at <strong>de</strong> "observed a common pattern in all cases, which [they] call the five<br />

stages of skill acquisition" (s. 20). Feilen <strong>de</strong> gjør er igjen at <strong>de</strong> generaliserer til ervervelse av<br />

kognitive ferdigheter i sin alminnelighet.<br />

Myten om <strong>de</strong>t go<strong>de</strong> skjønn er avlivet<br />

Den første kjente psykologiske studien av kvaliteten på eksperters vur<strong>de</strong>ringer ble gjennom-<br />

ført av Hughes allere<strong>de</strong> i 1917. Han stu<strong>de</strong>rte vur<strong>de</strong>ringene til anerkjente eksperter på<br />

<strong>så</strong>korn. Resultatet var nedslåen<strong>de</strong>: ekspertene tok ofte feil, variasjonen i <strong>de</strong>res vur<strong>de</strong>ringer<br />

var stor og <strong>de</strong> baserte sine konklusjoner på langt færre indikasjoner enn hva <strong>de</strong> selv trod<strong>de</strong>.<br />

Senere studier har, som vi skal se, ikke gitt grunn til å tvile på Hughes' funn.<br />

De første systematiske sammenligninger av eksperters vur<strong>de</strong>ringer mot mekaniske ruti-<br />

ner ble gjennomført av Sarbin tidlig på 1940-tallet. Han sammenlignet kvaliteten på klinik-<br />

eres vur<strong>de</strong>ringer med enkle regresjonsligninger, og konklu<strong>de</strong>rte med at <strong>de</strong>t vil gi "less error


6<br />

if clinicians <strong>de</strong>liberately adopted the actuarial method for all their activities" (Sarbin, 1986,<br />

363). Heller ikke Sarbins konklusjon er svekket av senere forskning.<br />

I 1954 gir Meehl ut boka Clinical versus statistical predictions, <strong>de</strong>r han drøfter hva som<br />

er best av skjønnsmessige og statistiske meto<strong>de</strong>r. (Statistisk prediksjon innebærer en statis-<br />

tisk vekting og kombinering av data, mens klinisk prediksjon betyr at data kombineres<br />

skjønnsmessig.) Meehl argumenterer for at spørsmålet må avgjøres empirisk, og setter fram<br />

metodologiske regler for hvordan <strong>de</strong>t kan gjøres. På grunnlag av en analyse av 20 empiriske<br />

studier slutter han at vur<strong>de</strong>ringer (som ’Har pasienten hjerneska<strong>de</strong>?’, ’Li<strong>de</strong>r pasienten av<br />

schizofreni?’ osv.) foretatt ved hjelp av statistiske prosedyrer alltid er minst like nøyaktige,<br />

og oftest mer nøyaktige, enn skjønnsmessige vur<strong>de</strong>ringer.<br />

<strong>de</strong>r:<br />

Innvendingene mot Meehls konklusjoner var av tre typer. Det ble hev<strong>de</strong>t at <strong>de</strong> ikke hol-<br />

1) for reelle vur<strong>de</strong>ringer som <strong>klinikere</strong> faktisk foretar i praksis (f.eks. McArthur,<br />

1956)<br />

2) når <strong>klinikere</strong> og<strong>så</strong> har tilgang til <strong>de</strong>n informasjon som møte med pasientene gir<br />

(f.eks. Holt, 1958)<br />

3) for vur<strong>de</strong>ringer som krever en konfigural (helhetlig) analyse av data. (Meehl<br />

selv er i 1954 åpen for at slike vur<strong>de</strong>ringer muligens kan gå i favør av klinisk<br />

prediksjon).<br />

Holdbarheten av disse tre innvendingene er testet ut i en rekke studier. De hol<strong>de</strong>r ikke. La<br />

oss se på noen klassiske og representative studier som indikerer <strong>de</strong>t.<br />

MMPI (Minnesota multiphasic personality inventory) er <strong>de</strong>n mest brukte personlig-<br />

hetstesten. Testresultatene summeres i en profil bygd opp av elleve tallverdier som hver<br />

representerer testpersonens nivå på én skala eller personlighetsdimensjon (introvert-ekstro-<br />

vert; maskulinitet-feminitet; psykopati osv.) Det var lenge allment akseptert at go<strong>de</strong> tolk-<br />

ninger av MMPI-profiler krever konfigurale vur<strong>de</strong>ringer av profilen, dvs. at man ser <strong>de</strong><br />

elleve skårene i forhold til hverandre (jfr. innvending 3). Vur<strong>de</strong>ring av MMPI-profiler er for<br />

øvrig en type vur<strong>de</strong>ring som <strong>klinikere</strong> hyppig møter i praksis (jfr. innvending 1).<br />

Goldberg (1965) stu<strong>de</strong>rte <strong>erfarne</strong> <strong>klinikere</strong>s evne til å vur<strong>de</strong>re om en pasient er nevro-<br />

tisk eller psykotisk på grunnlag av MMPI-profiler. Han sammenlignet blant annet kliniker-<br />

nes vur<strong>de</strong>ringer med en enkel regel som legger sammen skårene på tre utvalgte skalaer og<br />

trekker fra skårene på to andre. Er resultatet un<strong>de</strong>r 45 er pasienten nevrotisk, ellers psyko-<br />

tisk. 861 MMPI-profiler (til pasienter med bekreftet diagnose) skulle vur<strong>de</strong>res. Goldbergs<br />

regel utkonkurrerte med god margin alle <strong>de</strong> <strong>erfarne</strong> klinikerne.


7<br />

Sawyers (1966) omfatten<strong>de</strong> oversiktsstudie viser at klinisk informasjon ofte ikke bidrar<br />

til bedre vur<strong>de</strong>ringer (jfr. innvending 2). Sawyer fant blant annet at <strong>de</strong>rsom <strong>klinikere</strong> gis<br />

mulighet til å basere sine vur<strong>de</strong>ringer på intervjuer med pasientene i tillegg til testdata, <strong>så</strong><br />

faller systematisk kvaliteten på vur<strong>de</strong>ringene i forhold til om <strong>de</strong> utelukken<strong>de</strong> tar hensyn til<br />

testdata. Generelt har <strong>de</strong>t vist seg at <strong>de</strong>rsom en beslutningstaker får tilgang til informasjon<br />

ut over <strong>de</strong> to-tre mest prediktive data, <strong>så</strong> faller gjerne kvaliteten på vur<strong>de</strong>ringene (f.eks.<br />

Oskamp, 1965). Beslutningstakere drukner raskt i informasjon.<br />

Dawes (1971) påviser at <strong>enda</strong> enklere formler enn Goldbergs regel kan utkonkurrere<br />

<strong>erfarne</strong> beslutningstakere. Han stu<strong>de</strong>rte inntakskomitéer ved amerikanske college. Disse av-<br />

gjør hvilke stu<strong>de</strong>nter som skal tas inn fra high school, dvs. <strong>de</strong> skal predikere framtidige<br />

skoleprestasjoner. Dawes sammenlignet komitéenes vur<strong>de</strong>ringer med helt trivielle lineære<br />

ligninger. Han finner at selv ligninger som bare trenger informasjon om én variabel (elevens<br />

standpunktkaraktersnitt) predikerer framtidige prestasjoner bedre enn en komité beståen<strong>de</strong><br />

av <strong>erfarne</strong> skolefolk. Komitéen had<strong>de</strong> i tillegg til <strong>de</strong>tte karaktersnittet og<strong>så</strong> tilgang til elev-<br />

enes eksamenskarakterer, kjennskap til og et anbefalingsbrev fra <strong>de</strong>n skolen <strong>de</strong> kom fra,<br />

samt et lengre intervju med elevene.<br />

Stikk i strid med Dreyfus og Dreyfus' påstand om at eksperter intuitivt ser hva <strong>de</strong> bør<br />

gjøre, er <strong>de</strong>t nå grundig dokumentert at intelligente og motiverte beslutningstakeres skjønn<br />

systematisk overgås av usofistikerte prosedyrer (f.eks. Dawes, Faust & Meehl, 1989).<br />

Profesjonsutøveres vur<strong>de</strong>ringer bedres (ofte) ikke med erfaring<br />

Dreyfus og Dreyfus påpeker at komitémedlemmene i Dawes’ (1971) studie ikke er<br />

eksperter på heltid: "It would be interesting to compare the predictive ability of mo<strong>de</strong>ls<br />

against those professionals responsible on a full-time basis for the admission <strong>de</strong>cisions at<br />

elite un<strong>de</strong>rgraduate colleges. Our guess is that full-timers would fare better" (s. 45). <strong>Hvorfor</strong><br />

<strong>de</strong> gjetter er ikke lett å forstå. Det er nemlig gjort en rekke studier av betydningen grad av<br />

erfaring har for vur<strong>de</strong>ringers kvalitet. Ett eksempel: I en stor un<strong>de</strong>rsøkelse basert på et<br />

representativt utvalg på 600 av USAs drøyt 3400 nevropsykologer, konklu<strong>de</strong>rte man slik:<br />

"Except for a possible ten<strong>de</strong>ncy among more experienced practitioners to overdiagnose<br />

abnormality, no systematic relations were obtained between training, experience, and<br />

accuracy across a series of neuropsychologic judgments" (Faust et al., 1988).<br />

Dette er ikke en spesielt valgt studie og heller ikke et oppsiktsvekken<strong>de</strong> funn. Allere<strong>de</strong> i<br />

1973 sammenfattet Wiggins resultatene fra en rekke studier av <strong>klinikere</strong> med ulik grad av


8<br />

erfaring slik: "Surprisingly, there is little empirical evi<strong>de</strong>nce that justifies the granting of<br />

'expert' status to the clinician on the basis of his [or her] training, experience, or infor-<br />

mation-processing ability" (s. 131). I en bredt anlagt meta-studie nylig bekrefter Garb<br />

(1989) i hovedsak Wiggins konklusjoner.<br />

Hvordan kan <strong>de</strong>t ha seg at <strong>klinikere</strong>s vur<strong>de</strong>ringer ikke blir bedre med erfaring? Vi lærer<br />

jo <strong>så</strong> mye annet av erfaring, for eksempel å kjøre bil. Vi følger instruksjoner rigid og<br />

klønete i starten. Med øvelse kjører vi bedre og bedre, samtidig som vi tenker mindre og<br />

mindre på hva vi gjør. Vi opparbei<strong>de</strong>r en “taus kunnskap” som gjør at vi “intuitivt ser” hva<br />

vi bør gjøre selv i komplekse situasjoner. <strong>Hvorfor</strong> skjer ikke <strong>de</strong>t samme i klinisk praksis?<br />

Det er mange ulike grunner til at en klinisk psykologs erfaring med tidligere pasienter<br />

ikke gjør han eller hun bedre til å vur<strong>de</strong>re (og behandle) nye pasienter (f.eks. Brehmer,<br />

1980; Dawes, 1994). Jeg skal kort anty<strong>de</strong> et par av <strong>de</strong>m. I klinisk praksis vil en vur<strong>de</strong>ring av<br />

et individ typisk innebære å slutte fra en konfigurasjon av data eller tegn (symptomer, test-<br />

verdier, bakgrunnsopplysninger, familiesituasjon osv.) til en (årsaks-, behandlings- eller<br />

forståelses)kategori (type hjerneska<strong>de</strong>, schizofreni, er misbrukt, trenger behandling X osv.)<br />

Faktorene som bestemmer indivi<strong>de</strong>rs tanker, følelser og handlinger er svært komplekse og<br />

<strong>dårlig</strong> forståtte. Det bidrar til at sammenhengene mellom tegn og kategorier nesten alltid er<br />

probabilistiske i klinisk praksis. Noen ganger skyl<strong>de</strong>s en bestemt konfigurasjon av tegn at et<br />

individ er misbrukt, andre ganger kan årsaken til <strong>de</strong> samme tegnene være noe helt annet.<br />

Bedre kliniske vur<strong>de</strong>ringer forutsetter alt<strong>så</strong> en bedre forståelse av relevante<br />

probabilistiske sammenhenger mellom tegn og kategorier. Det er nærliggen<strong>de</strong> å tro at<br />

<strong>klinikere</strong> gjennom erfaring får større innsikt i slike sammenhenger. Det er imidlertid ikke<br />

tilfelle (f.eks. Brehmer, 1980). En vesentlig grunn til <strong>de</strong>t er at <strong>klinikere</strong>, som alle oss<br />

andre, har en sterk tilbøyelighet til å gjøre ver<strong>de</strong>n forståelig ved å se <strong>de</strong>n gjennom kausale<br />

(<strong>de</strong>terministiske) skjemaer (X bestemmer Y, nevrosene skyl<strong>de</strong>s barndomstraumer osv.).<br />

Laboratoriestudier <strong>de</strong>r enkle probabilistiske sammenhenger mellom variabler skal læres<br />

fra eksempler, viser at <strong>de</strong>t heller ikke hjelper å gjøre forsøkspersonene oppmerksomme på<br />

at sammenhengene er probabilistiske. De lærer <strong>de</strong>m likevel ikke. Grunnen er, kort sagt, at<br />

få kjenner og er i stand til å bruke <strong>de</strong> strategier (sannsynlighetsregning, Bayes’ formel<br />

mm.) som kreves for å fungere effektivt i probabilistiske situasjoner. Vi forenkler i ste<strong>de</strong>t<br />

kompleksiteten i vår erfaringsver<strong>de</strong>n ved å betrakte <strong>de</strong>n <strong>de</strong>terministisk, tenke<br />

representativt osv. Ne<strong>de</strong>nfor forklarer jeg hvorfor slike strategier ikke bidrar til bedre<br />

vur<strong>de</strong>ringer.


9<br />

Den type enkle probabilistiske sammenhenger som forsøkspersoner ikke er i stand til<br />

å lære i laboratoriet, er mellom vel<strong>de</strong>finerte variabler (bestemt av form, farge osv.) Vari-<br />

ablene (tegn og kategorier) er sjel<strong>de</strong>n vel<strong>de</strong>finerte i klinisk praksis. Det er ofte uklart<br />

hvilke tegn som er relevante for å foreta en bestemt vur<strong>de</strong>ring, og kategoriene er i seg selv<br />

ofte <strong>dårlig</strong> forståtte og kontroversielle. Dette gjør læring mye vanskeligere i klinisk prak-<br />

sis enn i laboratoriet. En klinisk psykolog er ikke sjel<strong>de</strong>n i tilsvaren<strong>de</strong> situasjon som en<br />

lege som forsøker å diagnostisere kreft på basis av tidligere erfaring med kreftpasienter og<br />

pasienter uten kreft, men uten å vite hva kreft er. Da kan man heller ikke ha en klar forstå-<br />

else av hva som er en gal vur<strong>de</strong>ring, som er en av <strong>de</strong> to betingelsene som generelt har vist<br />

seg å være avgjøren<strong>de</strong> for erfaringslæring. Den andre helt essensielle betingelsen for lær-<br />

ing er at man får umid<strong>de</strong>lbar, utvetydig og konsistent tilbakemelding når man tar feil.<br />

Disse betingelsene er tilste<strong>de</strong> når vi lærer å kjøre bil. De er av en rekke ulike grunner sjel-<br />

<strong>de</strong>n til ste<strong>de</strong> når <strong>klinikere</strong> <strong>vur<strong>de</strong>rer</strong> enkeltindivi<strong>de</strong>r (f.eks. Dawes, 1994). Og<strong>så</strong> av <strong>de</strong>n<br />

grunn er <strong>de</strong>t ikke slik at en kliniker gjennom ”a great <strong>de</strong>al of involved experience (...)<br />

<strong>de</strong>velops into an expert who intuitively sees what to do” (Dreyfus, 1985, s. 9).<br />

Heuristikk, intelligens og ekspertise<br />

Fra Platon til Freud ble <strong>dårlig</strong> skjønn forklart med at høyere intellektuelle prosesser ble for-<br />

styrret av lavere pasjoner og drifter. Først med informasjonsteknologien ble <strong>de</strong>t mulig å for-<br />

klare kognitiv feilfungering uten å måtte henvise til slike ikke-kognitive faktorer. Shannons<br />

(1948) informasjonsteori, som gir en presis kvantitativ <strong>de</strong>finisjon av informasjon, var <strong>de</strong>t<br />

viktigste enkeltbidraget. Teorien gjor<strong>de</strong> <strong>de</strong>t nemlig mulig for psykologer å betrakte tenkning<br />

kvantitativt. Millers (1956) klassiske studie av begrensningen ved vår ”umid<strong>de</strong>lbare huk-<br />

ommelse” ville for eksempel ”not have been done without the apperance of information<br />

theory" (s. 81). På slutten av 50-tallet inspirerer <strong>de</strong>n nye teknologien psykologer til å be-<br />

trakte mennesket i analogi til datamaskinen, som en informasjonsprosessor (f.eks. Newell,<br />

Shaw & Simon, 1958). Et hovedprosjekt i kognitiv psykologi har si<strong>de</strong>n vært å bestemme <strong>de</strong><br />

kvantitative begrensningene ved <strong>de</strong>nne (postulerte) informasjonsprosessoren, vår <strong>så</strong>kalte<br />

kognitive arkitektur.<br />

Newell og Simon betraktet, som Turing (1947), kognisjon og problemløsning som<br />

søking i problemrom (kognitive symbolske representasjoner av problemomgivelsen). De<br />

konstaterte at optimal søking i slike rom overskri<strong>de</strong>r vår kognitive arkitekturs kapasitet.<br />

Simons (1955) viktige begrep om begrenset rasjonalitet (”boun<strong>de</strong>d rationality") er motivert


10<br />

av <strong>de</strong>nne begrensningen. Idéen bak begrepet er at vår rasjonalitet er begrenset nettopp fordi<br />

<strong>de</strong>n søking eller informasjonsbehandling som kreves <strong>de</strong>rsom vi skal resonnere i overens-<br />

stemmelse med normative kriterier, overskri<strong>de</strong>r vår kognitive kapasitet.<br />

Newell og Simon var ikke primært opptatt av begrensningene ved vår kognitive arki-<br />

tektur, men hvordan vi overskri<strong>de</strong>r <strong>de</strong>m. De stu<strong>de</strong>rte blant annet sjakk, som krever massiv<br />

søking. Hvordan kan da en stormester uten kapasitet til å foreta mer enn en brøk<strong>de</strong>l av søk-<br />

ingen, likevel spille briljant sjakk? Heuristikk kalte <strong>de</strong> <strong>de</strong>n type kunnskap som reduserer<br />

søking og muliggjør go<strong>de</strong>, men ikke alltid optimale, løsninger på komplekse problemer.<br />

Datamaskiner har heller ikke kapasitet til å foreta all <strong>de</strong>n søking som kreves for å løse<br />

virkelige problemer. Antagelsen bak forsøket på å ”klone” eksperter i form av <strong>så</strong>kalte eks-<br />

pertsystemer, er at <strong>de</strong>t er mulig å isolere og representere eksperters heuristiske kunnskap i<br />

dataprogrammer. Dette KI-prosjektet er forøvrig motivert av <strong>de</strong>t samme, i en forstand, opp-<br />

høy<strong>de</strong> syn på ekspertise som <strong>de</strong>t KI-kritikerne Dreyfus og Dreyfus (1986) forfekter. Begge<br />

parter tar nemlig for gitt at eksperters kunnskap gir go<strong>de</strong> vur<strong>de</strong>ringer.<br />

I kognisjonsvitenskapen har alt<strong>så</strong> hovedspørsmålet vært hvordan vi (og datamaskiner)<br />

er i stand til å løse komplekse problemer. Heuristisk kunnskap trod<strong>de</strong> man var svaret: "heu-<br />

ristics that permit huge spaces to be searched very selectively lies at the heart of intelli-<br />

gence, whether human or artificial" (Simon, 1978, s. 12). I beslutnings- og vur<strong>de</strong>ringsforsk-<br />

ningen har heuristikk slett ikke blitt betraktet som forutsetningen for intelligens, men<br />

tvertimot blitt vektlagt som selve årsaken til irrasjonalitet.<br />

Heuristikk, irrasjonalitet og beslutningstaking<br />

Psykologene Daniel Kahneman og Amos Tversky er pionerene i <strong>de</strong>n <strong>så</strong>kalte "heuristics and<br />

biases"-tradisjonen. Tidlig på 70-tallet gjennomførte <strong>de</strong> studier som ty<strong>de</strong>t på at bruk av reg-<br />

ler eller heuristikker som avviker fra statistiske prinsipper, forklarer systematiske skjevheter<br />

(”biases”) i skjønn og beslutningstaking (f.eks. Tversky & Kahneman, 1974). Da disse<br />

heuristikkene er omtalt i alle innføringsbøker i psykologi, skisserer jeg bare kort hva to av<br />

<strong>de</strong>m innebærer: tilgjengelighet (”availability”) og representativitet (”representativeness”).<br />

Med tilgjengelighetsheuristikk menes ten<strong>de</strong>nsen til at vur<strong>de</strong>ringer av hvor hyppig noe<br />

(X) forekommer (i forhold til noe annet) påvirkes av hvor lett tilgjengelig X er, dvs. hvor<br />

lett X er å legge merke til, huske eller forestille seg. Ett hverdagslig eksempel: Det er en<br />

utbredt myte at par som tror <strong>de</strong> ikke kan få barn, lettere får egne barn etter å ha adoptert. En<br />

vanlig forklaring er at <strong>de</strong>tte skyl<strong>de</strong>s at paret etter adopsjon stresser mindre. Klinisk forsk-


11<br />

ning har imidlertid vist at fruktbarheten slett ikke forandrer seg. <strong>Hvorfor</strong> er <strong>de</strong>t likevel <strong>så</strong><br />

mange som tror <strong>de</strong>t? Bruk av tilgjengelighetsheuristikk kan forklare <strong>de</strong>tte: Vi legger veldig<br />

godt merke til at "ufruktbare" par får egne barn etter at <strong>de</strong> har adoptert. Informasjonen som<br />

viser at par som ikke adopterer får barn like hyppig etter å ha forsøkt like lenge, er <strong>de</strong>rimot<br />

sjel<strong>de</strong>n tilgjengelig for oss (se f.eks. Gilovich, 1991).<br />

Tilgjengelighetsheuristikk fungerer bra <strong>så</strong> lenge tilgjengelighet og hyppighet samvar-<br />

ierer. Trolig fungerte slik heuristikk bedre i en før-mo<strong>de</strong>rne ver<strong>de</strong>n. Da var stort sett <strong>de</strong>t<br />

som var viktig for å hol<strong>de</strong> seg i live, lett bå<strong>de</strong> å legge merke til og huske. I vår mo<strong>de</strong>rne<br />

ver<strong>de</strong>n <strong>de</strong>rimot, er statistisk informasjon ofte langt mer pålitelig enn slåen<strong>de</strong>, lett<br />

tilgjengelige egne erfaringer. Tilgjenglighetsheuristikk gjør at vi - kliniske eksperter<br />

inklu<strong>de</strong>rt – likevel har en ten<strong>de</strong>ns til å legge overdreven vekt på <strong>de</strong>t siste. I ste<strong>de</strong>t for å<br />

resonnere statistisk, er vi tilbøyelige til å tenke ”dramatisk”.<br />

Bruk av representativitetsheuristikk innebærer å anven<strong>de</strong> enkle likhetskriterier på<br />

kategoriseringsproblemer, dvs. å redusere vur<strong>de</strong>ringer til gjenkjenning. I et kjent eksperi-<br />

ment spør Kahneman og Tversky: "En professor liker å skrive poesi, er ganske sky og er<br />

liten av vekst. Hva tror du er hans felt? a) Kinesiske studier; b) Psykologi". De fleste svarer<br />

a). Grunnen er at beskrivelsen er mer representativ for hvordan man forestiller seg en sino-<br />

log enn hvordan man forestiller seg en psykolog. Svært få tar hensyn til at <strong>de</strong>t er mange<br />

flere professorer i psykologi enn i sinologi, dvs. man ser bort fra baseratene.<br />

Representativ tenkning bryter med en grunnleggen<strong>de</strong> formel i sannsynlighetsteori:<br />

P(D|S) = P(S|D) * PD/PS (P, D og S er her forkortelser for <strong>de</strong> engelske or<strong>de</strong>ne for hen-<br />

holdsvis sannsynlighet, sykdomskategori og symptom). Denne formelen, som er en måte å<br />

uttrykke Bayes' formel på, kan betraktes som en i<strong>de</strong>alisert mo<strong>de</strong>ll av diagnostisk beslut-<br />

ningstaking. Relatert til klinisk diagnostikk kan formelen forstås slik: Vi kan tenke oss at vi<br />

står overfor en pasient som har et symptom S. Vi ønsker å bestemme sannsynligheten for at<br />

pasienten da og<strong>så</strong> har sykdommen D. Denne sannsynligheten er <strong>de</strong>t som i formelen<br />

betegnes P(D|S). For å kunne beregne P(D|S), må vi vite hvor ofte symptomet S er til ste<strong>de</strong><br />

hos <strong>de</strong> som har <strong>de</strong>n bestemte sykdommen D, alt<strong>så</strong> sannsynligheten for S gitt D eller P(S|D).<br />

Dette må multipliseres med sannsynligheten for at en tilfeldig person i <strong>de</strong>n pasientgruppen<br />

(populasjonen) <strong>klinikere</strong>n behandler har <strong>de</strong>nne sykdommen D, alt<strong>så</strong> med PD. Vi<strong>de</strong>re må <strong>de</strong>t<br />

<strong>de</strong>les med hvor vanlig <strong>de</strong>t er at symptomet S, isolert sett, forekommer i populasjonen, dvs.<br />

med sannsynligheten for symptomet S: PS. Generelt innebærer representativ tenkning at<br />

man betrakter P(D|S) = P(S|D), alt<strong>så</strong> at man ser bort fra baseratene PD og PS.


12<br />

Vi kan si at representativ tenkning skaper symmetrier i vår forståelse som ikke eksi-<br />

sterer i virkeligheten. Det forklarer hvorfor man ofte ser - og<strong>så</strong> blant <strong>erfarne</strong> <strong>klinikere</strong> - en<br />

sterk ten<strong>de</strong>ns til å si<strong>de</strong>stille for eksempel P(Traumatiske barndomsopplevelser|Psykiske pro-<br />

blemer) med P(Psykiske problemer|Traumatiske barndomsopplevelser). Forskning har klart<br />

vist at <strong>de</strong>t ikke er en slik symmetri i virkeligheten. Det er mange som har store traumatiske<br />

opplevelser i barndommen som ikke får alvorlige psykiske problemer senere.<br />

Dette var en liten smakebit. Poenget er at <strong>de</strong>t i stor grad er klarlagt hvilke ulike typer<br />

heuristikker eller strategier som automatisk påvirker bå<strong>de</strong> leg og lærds vur<strong>de</strong>ringer. Det er<br />

blitt heftig diskutert om slike systematiske feilvur<strong>de</strong>ringer som er påvist i "heuristics and<br />

biases"-tradisjonen, viser at mennesket er fundamentalt irrasjonelt (Gigerenzer, 1996, og<br />

Kahneman & Tversky, 1996, er <strong>de</strong> foreløpig siste innlegg i <strong>de</strong>batten). Den diskusjonen er<br />

ikke spesielt interessant her. Det vesentlige må være å begrense og forebygge slike feilvurd-<br />

eringer, som kan ha store uheldige konsekvenser for eksempel i klinisk praksis.<br />

Kliniske vur<strong>de</strong>ringer er komplekse<br />

Representativ tenkning bidrar til at <strong>klinikere</strong> er svært <strong>dårlig</strong>e til å foreta selv enkle vur<strong>de</strong>r-<br />

inger av datas prediktive verdi (eller validitet). I en mye referert studie, ber Eddy (1982)<br />

<strong>erfarne</strong> medisinere anslå sannsynligheten for at en kvinne på førti år som avlegger positiv<br />

mammografitest (i en kartleggingsun<strong>de</strong>rsøkelse) har brystkreft, når man vet at:<br />

- sannsynligheten for brystkreft er 1% i <strong>de</strong>n al<strong>de</strong>rsgruppen (baseraten)<br />

- om en kvinne har brystkreft, <strong>så</strong> er sannsynligheten for positiv mammografi 80%.<br />

- om kvinnen ikke har brystkreft, <strong>så</strong> er sannsynligheten for positiv mammografi<br />

10%<br />

Bayes' formel gir at <strong>de</strong>t er 7.5% sjanse for brystkreft ved positiv mammografi. Medisinerne<br />

i Eddys studie anslår sannsynligheten til 70 - 80%! De forveksler hvor typisk eller repre-<br />

sentativt <strong>de</strong>t er at en kvinne som har brystkreft og<strong>så</strong> har positiv mammografi (testens sensi-<br />

tivitet) med <strong>de</strong>n prediktive (diskrimineren<strong>de</strong>) verdi en positiv mammografitest har.<br />

Eddys studie viser hvor vanskelig <strong>de</strong>t er for <strong>klinikere</strong> å vur<strong>de</strong>re hva et enkelt datum<br />

sier om et individ. Klinikere må i praksis vur<strong>de</strong>re hva en meng<strong>de</strong> av data samlet sier. Dette<br />

kan, optimalt sett, bare gjøres på grunnlag av svært kompliserte beregninger. Alle vil rea-<br />

gere <strong>de</strong>rsom kassamannen på RIMI tar handlekurven på øyemål. Han gjør ikke <strong>de</strong>t. Han<br />

summerer. Klinikere <strong>de</strong>rimot, foretar langt mer komplekse vur<strong>de</strong>ringer (beregninger) - som<br />

kan gjel<strong>de</strong> liv og død - på skjønn. Dette gjel<strong>de</strong>r <strong>så</strong> godt som alle vur<strong>de</strong>ringer, alltid.


13<br />

Paul Meehl (1957) stilte spørsmålet: "When shall we use our heads instead of the for-<br />

mula?", og konklu<strong>de</strong>rte med at <strong>de</strong>rsom vi har tilgang til en formel, <strong>så</strong> bør vi bruke ho<strong>de</strong>t<br />

veldig, veldig sjel<strong>de</strong>n. Konklusjonen ble innlemmet i APAs (<strong>de</strong>n amerikanske psykologfor-<br />

enings) etiske retningslinjer allere<strong>de</strong> i 1962:<br />

”Principle 1.5: Except in unusual circumstances, diagnosis and prediction should<br />

not stray from actuarial conclusions when such analysis is available and applicable<br />

to the judgment(s) of interest. It is inappropriate to substitute less valid<br />

means of appraisal or data interpretation for more valid means.<br />

Comment: Principle 1.5 does not eliminate the need for clinical judgment, knowledge,<br />

or skill. However, when viable actuarial methods exist, the attempt to<br />

selectively countervail actuarial conclusions, except in very unusual<br />

circumstances, represent an abuse of reason” (Sitatet er hentet fra Faust, 1991, s.<br />

203).<br />

Det er sterke ord. Men lite har skjedd i kliniske miljøer. Selv om evi<strong>de</strong>nsen i favør av<br />

formler framfor klinisk skjønn bare har styrket seg. Meehl <strong>så</strong> <strong>de</strong>t slik i 1986: ”When you are<br />

pushing 90 investigations, predicting everything from the outcome of football games to the<br />

diagnosis of liver disease and when you can hardly come up with half dozen studies<br />

showing even a weak ten<strong>de</strong>ncy in favor of the clinician, it is time to draw a practical<br />

conclusion” (s. 374).<br />

I dag har <strong>de</strong> nitti studiene vokst til nærmere <strong>de</strong>t dobbelte (Grove & Meehl, 1996). Det<br />

er <strong>de</strong>ssuten viktig å merke seg at i <strong>de</strong> fleste av disse studiene er formelen <strong>de</strong>t er snakk om<br />

helt trivielle mekaniske rutiner som Goldbergs regel og Dawes' lineære ligninger.<br />

<strong>Hvorfor</strong> kan enkle formler erstatte "sofistikert" skjønn?<br />

Eksperter baserer ofte sine vur<strong>de</strong>ringer på kompleks holistisk kunnskap som <strong>de</strong> gjerne<br />

uttrykker i form av konfigurale regler, dvs. regler som forteller hvordan betydningen av en<br />

variabel avhenger av andre variabler. Men slik sofistikert kunnskap bidrar sjel<strong>de</strong>n til å heve<br />

kvaliteten på eksperters vur<strong>de</strong>ringer, snarere tvert imot (f.eks. Camerer, 1981).<br />

<strong>Hvorfor</strong> gir bruk av konfigurale regler (ofte) <strong>dårlig</strong>e vur<strong>de</strong>ringer? Svaret er knyttet til<br />

hvordan slike regler læres. Eksperter, som folk flest, trives med å forstå. Konfigurale regler<br />

er gjerne et produkt av at man i etterkant forsøker å gjøre enkelthen<strong>de</strong>lser forståelige. Reg-<br />

lene blir <strong>de</strong>rmed lett overgeneraliseringer. Slike regler avle<strong>de</strong>s og<strong>så</strong> ofte fra generelle, og i<br />

mange situasjoner uholdbare, teorier. Konfigurale regler er <strong>de</strong>ssuten lite robuste, fenomener<br />

faller lett utenfor (f.eks. Camerer & Johnson, 1991).


14<br />

<strong>Hvorfor</strong> anven<strong>de</strong>r likevel eksperter slik ”<strong>dårlig</strong>” holistisk kunnskap? Vi har alle en<br />

sterk ten<strong>de</strong>ns til å se etter bekreften<strong>de</strong> informasjon (f.eks. Smedslund, 1963; Chapman &<br />

Chapman, 1969). Muligens <strong>de</strong>rfor har og<strong>så</strong> konfigurale regler en ten<strong>de</strong>ns til å utbro<strong>de</strong>res i<br />

ste<strong>de</strong>t for å forkastes, når <strong>de</strong> ikke passer med virkeligheten. Slike komplekse regler gir <strong>de</strong>ss-<br />

uten grunnlag for å generere mange prediksjoner og forklaringer, og eksperter har en ten-<br />

<strong>de</strong>ns til å forveksle høy "fruktbarhet" med stor nøyaktighet. Konfigurale regler er faktisk<br />

og<strong>så</strong> lette bå<strong>de</strong> å lære og bruke. Man slipper å vur<strong>de</strong>re og rangere data etter prediktiv verdi,<br />

og man unngår en kreven<strong>de</strong> vekting og kombinering av usikker informasjon. Reglene kan<br />

anven<strong>de</strong>s omtrentlig, og <strong>de</strong>t passer jo <strong>de</strong> fleste av oss.<br />

Camerer og Johnson (1991) setter erfaringene fra ekspertsystemfeltet opp mot<br />

erfaringene med enkle (regresjons)mo<strong>de</strong>ller, og konklu<strong>de</strong>rer slik: "The main lesson from the<br />

regression-mo<strong>de</strong>l literature is that large numbers of configural rules, which knowledge<br />

engineers take as evi<strong>de</strong>nce of expertise, do not necessarily make good predictions; simple<br />

linear combinations of variables (measured by experts) are better in many tasks" (s. 213).<br />

Denne forskningen ty<strong>de</strong>r alt<strong>så</strong> på at problemet med ekspertsystemer ikke er at <strong>de</strong> fungerer<br />

<strong>så</strong> forskjellig fra eksperter, men at <strong>de</strong> opererer for likt.<br />

Når kan enkle mekaniske rutiner erstatte "sofistikert" skjønn?<br />

Jeg vil nøye meg med å sammenfatte noen funn som indikerer bå<strong>de</strong> hvilke typer kliniske<br />

vur<strong>de</strong>ringer man bør tenke på å automatisere og hva man må vite for å utforme en enkel<br />

mekanisk rutine som vil "vur<strong>de</strong>re" bedre enn <strong>klinikere</strong>:<br />

- Mennesker har en unik evne til å se hva som er relevant informasjon i en situasjon,<br />

men vi har en meget begrenset evne til å integrere <strong>de</strong>n informasjonen som<br />

ligger i flere (unike) observasjoner (f.eks. Sawyer, 1966; Einhorn, 1972).<br />

- Informasjon ut over <strong>de</strong> 2-3 dataene med høyest prediktiv verdi resulterer i <strong>dårlig</strong>ere<br />

vur<strong>de</strong>ringer når informasjonen kombineres klinisk (skjønnsmessig), men<br />

øker samtidig eksperters egen tro på vur<strong>de</strong>ringenes kvalitet (f.eks. Oskamp,<br />

1965).<br />

- Når eksperter hev<strong>de</strong>r å ha brukt konfigural analyse for å nå bestemte vur<strong>de</strong>ringer,<br />

<strong>så</strong> har man stort sett alltid kunnet konstruere lineære mo<strong>de</strong>ller som a<strong>de</strong>kvat dupliserer<br />

ekspertenes vur<strong>de</strong>ringer (f.eks. Camerer, 1981).<br />

Dersom man a priori kan spesifisere hvilken type informasjon eller input som er mest rele-<br />

vant for å foreta en avgrenset vur<strong>de</strong>ring, <strong>så</strong> gir punktene ovenfor god grunn til å tro at man<br />

kan finne fram til en enkel formel som foretar en bedre integrering av input-informasjonen<br />

enn <strong>de</strong>t beslutningstakere er i stand til.


15<br />

Dawes og Corrigan (1974) sammenfatter essensen i hva som må til for å erstatte "sof-<br />

istikert" skjønn med enkle mekaniske rutiner: "the whole trick is to <strong>de</strong>ci<strong>de</strong> what variables to<br />

look at and then to know how to add" (s. 105). Som <strong>de</strong>t ligger implisitt i <strong>de</strong>tte sitatet, <strong>så</strong><br />

kommer vi ikke utenom klinisk skjønn. Skjønn er nødvendig for å avgrense vur<strong>de</strong>ringer<br />

som egner seg for automatisering, og skjønn er og<strong>så</strong> nødvendig "to <strong>de</strong>ci<strong>de</strong> what variables to<br />

look at", dvs. for å i<strong>de</strong>ntifisere hvilken informasjon som er mest relevant for å foreta disse<br />

vur<strong>de</strong>ringene. Kort sagt, <strong>de</strong>t å bestemme hva som er relevant informasjon for å foreta en<br />

vur<strong>de</strong>ring må nesten alltid baseres på klinisk skjønn, mens selve vur<strong>de</strong>ringen (dvs.<br />

integreringen) av <strong>de</strong>nne informasjonen bør overlates til mekaniske rutiner.<br />

Har ingen eksperter reell kompetanse?<br />

Eksperter gjør annet enn å vur<strong>de</strong>re og predikere. De opererer (kirurger), løser problemer<br />

(fysikere), konstruerer (programmerere, ingeniører), komponerer (musikere) osv. I mange<br />

slike ferdigheter utvikles reell domenespesifikk ekspertise gjennom praksis (f.eks. Ericsson<br />

& Lehmann, 1996). Eksperters kognitive prosessering er <strong>de</strong>ssuten overlegen nybegynnere<br />

på <strong>de</strong>t meste fra hukommelse til problemløsning og resonnering. Eksperter (i for eksempel<br />

fysikk og programming) bruker mer effektive resonneringsstrategier enn u<strong>erfarne</strong>, på noen<br />

områ<strong>de</strong>r (som sjakk) oppøver <strong>de</strong> et ”blikk” som gjør at <strong>de</strong> ”intuitivt ser” hva som bør gjøres<br />

osv. (f.eks. Chi, Glaser & Farr, 1988).<br />

Men selv om eksperters kognitive prosessering skiller seg markert fra novisers, <strong>så</strong> gjør<br />

alt<strong>så</strong> ikke kvaliteten på <strong>de</strong>res vur<strong>de</strong>ringer og prediksjoner <strong>de</strong>t. På noen felt erverver imidler-<br />

tid eksperter seg reell kompetanse og<strong>så</strong> i å predikere og vur<strong>de</strong>re. Slike felt er karakterisert<br />

ved at stimuli (<strong>de</strong>t man <strong>vur<strong>de</strong>rer</strong>) er statisk, at <strong>de</strong>t er konsensus om hva som utgjør stimuli,<br />

at samme type stimuli (problem) gjentar seg, at man tar beslutninger om ting (ikke atferd),<br />

at problemer kan <strong>de</strong>les opp, at man får tilbakemelding, at objektive analyser er tilgjengelige,<br />

at man bruker beslutningshjelpemidler og – ikke minst - at <strong>de</strong>t forventes at man og<strong>så</strong> iblant<br />

tar feil. Jo flere av disse faktorene som er tilste<strong>de</strong> på et felt, <strong>de</strong>sto større er muligheten for å<br />

lære av tidligere vur<strong>de</strong>ringer og beslutninger (f.eks. Shanteau, 1992). Sjakk, astronomi, for-<br />

sikringsanalyse og enkelte <strong>de</strong>ler av medisin er eksempler på felt <strong>de</strong>r disse faktorene i stor<br />

grad er tilste<strong>de</strong>. På områ<strong>de</strong>r som klinisk psykologi, psykiatri, astrologi, personellutvelgelse<br />

og prediksjon av aksjeverdier er <strong>de</strong> <strong>de</strong>t ikke.<br />

Og<strong>så</strong> i meteorologi er flere av faktorene nevnt over tilste<strong>de</strong>. Meteorologers predik-<br />

sjoner er da og<strong>så</strong> svært go<strong>de</strong>, ikke minst sammenlignet med kvaliteten på vur<strong>de</strong>ringene til


16<br />

kliniske psykologer. Likevel tror fortsatt mange at meteorologer spår i hytt og vær, mens<br />

psykologer ”ser” gjennom folk. Grunnen til <strong>de</strong>t er åpenbar: Vi har nesten aldri tilgang til<br />

informasjon som forteller når psykologers vur<strong>de</strong>ringer av enkeltindivi<strong>de</strong>r er <strong>dårlig</strong>e, mens vi<br />

blir våte når meteorologene tar feil. Dessuten un<strong>de</strong>rstreker meteorologer selv at <strong>de</strong> spår<br />

været, mens mange psykologer er helt overbeviste om at <strong>de</strong> forstår enkeltmennesker.<br />

<strong>Hvorfor</strong> tar vi ikke konsekvensene?<br />

Det er antagelig mange grunner til at <strong>klinikere</strong> flest kanskje ikke engang har tenkt tanken at<br />

noen av <strong>de</strong> vur<strong>de</strong>ringene <strong>de</strong> rutinemessig foretar med for<strong>de</strong>l kan mekaniseres. En hoved-<br />

grunn er nok at troen på <strong>de</strong>t go<strong>de</strong> kliniske skjønn som erverves gjennom praksis, fortsatt er<br />

en utbredt myte blant psykologer (se f.eks. flere artikler i Reichelt, 1994).<br />

Én annen viktig grunn til at få kliniske vur<strong>de</strong>ringer er forsøkt automatisert er antagelig<br />

at mekaniske rutiner langt fra er feilfrie, selv om <strong>de</strong> alt<strong>så</strong> gir bedre resultater enn klinisk<br />

skjønn. Det virker som om <strong>de</strong> fleste av oss har større problemer med å akseptere at vi skal<br />

"vur<strong>de</strong>res" av formler og maskiner som til og med ofte "tar" feil, selv om vi alt<strong>så</strong> nå vet at<br />

mekanisk integrering av informasjon totalt sett gir færre feil enn om vi overlater <strong>de</strong> samme<br />

vur<strong>de</strong>ringene til menneskelige beslutningstakere.<br />

For <strong>de</strong>n enkelte kliniker er <strong>de</strong>t nok heller ikke særlig tiltalen<strong>de</strong>, etter en lang utdanning<br />

og kanskje mange års spesialisering, å akseptere at helt enkle addisjonsregler "<strong>vur<strong>de</strong>rer</strong>"<br />

data bedre enn hva en selv gjør. Trusselen mot eget selvbil<strong>de</strong>, og kanskje økonomiske pro-<br />

fesjonsinteresser, bidrar muligens og<strong>så</strong> til å sperre for en økt formalisering, automatisering<br />

og forbedring av kliniske vur<strong>de</strong>ringer.<br />

Mange ser trolig og<strong>så</strong> etiske problemer knyttet til å erstatte "godt" menneskelig skjønn<br />

med "kal<strong>de</strong>" mekaniske rutiner. Dawes (1988) har følgen<strong>de</strong> kontante svar på <strong>de</strong>n innvend-<br />

ingen:<br />

”Friends tell me that important human judgment is often ineffable, unsystematic,<br />

and intuitive. I agree. And it is, therefore, often bad. Friends tell me that <strong>de</strong>cisions<br />

that are effable, systematic, and explicit are <strong>de</strong>humanized <strong>de</strong>cisions. I agree. But<br />

they are "<strong>de</strong>humanized" only for the <strong>de</strong>cision maker, and I am concerned with the<br />

consequences for the people affected by the <strong>de</strong>cisions. Bad <strong>de</strong>cisions are <strong>de</strong>humanizing<br />

for them” (s. 150).<br />

Nå skal <strong>de</strong>t og<strong>så</strong> un<strong>de</strong>rstrekes at <strong>de</strong>t langt fra er enkelt å utforme og integrere effektive mek-<br />

aniske rutiner i klinisk praksis. Det er og<strong>så</strong> en vesentlig grunn til at vi i <strong>så</strong> liten grad støtter<br />

oss til mekaniske rutiner.


I <strong>de</strong>t minste: synliggjør usikkerheten!<br />

17<br />

Selv om man ikke har tro på at særlig mange vur<strong>de</strong>ringer i egen klinisk praksis kan mekani-<br />

seres, <strong>så</strong> bør resultatene fra beslutningsforskningen motivere <strong>klinikere</strong> til å klargjøre hvor<br />

ens kunnskap slutter og <strong>de</strong>t tvilsomme skjønnet begynner.<br />

Den enkleste type klinisk vur<strong>de</strong>ring innebærer å vur<strong>de</strong>re hvor sterkt ett bestemt funn<br />

(X) indikerer at en person hører hjemme i en bestemt kategori (Y). X kan for eksempel være<br />

positiv mammografi eller bestemte lekeobservasjoner og Y brystkreft eller om et barn er<br />

misbrukt. Å avgjøre hvor sterkt X indikerer Y, svarer til å bestemme X sin prediktive verdi i<br />

forhold til Y. Man må da kjenne hyppigheten (f.eks. pr. 1000) av bå<strong>de</strong> sanne positive (SP)<br />

og falske positive (FP), dvs. bå<strong>de</strong> hvor hyppig X er tilste<strong>de</strong> samtidig med Y og hvor ofte X<br />

er tilste<strong>de</strong> uten at Y er tilste<strong>de</strong>. Dersom <strong>klinikere</strong> ”presser seg” til å anslå sanne og falske<br />

positive, og <strong>så</strong> beregner Xs prediktive verdi ut fra <strong>de</strong>t (SP/[SP + FP] gir svaret), <strong>så</strong> blir man<br />

og<strong>så</strong> klar over <strong>de</strong>n meget store usikkerheten som ofte knytter seg til å slutte Y fra X (positiv<br />

mammografi, med tallene i Eddys studie ovenfor, indikerer for eksempel brystkreft med<br />

bare 8/[8 + 99] = 7.5% sikkerhet.) Kjenner man ikke hyppigheten av bå<strong>de</strong> sanne og falske<br />

positive, som man sjel<strong>de</strong>n gjør i klinisk psykologi, <strong>så</strong> har man heller ikke noe grunnlag for å<br />

uttale seg om hvor sterkt X indikerer Y. Likevel kan man regelmessig lese i media at klin-<br />

iske sakkyndige gjør nettopp <strong>de</strong>t. I for eksempel Bjugn-saken trakk <strong>de</strong> sakkyndige avgjør-<br />

en<strong>de</strong> konklusjoner om at barn var misbrukt på grunnlag av bestemte funn, uten å ha tilgang<br />

til data om hvor ofte man finner tilsvaren<strong>de</strong> funn på barn som ikke er misbrukt.<br />

Generelt kan man eksplisere grunnlaget for egen klinisk praksis ved å skille ut <strong>de</strong>lvur-<br />

<strong>de</strong>ringer man regelmessig foretar, bestemme <strong>de</strong> mest relevante data for hver av <strong>de</strong>m, anslå<br />

disse datas prediktive verdi, spesifisere grunnlaget for anslagene osv. I tillegg til å være en<br />

forutsetning for eventuell senere mekanisering av vur<strong>de</strong>ringene, vil en slik enkel kunn-<br />

skapsklargjøring ha mange positive si<strong>de</strong>effekter. Den vil, som nevnt, ganske sikkert øke<br />

bevisstheten om <strong>de</strong>n meget store usikkerheten som (trolig) alltid vil være knyttet til psyko-<br />

logiske vur<strong>de</strong>ringer av enkeltindivi<strong>de</strong>r. En slik klargjøring vil og<strong>så</strong> bedre muligheten for<br />

erfaringslæring, og <strong>de</strong>ssuten kunne ha en heuristisk funksjon for forskning som bå<strong>de</strong> kan<br />

redusere og synliggjøre (tallfeste) usikkerheten knyttet til egne vur<strong>de</strong>ringer.


Avslutning<br />

18<br />

Tradisjonelt er klinisk ekspertise blitt betraktet som intern, personavhengig og implisitt,<br />

alt<strong>så</strong> som eksklusivt tilhøren<strong>de</strong> eksperten. Det er blitt godtatt at <strong>klinikere</strong> avgir ekspertvur-<br />

<strong>de</strong>ringer om enkeltindivi<strong>de</strong>r uten å spesifisere grunnlaget for <strong>de</strong>m. Dette tror jeg er i ferd<br />

med å endres. Ikke bare på grunn av sterk intern faglig kritikk (f.eks. Dawes, 1994; Ceci &<br />

Bruck, 1995; Meehl, 1997), men og<strong>så</strong> fordi forskningsbasert klinisk kunnskap nå er i ferd<br />

med å bli lett tilgjengelig for alle via medier som internett. Jevnlige oppslag i media indi-<br />

kerer og<strong>så</strong> at offentligheten begynner å bli utålmodig med for eksempel (ofte motstri<strong>de</strong>n<strong>de</strong>)<br />

kliniske sakkyndige som ikke har annen begrunnelse for sine vur<strong>de</strong>ringer enn henvisninger<br />

til sin utdanning, lange erfaring og aka<strong>de</strong>miske tittel. Jeg er ganske sikker på at klinisk pro-<br />

fesjonsutøvelse i tida framover må basere seg i øken<strong>de</strong> grad på ekstern, standardisert, eks-<br />

plisitt, og <strong>de</strong>rmed og<strong>så</strong> inklu<strong>de</strong>ren<strong>de</strong>, kunnskap. Om ikke initiativet til en slik omlegging tas<br />

fra <strong>de</strong> kliniske profesjonene selv, vil andre minne oss på <strong>de</strong>t.<br />

En vanlig måte en <strong>de</strong>l <strong>klinikere</strong> avviser forskning som krever endringer i status quo på,<br />

er å stemple <strong>de</strong>n som ”positivisme.” I en tidligere artikkel i Tidsskriftet <strong>de</strong>r jeg drøfter imp-<br />

likasjoner av <strong>de</strong>ls samme type forskning som her (Kirkebøen, 1995), fikk jeg et svar som<br />

sluttet slik: "Som konklusjon vil jeg påpeke at å postulere aka<strong>de</strong>misk psykologi som grunn-<br />

laget for klinisk psykologi er å blåse til ny ’positivisme<strong>de</strong>batt’" (Elgarøy, 1995, s. 1041).<br />

Dette er å sage over <strong>de</strong>n greina man som klinisk psykolog sitter på. Forankring i aka<strong>de</strong>misk<br />

forskning er jo nettopp <strong>de</strong>t som gir profesjonen legitimitet. Kravet til slik forankring er<br />

eneste grunn til at vi går sju år på et universitet før vi får praktisere som psykologer. Likevel<br />

er slik ”positivisme-avvisning” av viktig forskning <strong>så</strong> utbredt at Paul Meehl, som for øvrig<br />

bå<strong>de</strong> er "positivistisk" forsker og praktiseren<strong>de</strong> psykoanalytiker, tar <strong>de</strong>n opp i sin takketale i<br />

forbin<strong>de</strong>lse med at han (og Eysenck) fikk APAs (Society of Clinical Psychology) "hundre-<br />

årspris" for fremragen<strong>de</strong> (”positivistiske”) bidrag til faget:<br />

”Some clinicians with obscurantist motives, who do not wish to take intellectual<br />

responsibility for cre<strong>de</strong>ntialing their alleged knowledge, take illegitimate<br />

comforts from the <strong>de</strong>ath of logical positivism as a philosophical movement (...)<br />

The distinction between knowledge that brings cre<strong>de</strong>ntials with it and purported<br />

knowledge that does not has nothing whatsoever to do with logical positivism as a<br />

discredited philosophical movement (...) Clinicians who si<strong>de</strong>-steps the issue of<br />

knowledge cre<strong>de</strong>ntials by positivist-bashing are <strong>de</strong>ceiving themselves with a<br />

philosophical red herring” (Meehl, 1997, s. 96).<br />

Uansett, <strong>de</strong>t bør være åpenbart at <strong>de</strong>t har ingenting med positivisme å gjøre at man forsøker<br />

å spesifisere og eksplisere basis for egen profesjonsutøvelse. Det har heller ingen ting med


19<br />

positivisme å gjøre at man forsøker å finne måter å håndtere informasjon på som gir<br />

systematisk bedre resultater enn eget skjønn. Det dreier seg <strong>de</strong>rimot om skjebnen til <strong>de</strong>m<br />

man er satt til å vur<strong>de</strong>re og behandle, om etikk og profesjonell re<strong>de</strong>lighet.<br />

Referanser<br />

Brehmer, B. (1980). In one word: Not from experience. Acta psychologica, 45, 223-241.<br />

Camerer, C. F. (1981). General conditions for the success of bootstrapping mo<strong>de</strong>ls. Organizational<br />

behavior and human performance, 27, 411-422.<br />

Camerer, C. F., & Johnson, E. J. (1991). The process-performance paradox in expert<br />

judgment. I K. A. Ericsson, & J. Smith (Eds.), Toward a general theory of expertise (ss.<br />

195-217). Cambridge: Cambridge University Press.<br />

Ceci, J. J., & Bruck, M. (1995). Jeopardy in the courtroom. Washington, CD: APA.<br />

Chapman, L. J., & Chapman, J. P. (1969). Illusory correlation as an obstacle to the use of<br />

valid psychodiagnostic signs. Journal of abnormal psychology, 74, 271-280.<br />

Chi, M. T, Glaser, R., & Farr, M. J. (Eds.). (1988). The nature of expertise. Hillsdale, NJ:<br />

Erlbaum.<br />

Dawes, R. M. (1971). A case study of graduate admissions. American Psychologist, 26,<br />

180-88.<br />

Dawes, R. M. (1988). You can't systematize human judgment: Dyslexia. I J. Dowie & A.<br />

Elstein (Eds.), Professional judgment (ss. 150-162). Cambridge: Cambridge University<br />

Press.<br />

Dawes, R. M. (1994). House of cards. Psychology and psychotherapy built on myths. New<br />

York: Free Press.<br />

Dawes, R. M., & Corrigan B. S. (1974). Linear mo<strong>de</strong>ls in <strong>de</strong>cision making. Psychological<br />

Bulletin, 81, 95-106.<br />

Dawes, R. M., Faust, D., & Meehl, P. E. (1989). Clinical versus actuarial judgment.<br />

Science, 243, 1668-1673.<br />

Dreyfus, H. L. (1972). What computers can't do. New York: Harper & Row .<br />

Dreyfus, H. L. (1985). Competent systems: the limits of calculative rationality. Foredragsmanuskript,<br />

20.5, <strong>Universitetet</strong> i Oslo.<br />

Dreyfus, H. L., & Dreyfus, E. (1986). Mind over machine. The power of human intuition<br />

and expertise in the era of the computer. New York: The Free Press.<br />

Eddy, D. M. (1982). Probabilistic reasoning in clinical medicine: problems and opportunities.<br />

I D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment un<strong>de</strong>r uncertainty:<br />

Heuristics and biases (ss. 249-67) Cambridge, U.K.: Cambridge University Press.<br />

Einhorn, H. J. (1972). Expert measurement and mechanical combination. Organizational<br />

behavior and human performance, 7, 86-106.<br />

Elgarøy, S. (1995). Med ho<strong>de</strong>t i behold. Tidsskrift for Norsk Psykologforening, 32, 1040-<br />

1041.<br />

Ericsson, K. A., & Lehmann, A. C. (1996). Expert and exceptional performance: evi<strong>de</strong>nce<br />

of maximal adaptation to task constraints. Annual review of psychology, 47, 273-305.


20<br />

Faust, D. (1991). What if we had really listened? Present reflections on altered pasts. I D.<br />

Cicchetti & W. M. Grove (Eds.), Thinking clearly about psychology. Vol 1: Matters of<br />

Public Interest (ss. 185–216). Minneapolis: University of Minnesota Press.<br />

Faust, D., Guilmette, T. J. Hart, K., Arkes, H. R., Fishburne, F. J., & Davey, L. (1988).<br />

Neuropsychologists' training, experience, and judgment accuracy. Archives of clinical<br />

neuropsychology, 3, 145-163.<br />

Garb, H. N. (1989). Clinical judgment, clinical training, and professional experience. Psychological<br />

Bulletin, 105, 387-92.<br />

Gigerenzer, G. (1996). On narrow norms and vague heuristics: a reply to Kahneman and<br />

Tversky (1996). Psychological Review, 103, 592-596.<br />

Gilovich, T. (1991). How we know what isn't so. The fallibility of human reason in<br />

everyday life. New York: Free press.<br />

Goldberg, L. R. (1965). Diagnosticians versus diagnostic signs: The diagnosis of psychosis<br />

versus neurosis from the MMPI. Psychological Monographs 79, 9, hele nr. 602, 1-28.<br />

Grove, W. M., & Meehl, P. E. (1996). Comparative efficiciency of informal (subjective,<br />

impresionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical-statistical<br />

controversy. Psychology, Public Policy, and Law, 3, 1-31.<br />

Holt, R. R. (1958). Clinical and statistical prediction: A reformulation and some new data.<br />

Journal of Abnormal and Social Psychology, 56, 1-12.<br />

Hughes, H. D. (1917). An interesting corn seed experiment. The Iowa Agriculturalist, 17,<br />

424-425.<br />

Kahneman, D., & Tversky, A. (1996). On the reality of cognitive illusions: a reply to<br />

Gigerenzer's critique. Psychological Review, 103, 582-591.<br />

Kirkebøen, G. (1993). Psykologi, informasjonsteknologi og ekspertise. Doktoravhandling,<br />

Institutt for lingvistikk og filosofi, <strong>Universitetet</strong> i Oslo.<br />

Kirkebøen, G. (1995). En bombe un<strong>de</strong>r soveputen? Tidsskrift for Norsk Psykologforening,<br />

32, 426-434.<br />

McArthur, C. C. (1956). The dynamic mo<strong>de</strong>l. Journal of Counseling Psychology, 3, 168-<br />

71.<br />

Meehl, P. E. (1954). Clinical versus statistical prediction: A theoretical analysis and a review<br />

of the evi<strong>de</strong>nce. Minneapolis: University of Minnesota Press.<br />

Meehl, P. E. (1957). When shall we use our heads instead of the formula? Journal of Counseling<br />

Psychology, 4, 268-273.<br />

Meehl, P. E. (1986). Causes and effects of my disturbing little book. Journal of Personality<br />

assessment, 50, 370-375.<br />

Meehl, P. E. (1997). Cre<strong>de</strong>ntialed persons, cre<strong>de</strong>ntialed knowledge. Clinical psychology:<br />

science and practice, 4, 91-98.<br />

Miller, G. A. (1956). The magical number seven plus or minus two: some limits in our capacity<br />

for processing information. Psycological Review, 63, 81- 97.<br />

Newell, A., Shaw, J. C., & Simon, H. A. (1958). Elements of a theory of human problem<br />

solving. Psychological review, 65, 151-166.<br />

Newell, A., & Simon, H. A. (1981). Computer science as empirical inquiry. I J. Haugeland<br />

(Ed.), Mind <strong>de</strong>sign (ss. 35-66). Montgomery, Vermont: Bradford/MIT.


21<br />

Oskamp S. (1965). Overconfi<strong>de</strong>nce in case study judgment. Journal of consulting psychology,<br />

63, 81-97.<br />

Polanyi, M. (1958). Personal knowledge. London: Routeledge & Kegan.<br />

Reichelt, S. (Red.). (1994). Psykologi i forandring. Oslo: Norsk Psykologforening.<br />

Sarbin, T. R. (1986). Prediction and clinical inference: Forty years later. Journal of personality<br />

assessment, 50, 362-369.<br />

Sawyer, J. (1966). Measurement and prediction, clinical and statistical. Psychological Bulletin,<br />

66, 178-200.<br />

Shannon, C. (1948). A mathematical theory of communication. Bell System technichal<br />

journal, 27, 379-423.<br />

Shanteau, J. (1992). Competence in experts: The role of task characteristics.<br />

Organizational behavior and human <strong>de</strong>cision processes, 53, 252-266.<br />

Simon, H. A. (1955). A behavioral mo<strong>de</strong>l of rational choice. Quarterly journal of economics,<br />

69, 99-118.<br />

Simon, H. A. (1978). Rationality as process and product of thought. American economic<br />

review, 68, 1-16.<br />

Simon, H. A., & Chase, W. G. (1973). Skill in chess. American scientists, 63, 394-403.<br />

Simon, H. A., & Newell, A. (1958). Heuristic problem solving. Operation research, 6, 1–<br />

10.<br />

Smedslund, J. (1963). The concept of correlation in adults. Scandinavian journal of psychology,<br />

4, 165-173.<br />

Turing, A. (1947/1969). Intelligent Machinery. I B. Meltzer, & D. Michie (Eds.), Machine<br />

Intelligence, 5 (ss. 3–23). Edinburgh: Edinburgh University Press.<br />

Turing, A. (1950). Computing machinery and intelligence. Mind, 59, 433-460.<br />

Tversky, A., & Kahneman, D. (1974). Judgement un<strong>de</strong>r uncertainty: heuristics and biases.<br />

Science, 185, 1124-31.<br />

Wiggins, J. S. (1973). Personality and prediction: Principles of personality assessment.<br />

Reading, MA: Addison-Wesley.

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!