Prosjektledelse, Nr. 2 - 2005 - Norsk senter for prosjektledelse - NTNU

Tema: Estimering
beidsmengde brukt av programmerere
var innenfor deres 98% sikkerhets prediksjonsintervall
(minimum-maksimumsintervall)
i kun ca. 60% av tilfellene. Selv
etter å ha gjort programmererne oppmerksomme
på dette og forsøkt å trene
dem i å være mer realistiske var virkelig
arbeidsmengde kun innenfor i ca. 70% av
tilfellene. 98% sikker tilsvarte med andre
ord bare 60-70% sikkert.
• Jørgensen, Teigen and Moløkken [5] fant
lignende resultater for norske programmerere
og IT-prosjekter. Prediksjonsintervallene
her var basert på ”90% sikker” og
”så å si helt sikker”. Kun ca. 60% av intervallene
inkluderte virkelig arbeidsmengde.
I et tilsvarende studium i en annen norsk
IT-bedrift [6] inneholdt så få som 40% av
minimum-maksimumsintervallene virkelig
arbeidsmengde.
Disse resultatene innebærer at utsagn
som: ”IT-prosjektet vil med 90% sannsynlighet
koste mellom 1,2 og 1.7 millioner”
som regel ikke kan tillegges særlig vekt. Vi
ser ingen gode grunner til at det skulle være
mye annerledes for prosjekter innenfor andre
bransjer.
En besnærende tanke, indikert i overskriften,
er å ”oversette” 90% sikkerhet til 60%
sikkert eller noe deromkring. Dette kan ha
noe for seg som en grov tilnærming, men
løser ikke hovedproblemet, som er at tradisjonell
bruk av minimum-maksimumsintervaller
synes å stimulere til systematisk
undervurdering av usikkerhet. Dette løses
ikke ved oversettelser av typen ”Når jeg
spør om X, svarer du egentlig på Y.”
Hva skyldes undervurderingen
For å kunne gjøre noe med undervurderingen
av usikkerhet bør vi først forsøke å
forstå årsakene. Vi har funnet at mulige
årsaker er:
• Uklare begreper: Det er lett å forstå at
prosjektledere og andre har problemer
med å gi begrepene ”90% sikker” eller ”så
å si helt sikker” mening uten å ha tilgang
til relevante historiske data om kostnader
ved lignende prosjekter. Vanskelighetene
kan illustreres med resultater beskrevet
i [5]. Denne undersøkelsen viste at programmerere
i gjennomsnitt ga de samme
minimum-maksimumsintervallene
for arbeidsmengde uavhengig av om de
ble instruert i å være 50%, 70%, 90% eller
99% sikker!
• Manglende feedback: I rollen som estimeringsrådgiver
og i en studie av norske
IT-prosjekter [5] har vi observert minimum-maksimumsintervaller
sjelden eller
aldri blir evaluert i ettertid. Vi har gode
indikasjoner på at flere av bedriftene ikke
engang var oppmerksomme på i hvilken
grad de hadde drevet med en systematisk
undervurdering av usikkerheten. Overoptimistiske
estimater av mest sannsynlig
kostnad er lette å evaluere mot virkelige
kostnader. Evaluering av realismen i usikkerhetsanslag,
krever imidlertid systematisk
innsamling og analyse av data fra
mange prosjekter. Få organisasjoner gjør
dette.
• Skjulte agendaer: Prosjektledere og medarbeider
har personlige og prosjektstrategiske
målsetninger. Disse harmonerer
ikke nødvendigvis med realisme i usikkerhetsvurderingene.
Som det meste
annet, så inngår usikkerhetsestimering
i et ”spill”. Studiene våre på IT-prosjekter
har for eksempel vist at ønsket om å bli
evaluert som en dyktig medarbeider lett
kan føre til et spill med urealistisk smale
minimum-maksimumsintervaller som
sluttprodukt. I en studie [5] fant vi at utviklerne
som anga de smaleste kostnadsintervallene
ble evaluert som de dyktigste
av deres ledere. Denne evalueringen
ble beholdt selv etter at det ble klart at
de smaleste intervallene bygget på en
svært urealistisk usikkerhetsvurdering.
Kombinert med manglende feedback er
det dermed klart at man som systemutvikler
i et prosjekt har mye å vinne og lite
å tape på å angi urealistisk smale intervaller.
Fra systemutviklerens ståsted kan det
dermed på mange måter være rasjonelt å
undervurdere usikkerheten. Studier viser
at mottakeren av et usikkerhetsintervall
ofte også vil sette mer pris på et smalt
og urealistisk usikkerhetsintervall, enn et
mer realistisk bredt usikkerhetsintervall.
Et bredt, men realistisk, usikkerhetsintervall
oppleves ofte som lite informativt og
av liten verdi [7].
Hva kan gjøres
Lærebøker og prosesser for usikkerhetsvurdering
av kostnader i prosjekter bør, etter
vår mening, oppdateres for å ta hensyn til
forskningen om undervurdering av usikkerhet.
Et minstekrav er at de bør de informere
om hva den tradisjonelle PERT-baserte metoden
typisk medfører av usikkerhetsundervurdering.
I tillegg har vi gode indikasjoner
på at relativt små endringer i hvordan man
spør og tilrettelegger historiske data kan gi
god effekt på realismen i usikkerhetsvurderingene,
se alternative metode nedenfor.
Alternativ metode
Vi anbefaler at følgende metode erstatter
tradisjonell metode for å angi minimummaksimumsintervaller:
Steg 1) Utarbeid en fordeling over estimeringspresisjon
for prosjekter av lignende
estimeringskompleksitet. Figur 1, som er
basert på reelle data fra en norsk IT-bedrift,
viser et eksempel på dette. Vi har erfart at
denne fordelingen ikke bør vektlegge at
prosjektene ligner i utførelse, så lenge de
alle er noenlunde like vanskelige å kostnadsestimere.
Det er ofte ikke noe dårlig valg å
inkludere alle prosjekter innen en bedrift i
denne fordelingen.
Steg 2) Estimer mest sannsynlig totalkostnad
for prosjektet. (Dette er et stort tema i
seg selv, se våre artikler om dette på www.
simula.no)
Steg 3) Etterspør usikkerhetsvurderinger på
formen: ”Hvor sannsynlig er det at virkelig
arbeidsmengde for prosjektet overskrides
med mer enn X%” eller enda bedre ”Hvor
ofte har prosjekter med lignende estimeringskompleksitet
blitt overskredet med
mer enn X%” Et eksempel: Anta at mest
sannsynlig kostnad er estimert til 2 millioner.
Du har som prosjektleder tenkt deg et
budsjett på 2,5 millioner for å dekke uventede
kostnader. Spørsmålet som da bør stilles
er: ”Hvor sannsynlig er det at prosjektkostnadene
vil overskride mest sannsynlig kostnad
med mer enn 25%” Et tilbakeblikk på
historien (Figur 1) viser at dette har hendt
for lignende prosjekter i ca. 30% av tilfellene,
mao at sannsynligheten for dette er
betydelig. Dersom noen vil overbevise deg
om at sannsynligheten er vesentlig lavere
enn 30% bør argumentasjonen være svært
god. Mer om denne alternative metoden i
[8].
Forskjeller mellom metodene
Denne alternative metoden kan synes å
være nokså lik den tradisjonelle PERT-baserte
metoden. Blant annet bygger begge
på at man må ha et forhold til sannsynlighet.
Det er imidlertid minst to forskjeller
som kan være avgjørende:
1) Det er bedre samsvar mellom format på
historiske data og formatet på angivelsen
av usikkerhet i den alternative metoden.
Det er en stor og komplisert operasjon å
transformere fra historisk estimeringspresisjon
til minimum-maksimumsintervaller.
En slik transformasjon krever svært gode
analytiske evner og statistikk-kunnskaper.
2) Som nevnt tidligere gir smale minimummaksimumsintervaller
signaler om høy ekspertise
og bidrar dermed til målet om å bli
oppfattet som dyktig. En fordel ved å basere
seg på historiske data og grenser satt av
andre enn den som gjør usikkerhetsanslaget
er at denne signaleffekten blir mindre
dominerende. Det er for eksempel stor
forskjell på å angi maksimum kostnad for
prosjektet man leder og å kartlegge hvor
ofte prosjekter med lignende estimeringskompleksitet
har overskredet estimatene
med mer enn, f eks, 30% prosent.
Vi har evaluert forskjellen mellom de to
metodene (minimum-maksimumintervall
30 - Prosjektledelse nr. 2-2005