Evaluering av seks NCE prosjekter - Innovasjon Norge

More documents

Recommendations

Info

- Econ Pöyry - Evaluering av seks NCE prosjekter 8 Anbefalte endringer i måle og resultatsystemet NCE-programmet har et omfattende måle- og resultatsystem, som tar utgangspunkt i en nullpunktsanalyse med data for klyngene. Prosjektenes egne målhierarki er imidlertid uklare og beskriver i liten grad forhold prosjektene selv kontrollerer. Måle- og resultatsystemet er solid teoretisk forankret, men lite funksjonelt som styringsverktøy. Evalueringen har identifisert noen utfordringer og forbedringsområder med tanke på videre programstyring og neste evaluering. Spesielt er det behov for et mindre antall indikatorer av relevans for programmets og prosjektets mål for operasjonelle formål. Overvåking av nøkkeldata for klyngenes generelle utvikling er likevel nyttig som bakgrunnsinformasjon der tilsvarende studier ikke allerede foreligger i regi av andre aktører. 8.1 Problemstillinger identifisert i evalueringen 8.1.1 Mangel på operasjonelt måle- og resultatsystem Prosjektenes mål er uklare og i stor grad knyttet til faktorer utenfor prosjektets kontroll. Målformuleringene for det enkelte NCE-prosjekt er av varierende kvalitet. Mange av dem er ikke klart definert eller ligger utenfor hva NCE-prosjektene kan ventes å påvirke. Mange av målene er knyttet til tall på omsetning og verdiskaping, variabler som i liten grad ligger innenfor prosjektets kontroll og som dermed ikke blir et godt mål på prosjektenes aktiviteter. Videre er indikatorer for disse målene ikke utviklet. Indikatorene i måle- og resultatsystemet er koblet til klyngeteori og bare indirekte til programmets og prosjektenes mål. Nullpunktsanalysen ble utviklet som et verktøy for å følge klyngens utvikling, og ikke som et operasjonelt styringsverktøy. Datagrunnlaget i måle- og resultatsystemet er svært omfattende og det meste oppdateres kun hvert tredje år. Det er ikke nødvendigvis sammenheng mellom indikatorene og prosjektenes mål, og NCE-prosjektene har dermed i liten grad forholdt seg til nullpunktsanalysen. Programmet mangler et målesystem som kan brukes som styringsverktøy. Datainnsamling på prosjektnivå har vært begrenset til årsrapportene, der rapporterte data er lite relevant for å belyse relevante prosesser og resultater på program- og prosjektnivå. Innsamling av data hvert tredje år er ikke tilstrekkelig for prosjekt- og programstyring. Selv om indikatorene hadde vært relevante for styringsformål, ville hvert tredje år ikke vært hensiktsmessige intervall for innsamling. Nullpunktsanalysen skisserte muligheten for en ”loggbok” for prosjektleder. Indikatorene for denne loggboken, i tillegg til nye indikatorer som ikke inngår i nullpunktsanalysen, rapporteres gjennom årsrapportene. Noen av disse er koblet direkte til programmets mål. Indikatorene er imidlertid uavhengige sv prosjektenes mål. Videre skilles det ikke tydelig mellom resultater og aktiviteter. 8.1.2 Informasjon om klyngene er nyttig som bakgrunnsmateriale Økonomisk analyse av klyngens utvikling kan være svært nyttig for klyngens bedrifter og for NCE-prosjektene. Det er to mulige innganger til anvendelsen av de data som er samlet inn i 2006 og 2009. Den ene er å bruke denne informasjonen som 43
- Econ Pöyry - Evaluering av seks NCE prosjekter bakgrunnsmateriale for å forstå klyngen og dens utvikling over tid. Den andre er å forsøke å si noe om prosjektenes innvirkning på klyngene. Nøkkeltall for bedriftene som inngår i klyngen er ikke relevante resultatindikatorer for NCE–prosjektene, men kan likevel belyse utviklingen i klyngene og utgjøre relevant bakgrunnsinformasjon. Det meste av nullpunktsanalysen er nettopp et bidrag til slikt bakgrunnsmateriale. For NCE Maritime foreligger alternative og langt mer komplekse analyser, gjennom studier av klyngen som strekker seg tilbake til 1988. Der slike mer omfattende og kvalitetssikrede kartlegginger foreligger, er det etter vårt syn lite hensiktsmessig å duplisere dette arbeidet med et enklere og mindre dekkende bilde som det er mulig å tegne gjennom oppdateringer av nullpunktsanalysen. Nullpunktsanalysen er basert på offentlige tall fra Brønnøysundregistrene og SSB. Flere av disse datasettene krever stor ressursinnsats forbundet med kvalitetssikring. Normalt vil en derfor i en slik forenklet analyse av klyngen måtte akseptere en del unøyaktigheter i tallmaterialet som samles inn 14 . Spørreundersøkelsen kunne med fordel vært sendt til flere respondenter. Spørreundersøkelsen ble sendt ut til de bedriftene som i utgangspunktet var definert som medlemmer, mens registerdata er samlet inn både for medlemmer og relaterte virksomheter. I ettertid ser vi at denne avgrensningen med fordel kunne vært utvidet. Sammenlikningsgrunnlaget ville med dette blitt redusert, men til gjengjeld ville innsamlet data vært mer robust for analyseformål. Spørreundersøkelsen omfatter om lag 90 spørsmål. Det er ikke sortert mellom spørsmål knyttet til klyngeinteressante spørsmål og spørsmål som kan nyttes i evaluering av NCE-prosjektenes aktiviteter. De fem tilleggsspørsmålene som direkte er knyttet til NCE-prosjektet kan med fordel oppdateres og stilles hyppigere til bedriftene i klyngen. Noen av klyngene er vanskeligere å avgrense enn andre. For de klart avgrensede eller mindre klyngene som NCE Systems Engineering, NCE Raufoss eller NCE Micro- and Nanotechnology er dette en enklere oppgave enn for store, mer spredte eller dynamiske klynger som NCE Subsea og NCE Maritime, og til dels NCE Instrumentering. For alle slike økonomiske analyser gjelder begrensningene skissert ovenfor, både for selskaper som har mye av sin virksomhet utenfor klyngen og bedrifter som er registrert i utlandet. Uavhengig av anvendelsen av klyngebeskrivende data er det viktig å være klar over at kompleksiteten i utviklingen og vedlikehold av en relevant bedriftsdatabase. Nullpunktsanalysen gjorde et grundig forarbeid i avgrensningen av den enkelte klynge, basert på søknadene og konsultasjon med den enkelte prosjektleder. På denne bakgrunn ble det etablert en bedriftsdatabase over medlemmer og relaterte virksomheter. Eksisterende analyser av klyngene ble også lagt til grunn som bakgrunnsmateriale. Likevel viser slike avgrensninger seg ikke uproblematiske, jf kapittel 4. 8.2 Anbefalinger til forbedringer Datainnsamling bør tydelig skille mellom måloppnåelse og klyngebeskrivelse. Forutsetningen som ligger til grunn for måle- og resultatsystemet er at klyngens generelle utvikling er et mål på NCE-programmets suksess. Gitt NCE-programmets relative størrelse er en slik sammenheng ikke realistisk å forvente. Indikatorsettet fra nullpunktsanalysen er relevant for å beskrive en klynge opp mot klyngeteori men ikke funksjonell for programstyring. Spesielt for et nyskapende program som NCE, der 44
Page 1 and 2: Rapport 2009-045 Evaluering av seks
Page 3 and 4: - Econ Pöyry - Evaluering av seks
Page 51: - Econ Pöyry - Evaluering av seks
Page 65 and 66: (V1.1.3) - Econ Pöyry - Evaluering

Evaluering av seks NCE prosjekter - Innovasjon Norge

Create successful ePaper yourself

Delete template?

Save as template?