Outputorientierte Evaluierung

Tabelle 3: Der "Delivery Gap"
Output‐orientierte Evaluierung öffentlich geförderter FTI‐Programme
What policymakers want What evaluators say
� Information in time on spending � Research may take years to have effects
decision
� Clear attribution of effects to investment � Linear model is a rare case and
additionally is complex to assess
� Independent evidence of research � Peers defend their subject field and
excellence international colleagues
� Key indicators to monitor and � Crude regime distorts performance and
benchmark can be manipulated
Zinöcker 2007
(2) Das Mismatch zwischen Politik und Evaluationsanbietern existiert auch in umgekehrter
Richtung, wobei hier andere Dimensionen Gegenstand des Mismatch sind bzw. sein können.
Tabelle 4 stellt diese Dimension dar. Die Interviews mit EvaluierungsanbieterInnen bestätigten vor
allem den letzten und vorletzten der aufgelisteten Punkte. Bezüglich Ressourcen wurde
angemerkt, dass die Anforderungen, wie sie in den Terms of References (TOR) definiert sind,
bisweilen in keiner vernünftigen Relation zur Auftragssumme stehen. 3 Der vierte Punkt ist ebenso
Gegenstand des Mismatch zwischen den Erwartungen von ProgrammmanagerInnen und
EvaluatorInnen.
Tabelle 4: Der "Customer Gap"
What evaluators want What policy makers say
� Clearly defined and hierarchical � Programmes are a compromise involving
objectives multiple and conflicting objectives
� Guaranteed independence � Recommendations must be within
realistic policy constraints
� Time and ressources to do the job � We need the results in three months
� Full access to information and
stakeholders
Zinöcker 2007
� Everyone is overworked and busy
(3) Zwischen den ProgrammanagerInnen und den EvaluatorInnen gibt es ebenfalls
unterschiedliche Ansprüche, die insbesondere auch das Thema Datenverfügbarkeit und
Datenqualität (Tabelle 5).
Diese Problematik stellt tatsächlich einen kritischen Punkt für die methodische Weiterentwicklung
österreichischer FTI‐Evaluierung dar. Kapitel 5 diskutiert diesen Aspekt ausführlich, auch im
internationalen Vergleich.
3 So merkte etwa ein InterviewpartnerInnen an, dass es eben unmöglich sei, „die halbe Welt um 40.000 € zu erklären“.
33