Outputorientierte Evaluierung

Output‐orientierte Evaluierung öffentlich geförderter FTI‐Programme
Box 6: Internationale Unterschiede bei der Evaluation von FTI‐Politik
“Traditions and cultures of accountability have evolved differently in different national settings and
influence performance assessment measures and processes. (…) Despite a trend towards
convergence inspired by international experience, evaluation practices vary strongly across
countries and significant obstacles to international learning remain.”
OECD (2010: 202, 304)
While it seems that different countries have established their own individual modes of conducting
research and providing policy advice, the experiences made with these approaches are usually not
compared systematically. This is all the more remarkable, as academic research in economics is
conducted in an integrated world market.
Schmidt (2007:6)
Schwierig ist die Aufgabe eines internationalen Vergleichs aus zwei Gründen: Erstens sind nach wie
vor viele Evaluierungen in der jeweiligen Nationalsprache verfasst. Zweitens sind Evaluierungen
entweder gar nicht veröffentlicht oder einfach nicht an einer zentralen Stelle im Internet
verfügbar. Um mit dieser schwierigen Informationslage umzugehen wird folgender Ansatz
gewählt: Zunächst wird ein Überblick anhand zentraler Ergebnisse der 2010 abgeschlossenen
Studie INNO‐Appraisal dargestellt (Abschnitt 4.3.1). Darauf aufbauend wird die Kosten‐Nutzen
Analyse als eine Methode herausgegriffen, welche besonders deutliche Unterschiede in der
Anwendung zwischen verschiedenen Innovationssystemen zeigt. Fallbeispiele aus den USA und
Australien werden präsentiert (Abschnitt 4.3.2). Abschließend wird in überblicksartiger Form und
in Anlehnung an die Präsentation österreichsicher Evaluierungen in Abschnitt 4.3.3 eine selektive
Zusammenschau aktueller, ökonometrischer Evaluierungen aus anderen EU‐Staaten gegeben.
4.3.1 Österreichische FTI‐Evaluation im internationalen Vergleich: Die Ergebnisse des INNO‐
Appraisal‐Projekts
Abbildung 12 zeigt einen Vergleich der in Österreich verwendeten Methoden bei FTI‐
Evaluierungen mit den anderen EU‐Staaten. Die mit einem Sternchen versehenen Kategorien
zeigen dabei signifikante Unterschiede zwischen Österreich und den internationalen
Vergleichsländern an. Etwas überraschen ist der signifikant geringere Einsatz von Fallstudien sowie
von Kontextanalysen. Den Erwartungen entsprechend zeigt sich aber vor allem ein signifikant
geringerer Einsatz ökonometrischer Methoden sowie von Input‐Output‐Analysen in Österreich.
Vor allem die wesentlich geringere Anwendung ökonometrischer Verfahren aus Sicht der
StudienautorInnen problematisch.
Diese Ergebnisse wurden bislang vor allem mit der Datenlage in Österreich erklärt. Warum aber
existiert diese schlechte Datenlage? Eine Ursache hierfür könnte eine eher negative Einstellung
gegenüber formalen, modellbasierten Methoden in Österreich sein. Hierfür gibt es anekdotische
Evidenz. Eine quantitative, empirische Evidenz kann der Vergleich der Ergebnisse von Abbildung 12
und Abbildung 13 (siehe Abschnitt 3.1.2) liefern. Abbildung 12 konstatiert eine signifikant
geringere Anwendung formaler, modellbasierter Evaluationsmethoden in Österreich, während
64