Outputorientierte Evaluierung

Output‐orientierte Evaluierung öffentlich geförderter FTI‐Programme
� Damit verbunden ist auch die Tatsache, dass nur Aussagen zur Effektivität, aber nicht zur
Effizienz eines Förderprogramms möglich sind. Dies ist eine Folge mangelnder Erfassung von
Verdrängungs‐ und Substitutionseffekten. Eine Erfassung dieser ist jedoch mit einer
signifikanten Zunahme an methodischer Komplexität verbunden. Weiterhin sei bedacht, dass
Effektivität eine notwendige Voraussetzung für Effizienz ist. Eine ineffektive Maßnahme kann –
gegeben ein bestimmtes Ziel ‐ niemals effizient sein.
� Eine Schwäche besteht freilich darin, dass gerade die entscheidenden Identifikationsannahmen
nicht getestet werden können. Genau diese sind aber dafür ausschlaggebend, ob der
Maßnahmenschätzer valide Ergebnisse liefert oder nicht.
� Eine ökonometrische Evaluation bietet vor allem summativ‐evaluatorische und weniger
formativ‐evaluatorische Information. Allerdings sollte auch hier gefragt werden, welchen Wert
detaillierte Kenntnis etwa über das Programmmanagement hat, wenn nicht einmal klar ist, ob
das Programm seine Ziele erreicht oder nicht.
� Die Anforderungen an die Daten sind hoch. Beobachtungen über eine Kontrollgruppe sind
notwendig und die Variablen müssen eine Modellierung des Selektionsprozesses oder eine
Schätzung der Teilnahmewahrscheinlichkeit ermöglichen.
� Ökonometrische Verfahren haben in der Vermittlung gegenüber qualitativen Verfahren den
Nachteil, dass sie tendenziell eine höhere Kompetenz auf Seiten des Konsumenten der
Ergebnisse verlangen. Dabei können zwei unerwünschte Effekte auftreten: Einerseits kann es
passieren, dass einzelne Werte eine überproportionale und unkritisch hinterfragte Bedeutung
erlangen, andererseits können die Ergebnisse einfach abgelehnt werden, weil ein
grundsätzliches Nicht‐verstehen der Methode vorliegt.
Trotz dieser Nachteile mikroökonometrischer Verfahren sollte deren fundamentaler Vorteil nicht
übersehen werden. Dieser liegt darin, dass die letztlich entscheidende Frage nach der Kausalität
eines Förderprogramms explizit gestellt wird. Welchen Nutzen kann eine Evaluation ohne Antwort
auf diese Frage haben? Nicht zuletzt könnte damit etwa die folgende Feststellung von Tichy
(2009:264) einem methodisch rigorosen Falsifikationsversuch unterzogen werden: „Es kann mit
großer Sicherheit geschlossen werden, dass ein großer Teil der österreichischen
Innovationsförderung von Projekten in Anspruch genommen wird, die ohne Förderung von den
Firmen selbst finanziert worden wären und eher Weiterentwicklungen bestehender Produkte sind.
Nur ein bescheidener Teil finanziert wirklich innovative Projekte, die die Wettbewerbsfähigkeit in
ein oder zwei Jahrzehnten stützen werden.“
5.3. BESTIMMUNGSGRÜNDE DER METHODENWAHL
Welche Methoden sollen zur Evaluation für welches Förderprogramm verwendet werden? Diese
Frage wurde bereits in mehreren Studien gestellt (e.g. Rhomberg et al. 2006). Dazu ist zunächst
festzustellen, dass sich eine gute Evaluation durch eine an den jeweils spezifischen evaluatorischen
Kontext angepasste Methodenselektion auszeichnet. Die Wahl der Methoden ist die vornehmliche
Aufgabe der EvaluatorInnen und sollte etwa nicht in den Terms of References festgelegt werden.
137