Outputorientierte Evaluierung

Output‐orientierte Evaluierung öffentlich geförderter FTI‐Programme
Im Folgenden werden zwei derartige Einteilungen präsentiert, die wichtige Informationen über die
Unterschiede zwischen den Methoden geben.
Zunächst einmal kann nach dem „Theoriegehalt“ einer Methode unterschieden werden (Blundell/
Costa Dias 2008). Abbildung 29 zeigt diesbezüglich das Methodenspektrum entlang eines
Kontinuums zunehmender Theorieintensität. Auf der linken Seite dieses Spektrums befindet sich
das soziale Experiment. Der Mechanismus der Randomisierung macht alle weiteren theoretischen
Annahmen überflüssig. So ist etwa die Suche nach Kontrollvariablen bei einer hinreichend großen
Fallzahl erst gar nicht notwendig. Auch ist kein theoretisches Wissen über die konkreten
Wirkungsmechanismen notwendig. Diese müssen nicht modelliert werden. Allerdings muss dafür
der Ablauf des Experiments einige wichtige Annahmen erfüllen, deren Einhaltung in der
Evaluierungspraxis keineswegs selbstverständlich ist. Auf der anderen Seite des Spektrums finden
sich Studien die Kontrollfunktionsansätze anwenden. Hierbei wird versucht, den Teilnahmeprozess
als mikroökonomisches Entscheidungskalkül darzustellen. Eine explizite ökonometrische
Modellierung von solchen Entscheidungssituationen und deren Interdependenzen ist Teil des
sogenannten „Structural Econometric Approach“ (Cameron/ Trivedi 2005). Dabei müssen
zahlreiche, aus der mikroökonomischen Theorie abgeleitete Annahmen getroffen werden. Es wird
also wesentlich mehr Wissen „über die Welt“ vorausgesetzt, als dies bei einem Experiment der Fall
ist. Die geringere Notwendigkeit zum Treffen zahlreicher, nicht testbarer Annahmen bei sozialen
Experimenten macht diese zur glaubwürdigsten Methode für Kausalanalysen.
Abbildung 29: Klassifikation mikroökonometrischer Methoden nach der Notwendigkeit zur
theoriegeleiteten Modellierung
Wenig theoretische Annahmen Viele theoretische Annahmen
Soziales Experiment
Eigene Darstellung
Natürliche Experimente
Diskontinuitäten Design
Matching‐Verfahren
Instrumentenvaribalenansatz
Kontrollfunktionsansätze
Eine weitere für die Methodenselektion wichtige Differenzierung erfolgt nach dem
Selektionsmechanismus (Assignment Mechanism), der bei der angewandten Methodik vorliegen
muss, damit diese valide Schätzungen der Maßnahmeneffekte ermöglicht. Tabelle 18 stellt die
entsprechende Klassifikation der Methoden dar. Dabei wird zwischen drei unterschiedlichen
Selektions‐ oder Zuweisungsprozessen differenziert. Der vorhergehende Abschnitt hat deutlich
gemacht, dass dem Selektionsmechanismus überragende Bedeutung bei der Anwendung
mikroökonometrischer Methoden zukommt weil dieser den alles entscheidenden Selection Bias
zwischen Teilnehmern und Nichtteilnehmern produziert. Entsprechend merken Blundell und Coast
Dias (2008:2) an „Unless there is a convincing case for the reliability of the assignment mechanism
being used, the results of the evaluation are unlikely to convince the thoughful skeptic.” Aufgrund
dieser zentralen Rolle des Selektionsprozesses liegt einer der Schlüssel für eine Verbesserung von
Evaluierungsergebnissen in einer Berücksichtigung der Evaluation bereits beim Selektionsprozess.
125