Outputorientierte Evaluierung

Output‐orientierte Evaluierung öffentlich geförderter FTI‐Programme
Rubin Causal Model ableiten lässt: „Thus, at best the effect can only be estimated with confidence,
but never measured with certainty.“ (Schmidt 1999:4).
Die Antwort auf dieses Problem mangelnder Beobachtbarkeit der kontrafaktischen Situation ist die
Suche nach sogenannten Identifikationsstrategien. Darunter versteht man Annahmen (!), welche
eine Konstruktion (!) einer kontrafaktischen Situation ermöglichen. Das bedeutet, man sucht nach
verschiedenen Möglichkeiten, die unbeobachtbare Situation durch eine alternative beobachtbare
Situation anzunähern. Ein grundlegendes Problem dabei ist die Tatsache, dass sich geförderte von
nicht‐geförderten Unternehmen in verschiedenen Merkmalen unterschieden. Dieses sogenannte
Sample‐Selection Problem wird in diesem Unterkapitel ausführlich diskutiert. Vereinfacht
gesprochen sollte ein Vergleich von geförderten Unternehmen mit nicht‐geförderten
Unternehmen keinen Vergleich von „Äpfeln mit Birnen“ darstellen. Entweder es werden
tatsächlich vergleichbare Äpfel gefunden oder es muss eine Anpassung der Birnen an die Äpfel
konstruiert (!) werden, so dass diese doch wieder mit den Äpfeln verglichen werden können.
Es gibt eine Reihe unterschiedlicher Identifikationsstrategien, die sich jeweils in ihren sogenannten
Identifikationsannahmen unterscheiden. Diese Annahmen explizieren die Bedingungen unter
denen die jeweilige Identifikationsstrategie eine valide Strategie zur Messung durchschnittlicher
Maßnahmeneffekte auf die Maßnahmenteilnehmer (MTT) darstellt. Eine in diesem
Zusammenhang weitere fundamentale Erkenntnis ist, dass sich die Frage, ob die getroffenen
Annahmen zutreffen oder nicht einer formalen, statistischen Überprüfung entziehen. Deswegen ist
a priori „keine Identifikationsannahme besser oder schlechter als eine andere“ (Bauer et al.
2009:146). Hier liegt auch der tiefere Grund, warum auch streng formalisierte, mathematisch‐
statistische Modelle auch völlig falsche Ergebnisse liefern können. Es ist dann aber nicht das
Modell an sich falsch, sondern es sind die kritischen Annahmen nicht erfüllt. Daher sind ein Wissen
und eine Sensibilität über die Bedeutung der getroffenen Annahmen für die Nutzer von
ökonometrischen Ergebnissen von entscheidender Bedeutung.
Im Folgenden werden zunächst die einfachsten und grundlegendsten Identifikationsstrategien
dargestellt. Diese sind der Querschnittsvergleich, der Vorher‐Nachher‐Vergleich, und der Differenz‐
von‐Differenzen‐Ansatz. Schließlich wird auch die in Österreich bei FTI‐Evaluierungen übliche
Methode der direkten Frage nach kausalen Effekten beim Maßnahmenteilnehmer erörtert.
Im Kontext des hier aufgespannten konzeptionellen Denkrahmens wird deutlich, welche
grundlegenden Probleme und letztlich mangelnde methodische Fundierung hier vorliegt.
Die Erörterung der Identifikationsstrategien und ihrer jeweiligen Probleme sollte klar machen, dass
es letztlich komplexerer Methoden bedarf, um das Evaluationsproblem adäquat zu adressieren.
Diese werden exemplarisch im darauf folgenden Abschnitt 5.2.4 dargestellt.
Querschnittsvergleich und Sample Selection Bias
Die erste hier zu besprechende Identifikationsstrategie ist der Querschnittsvergleich. Dieser beruht
auf der Idee, dass die kontrafaktische Situation durch die Ergebnisgröße der Nichtteilnehmer
ersetzt werden kann, um den MTT zu schätzen. Die Identifikationsannahme lautet also, dass sich
105