Outputorientierte Evaluierung

4.2.2 Datenlage
Output‐orientierte Evaluierung öffentlich geförderter FTI‐Programme
Der Zugang zu den entsprechenden Daten sowie ihre Qualität bestimmen zu einem großen Teil
den Einsatz bestimmter Evaluationsmethoden und damit die Robustheit der Ergebnisse, die
Schlussfolgerungen sowie die Aussagekraft der Evaluationen.
Aufgrund von Datenmangel haben quantitative kausale Wirkungsabschätzungen und
experimentelle Methoden in Österreich Seltenheitswert; um auf Veränderungen durch das
Programm schließen zu können, stützt man sich – so zeigt der Großteil der analysierten
Evaluationen – auf von den FördernehmerInnen selbst wahrgenommene Veränderungen. Dies
bringt erhebliche „Response‐Probleme“ (soziale Erwünschtheit, Nicht‐Wissen, Akquieszenz) mit
sich und schränkt die Güte und Robustheit der Ergebnisse deutlich ein.
Hinsichtlich der Datenlage in Österreich ergibt sich daher ein deutlicher Verbesserungsbedarf in
den folgenden Bereichen:
Zugang zu neuen Daten
Um quantitative kausale Wirkungsabschätzungen zu ermöglichen, ist eine sogenannte
„Nullmessung“ der FördernehmerInnen vor Programmstart unabdingbar. Diese Nullmessung
ermöglicht eine exakte Einschätzung der ökonomischen und sozialen Lage z.B. eines
Unternehmens vor Programmstart. Im Vergleich mit einer „Kontrollgruppe“ an Unternehmen und
den jeweiligen Messungen nach Ende des Programms können Programmwirkungen zugewiesen
und quantifiziert werden. Bereits beim Programmdesign muss daher die Datengenerierung für den
Zweck der Evaluation mitbedacht werden.
Zugang zu existierenden Daten
Die Statistik Austria besitzt Daten (CIS‐Daten, F&E Erhebung), die für die Anwendung quantitativer
analytischer Evaluationsmethoden bedeutsam sind; EvaluatorInnen können jedoch aktuell nicht –
in der Regel aus Gründen des Datenschutzes sowie der erforderlichen Mittel – mit diesen Daten
arbeiten. Dieser Punkt wird in Kapitel 7 ausführlich und im internationalen Vergleich erörtert. Hier
besteht dringend der Bedarf, bestehende Datensätze der FFG und der Statistik Austria miteinander
zu verknüpfen, um die Qualität und Güte kommender Evaluationen zu sichern.
Qualität existierender Daten
Bestehende Daten/Monitoringdaten müssen regelmäßig auf ihre Qualität und Aktualität geprüft
werden. In der Headquarter‐Evaluierung findet sich ein Kommentar des Evaluationsteams, in
welchem die Seriosität der Unternehmensangaben angezweifelt wird: „In den Headquarter‐
Zusatzberichten müssen die Unternehmen Angaben über die FuE‐Personaleffekte der Förderung
machen, insbesondere wie viele neue FuE‐Stellen im Rahmen der Headquarter Projekte geschaffen
wurden. Eine seriöse Interpretation der Unternehmensangaben sowie der Nachhaltigkeit des FuE
Mitarbeiteraufbaus ist jedoch unserer Einschätzung nach nicht möglich, da insbesondere über die
Entwicklung nach Ende der Projekte kaum Informationen vorliegen. Wir verzichten daher auf eine
58