Outputorientierte Evaluierung

Output‐orientierte Evaluierung öffentlich geförderter FTI‐Programme
Ein Indikator gestattet nur, mit einer gewissen Wahrscheinlichkeit auf das vorausgesetzte
Indikatum zu schließen. Bei komplexen Sachverhalten sollten daher mehrere Indikatoren
eingesetzt werden, um eine Eigenschaft eines Untersuchungsobjekts zu repräsentieren.
Indikatoren sind zumeist nicht „universell“ anwendbar, sondern müssen in Bezug auf folgende
Kontexte adaptiert und kontinuierlich in Bezug auf ihre statische Validität und Reliabilität getestet
werden:
� nationaler /lokaler Kontext
� wissenschaftliche Disziplin
� nationale Sprache
� Individualebene/aggregierte Ebene
Laudel /Gläser (2011) zeigen am Beispiel der „wissenschaftliche Publikationen“ sehr anschaulich,
welche Schwierigkeiten entstehen, wenn ein Indikator, der auf der aggregierten Ebene seinen
Zweck erfüllt, auf die Individualebene angewendet wird.
„Publication indicators offer only partial insight into research quality at best, and are usually
unreliable, when applied to individual researcher and their research” (Laudel/Gläser, 2011: 5). Auf
der Individualebene stellt die Anzahl an Publikationen keinen validen Indikator für “research
performance” dar; dieser Indikator zeigt lediglich die Forschungsaktivität eines/einer
Wissenschaftlers/Wissenschaftlerin an. „The numbers of publications offer little useful
information. They are even dangerous because their use can incite mass production of useless
publications“(ibid. 8). Weitere Indikatoren, die häufig gewählt werden, um wissenschaftliche
Exzellenz anzuzeigen, sind Preise, Auszeichnungen oder Einladungen zu Vorträgen. Laut
Laudel/Gläser zeigen diese Indikatoren die symbolische Bewertung an, die die
Forschungscommunity den einzelnen Forschenden beimisst. Die Validität dieser Indikatoren ist zu
hinterfragen, da die Preise und Auszeichnungen zumeist idiosynkratisch und daher nicht
vergleichbar sind und die Auswahl der ReviewerInnen oft unter großem Zeitdruck erfolgt.
Laudel/Gläser (2011) schlussfolgern daher „Indicators which work at the aggregate level, lose their
power if applied to individuals, in order to learn something about an individual case, we need to
study in depth“ (Laudel/Gläser, 2011: 9). Die AutorInnen empfehlen das Augenmerk auf prozess‐
orientierte Indikatoren zu legen, z.B. mit Reviewern und dem/der WissenschaftlerIn selbst die
Dynamik der Forschungskarriere zu reflektieren. Die einzelnen Forschungsphasen, die
WissenschaftlerInnen durchlaufen, können oftmals an der Reihenfolge der AutorInnen auf
Publikationen nachvollzogen werden. Dazu Laudel/Gläser (2011): „According to this rule, the
researcher who conducted the experiments becomes first author, the head of the laboratory (who
often defined the problem and contributed theoretical background) is last author, and other
collaborators are listed in between. In fields where this rule applies, the progress of a researcher’s
career is reflected by the move of his or her name from first author to intermediate author to last
author” (ibid. 11).
147