Es war einmal.. .. eine Zelle und sie wurde nimmermehr gesehen?

Essay
riker beschäftigen sich in ihrer Forschung
mit der Entwicklung neuer Indikatoren,
den Vor- und Nachteilen von bestimmten
Datenbanken (wie beispielsweise Web of
Science, WoS, von Thomson Reuters, Scopus
von Elsevier oder Google Scholar) für
die bibliometrische Analyse, der Erstellung
von Länderstudien, der Visualisierung von
bibliometrischen Daten und vielem mehr.
Viele Wissenschaftler, die bei ihrer Arbeit
mit der Bibliometrie in Kontakt kommen
(zumeist in den Naturwissenschaften),
wissen jedoch häufig nicht, dass es hier
ausgewiesene Experten gibt. Bibliometriker
werden vielmehr häufig nicht als Spezialisten
angesehen, die eine bestimmte
Methode besonders gut beherrschen, sondern
als Befürworter einer Methode, die
sie unkritisch anwenden.
Hätten wir im Gesundheitswesen eine
ähnliche Situation wie bei der Forschungsevaluation,
würden Patienten nicht auf die
Dienste von Fachärzten zurückgreifen, weil
sie ihnen vorwerfen, dass sie ihre Methoden
unkritisch und nicht zum Wohle des
Patienten anwenden würden. In Zeiten von
leeren Sozialkassen mag dieser Vorwurf
mehr und mehr gerechtfertigt zu sein; der
ursprüngliche Sinn eines Arztbesuchs bestand
aber darin, eine fachlich abgesicherte
Einschätzung des eigenen Gesundheitszustands
und einen kompetenten Einsatz von
geeigneten Methoden für die Genesung zu
bekommen. In ähnlicher Weise sollte auch
im Bereich der Forschungsevaluation ein
Experte aufgesucht werden, der in einem
gegebenen Kontext eine fachlich abgesicherte
Einschätzung über den Einsatz von
bibliometrischen Methoden geben kann.
Nur ein Experte kann grundsätzlich beurteilen,
ob im gegebenen Kontext eine bibliometrische
Studie überhaupt durchgeführt
werden kann und – falls es möglich sein
sollte – welche Datenbanken,
Indikatoren
und statistischen Auswertungsverfahren
eingesetzt
werden können.
In Europa gibt es einige
Institute, die entsprechende
bibliometrische
Dienstleistungen anbieten (wie etwa das
Centre for Science and Technology Studies,
CWTS, in Leiden).
Da die Bibliometrie mittlerweile zu
einem zentralen Bestandteil in der Forschungsevaluation
geworden ist, werden
auch Softwareprodukte angeboten, die den
Bedarf an bibliometrischen Indikatoren decken,
den es vor allem für die Bewertung
von Forschungseinrichtungen und Ländern
gibt. Die wichtigsten Produkte in diesem
Bereich sind InCites (Thomson Reuters)
„Zwei gute Beispiele für
unsachgemäßen Gebrauch
bieten der Journal Impact
Faktor und der h-Index.“
und SciVal (Elsevier). Beide Produkte
bieten eine Fülle von Indikatoren an, die
über die Produktivität und die Wirkung
von Publikationen einer Einrichtung oder
eines Landes Auskunft geben. Allerdings
können auch diese Produkte dem Nutzer
nicht die Auswahl unter den angebotenen
Indikatoren abnehmen und Erklärungen
für die produzierten Ergebnisse liefern:
Der Nutzer muss entscheiden, welche Indikatoren
im gegebenen Kontext eingesetzt
und wie die Ergebnisse interpretiert werden
sollen. Deshalb können
diese Produkte auch
nicht den professionellen
Bibliometriker als Experten
für solche Fragen ersetzen,
sondern machen
ihn nur noch wichtiger. Durch die leichte
Verfügbarkeit der Indikatoren (die zuvor
von Bibliometrikern für eine bestimmte
Evaluation zusammenstellt wurden) steigt
das Risiko des unsachgemäßen Einsatzes.
Zwei gute Beispiele für den unsachgemäßen
Gebrauch von bibliometrischen
Indikatoren sind der Journal Impact Factor
(JIF) und der h-Index. Während sich beide
Indikatoren unter „Bibliometrie-Amateuren“
einer großen Beliebtheit erfreuen,
spielen sie in der professionell betriebenen
Bibliometrie kaum eine Rolle. Die bibliometrische
Forschung hat sich zwar mit
beiden sehr intensiv auseinandergesetzt,
bei der konkreten Anwendung der Bibliometrie
in der Forschungsevaluation werden
jedoch andere Indikatoren vorgezogen.
Amateure setzen beide Indikatoren gerne
ein, um die Forschungsleistungen einer
Person zu messen. Vor allem beim JIF erstaunt
diese Verwendung, da er die durchschnittliche
Wirkung aller Publikationen
angibt, die in einer Zeitschrift erschienen
sind – er ist daher ein Indikator, der etwas
über eine Zeitschrift
aussagen kann. Warum
sollten in eine Studie,
die sich mit den Forschungsleistungen
einer
Person beschäftigt,
alle Publikationen mit
einbezogen werden,
die von anderen Personen in der gleichen
Zeitschrift publiziert wurden? Das macht
zunächst einmal wenig Sinn. Im Gegensatz
zum JIF ist der h-Index allerdings tatsächlich
ein Indikator, der für den Einsatz bei
einzelnen Wissenschaftlern vorgeschlagen
wurde.
Der JIF wird häufig als Indikator eingesetzt,
der etwas über die Qualität von einzelnen
Publikationen aussagen kann. Dabei
werden aber zwei Fehler gemacht: (1)
Zum einen können Zitierungen nicht mit
Qualität gleichgesetzt werden. Zitierungen
messen einen Teilaspekt von Qualität, und
zwar Wirkung; andere wichtige Teilaspekte
von Qualität sind Wichtigkeit und Richtigkeit,
die jedoch mit Zitierungen kaum
gemessen werden können. Dieser Fehler
wird nicht nur im Zusammenhang mit dem
JIF, sondern mit allen Zitations-basierten
Indikatoren gemacht. (2) Zitierungen
verteilen sich schief über die Beiträge in
einer Zeitschrift: Wenige hochzitierte Publikationen
stehen vielen kaum zitierten
Publikationen gegenüber.
„Zitierungen können Die durchschnittliche Anzahl
der Zitierungen, die
nicht mit Qualität
der JIF für eine Zeitschrift
gleichgesetzt werden.“ angibt, kann demnach
kaum die Wirkung der
meisten Publikationen in der Zeitschrift
widerspiegeln (sondern überschätzt oder
unterschätzt sie).
Ein wichtiger Punkt, der häufig am
h-Index in der Bibliometrie kritisiert
worden ist, betrifft die Verknüpfung von
Produktivität (Anzahl Publikationen) und
Wirkung (Anzahl Zitate) in einem Indikator.
Einerseits wird grundsätzlich in Frage
gestellt, dass beide Zahlen miteinander verknüpft
werden – man könnte auch zwei
Zahlen statt einer in der Forschungsevaluation
verwenden. Andererseits wird die Art
der Verknüpfung beim h-Index kritisiert.
Es existiert kein vernünftiger Grund dafür,
dass der h-Index nur diejenigen Publikationen
einer Person zählt, die zumindest h
Zitierungen haben. Es könnten auch h/2
oder h*h Zitierungen sein. Das Kriterium,
ab wann eine Publikation als zählbar für
den Index gilt, ist demnach willkürlich gewählt
und könnte auch ganz anders lauten.
Thomson Reuters verwendet beispielsweise
für die Auswahl der Wissenschaftler
in einem Fach, die die meisten hochzitierten
Publikationen veröffentlicht haben,
die Quadratwurzel der Population: In der
Datenbank, die unter www.highlycited.com
erreichbar ist, werden diejenigen Wissenschaftler
aufgelistet, deren Rang gleich
oder größer der Quadratwurzel der Population
(also aller Wissenschaftler in einem
Fach mit mindestens einer hochzitierten
Publikation) ist. Der h-Index könnte also
genauso gut auf der Quadratwurzel beruhen.
Sowohl der JIF als auch der h-Index
sind von einem Problem betroffen, das die
amateurhaft betriebene Bibliometrie von
der professionell betriebenen Bibliometrie
unterscheidet. In der professionell betriebenen
Bibliometrie werden in der Regel
Indikatoren eingesetzt, die im Hinblick auf
den Zeitpunkt einer Publikation und auf deren
fachlichen Kontext normiert sind. Beim
Laborjournal
7-8/2016
37