Ansätze und Methoden der ökonomischen Evaluation - Bad Request

Entwicklung eines Kriterienkatalogs 161
schrieben?" stellt dagegen eine Doppelfrage dar, die auch noch auf eine ganze Reihe
spezifischer Informationen zu Reviews bzw. Meta-Analysen abzielt.
Ein differenzierteres Bild würde sich hingegen ergeben, wenn für die jeweils zu einer
der zehn Dimensionen, die im Transparenz- bzw. Qualitätskatalog aufgegriffen werden,
gehörenden Fragen dimensionenspezifische Summenscores gebildet werden.
Auch hierbei bleiben allerdings gewisse Gewichtungsprobleme innerhalb der einzelnen
Dimensionen bestehen.
Mit der Bildung von Summenscores werden die analysierten Kriterien untereinander
gewichtet. Für die „richtige" Gewichtung gibt es keine wissenschaftliche Begründung.
Andererseits ist von einem kompetenten Studienvergleich in der Praxis zu erwarteten,
daß nicht nur inhaltlich, sondern auch methodisch ein Resümee gezogen wird. In
diesem Fall macht der Ausweis von Summenscores sowie der Art und Weise, in der
sie gebildet werden, das sonst undeutlich bleibende Wertungsverfahren transparent.
5. Inter-Rater-Reliabilität
Insbesondere bei der Beurteilung der methodisch-inhaltlichen Qualität von ökonomischen
Evaluationsstudien anhand des Qualitätskataloges kommt zwangsweise eine
in Abhängigkeit von der fachlichen Kompetenz des jeweiligen Raters stehende subjektive
Interpretationskomponente zum Tragen. Es wird deshalb empfohlen, die Bewertung
von mindestens zwei Ratern unabhängig durchführen zu lassen; bei divergierenden
Einschätzungen wird eine Bewertung im Konsens gefunden und/oder ein
dritter Reviewer hinzugezogen, dessen Beurteilung dann den Ausschlag gibt (Blackmore
& Smith 1998, Udvarhelyi et al. 1992).
Um potentielle subjektive Einflüsse bei der Studienbewertung zu kontrollieren und die
Qualitätsbeurteilung zu standardisieren, sollte bei den einzelnen Ratern ein möglichst
einheitliches Verständnis der einzelnen Fragen in den Kriterienkatalogen und den
dahinter stehenden Anforderungen an die Transparenz bzw. Qualität von Studien
vorliegen. Bei der Bearbeitung der Beispielthemen in den gesundheitsökonomischen
Forschungsgruppen hat sich gezeigt, daß bei der Anwendung der Katalogfragen
Rückbestätigungen zwischen den Ratern nötig waren, um eine einheitliche und reliable
Bewertung zu gewährleisten. Voraussetzung für den reliablen Einsatz der Kriterienkataloge
über die drei gesundheitsökonomischen Forschungsgruppen hinaus ist
die Erarbeitung eines Begleitmanuals mit Spezifikationen zu Begriffen, Inhalten und
gegebenenfalls zu Gewichtungen einzelner Fragen bzw. Frageteile.