Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Die Qualität der Evaluationssysteme 153
steht, indem schon während der Evaluation neue Einsichten, Perspektiven und Erkenntnisse
gewonnen werden, die zu Programmkorrekturen führen können. Doch auch diese
Effekte sind lediglich auf der individuellen Programmebene angesiedelt.
4.4 Qualität
Sowohl die Glaubwürdigkeit als auch die Nützlichkeit von Evaluationen hängen in
hohem Umfang von ihrer Qualität ab. Internationale Nutzungsstudien haben gezeigt, dass
die praktische Umsetzung von Evaluationsergebnissen in hohem Umfang davon bestimmt
wurde,
ob die Entscheidungsträger eine Evaluation für relevant halten,
ob die wichtigsten Stakeholder in die Planungs- und Berichtsphasen (nicht Durchführung)
einbezogen wurden,
wie hoch die Reputation und Glaubwürdigkeit des Evaluators ist,
wie die Ergebnisse kommentiert werden und
welche Hilfestellungen zur Umsetzung der Ergebnisse geboten werden (vgl. Fitzpatrick
u.a. 2004: 405; Rossi, Lipsey u. Freemann 2004: 414).
Darüber hinaus kommt der Qualität der Evaluation eine entscheidende Bedeutung zu.
Damit Evaluationsergebnisse überhaupt einen nützlichen Beitrag zu den wie auch immer
gearteten Evaluationszielen leisten können, müssen sie auf einer empirisch gesicherten
und objektiv ermittelten Datenbasis beruhen. Ist dies nicht der Fall, dann können aus
Evaluationen abgeleitete Ergebnisse die Programmverantwortlichen geradezu in die Irre
leiten und zu kostspieligen Fehlentscheidungen führen.
Um deshalb eine möglichst hohe Qualität sicherzustellen, gilt es eine Reihe von Faktoren
zu beachten. Diese reichen von der Akzeptanz international anerkannter Evaluationsstandards,
über das Vorliegen einer konsistenten Evaluationskonzeption, die Verwendung
qualitativ hochwertiger Planungs- und Durchführungsverfahren, einem der Wirkungsorientierung
der EZ Rechnung tragenden Methodeneinsatz, dem Vorhandensein
kompetenten Personals und eines ausreichenden Finanzbudgets, bis hin zu einer ausreichenden
Evaluationsdichte und wirkungsvollen Qualitätssicherungsmechanismen. Die
meisten deutschen EZ-Organisationen lassen ein starkes Bemühen erkennen, die Qualität
ihrer Evaluationssysteme zu verbessern. Dabei werden die genannten Faktoren in unterschiedlichem
Umfang berücksichtigt.
Ein wichtiges Mittel der Qualitätssicherung und -entwicklung ist das Setzen von Standards.
In der Evaluation gibt es eine Reihe professionell gesatzter Regeln (z.B. der
DeGEval), die diesen Zweck erfüllen sollen. Darüber hinaus stellen in der EZ vor allem
die DAC-Prinzipien und -kriterien sowie die DAC-Qualitätsstandards von 2006 wichtige
Orientierungspunkte dar, die viele der untersuchten Organisationen versucht haben, in
eigene Qualitätsstandards und Leitlinien zu transferieren (vgl. hierzu die Ausführungen
in Kapitel 4.2).
Die Orientierung auf Wirkungen, die von allen untersuchten Organisationen mitgetragen
wird, stellt seit der letzten Systemprüfung eine der weitreichendsten Veränderungen
dar. Dadurch nimmt das gesamte Politikfeld gegenüber allen anderen, die nach wie vor
eine Input- oder Outputausrichtung pflegen, eine Vorreiterrolle ein.