Band 2 - Fallstudien - HWWI

Fallstudie: Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) 27
6 Qualität der Evaluationen
6.1 Überwachung, Sicherstellung und Verbesserung der Qualität der
Evaluationen
Die Durchführung strategischer und qualitativ hochwertiger Evaluationen ist eines der
fünf in der Zielvereinbarungen von BMZ-E genannten Ziele. Deshalb ist der gesamte
Planungs- und Ablaufprozess von Evaluationen auf Qualitätssicherung ausgelegt, beginnend
mit der Formulierung von ToR, der Abfassung eines Inception Reports, über den
gesamten Ablauf der Beteiligung und Kommentierung bis hin zu dem Qualitätscheck-
Raster, das den Gutachtern ein Bewertungsschema ex ante liefert und anhand dessen die
Gutachter eine detaillierte Rückmeldung zu den Berichtsentwürfen erhalten. Während für
den fachlichen Teil im Rahmen von Stellungnahmen und Besprechungen (z.B. im Auftakt-
und Auswertungsgespräch) die entsprechenden Fachreferate und ggf. Fachvertreter
der DO zuständig sind, sichert BMZ-E die Qualität aus Evaluationssicht mit Hilfe des
Qualitätsrasters und ausführlichen Kommentaren.
Weiterhin wurden für die Qualitätssicherung eine Reihe von Handreichungen sowie
ein elektronisches „Starter-Kit“ erstellt, die die wesentlichen Grundlagen für BMZ-
Evaluationen enthalten. Auch die bisher und zukünftig vorgenommenen Ausschreibungen
dienen der Qualitätssicherung. Darüber hinaus wird in Ausschreibungen darauf geachtet,
wie die Auftraggeber selbst die Qualität sichern wollen. Das Training von Gutachtern
sieht BMZ-E nicht als seine Aufgabe an und verweist statt dessen auf entsprechende
Marktangebote.
Komplexe Evaluationen mit mehreren Fallstudien stellen für die Qualitätssicherung
besondere Herausforderungen dar. Deshalb wird bei größeren Evaluationen wie z.B.
Länderprogramm-Evaluationen (LPE) auf einen besonders detaillierten Inception Report
Wert gelegt. Design-Studien werden bisher hingegen extrem selten vorgeschaltet.
Als wichtige Grundlagen und Orientierungshilfen werden von BMZ-E die DAC-
Prinzipien (1991) und die DAC-Quality Standards (2006) genannt. Auch der Wissens-
und Erfahrungsaustausch innerhalb verschiedener Netzwerke und Zusammenschlüsse,
aber auch im Rahmen gelegentlicher Treffen und Tagungen (vgl. Kapitel 9) wird als ein
Element der Qualitätssicherung betrachtet.
Um eine die DO miteinbeziehende, übergreifende Qualitätssicherung zu gewährleisten,
hat BMZ-E die aus den DO zusammengesetzte Gruppe „Evaluierung aus einem
Guss“ gegründet. Deren Ziel ist es, ein gemeinsames Verständnis über Begriffe, Konzepte
und Vorgehensweisen herzustellen, die Evaluationsaktivitäten aufeinander abzustimmen
und über die einzelnen Evaluationen einen fachlichen Austausch zu führen. Auch
die Beteiligung externer Experten wird als eine Möglichkeit gesehen, die Qualität von
Evaluation zu sichern und weiterzuentwickeln. Diese Maßnahmen und Aktivitäten haben
– nach Einschätzung von BMZ-E – zu einer Verbesserung der Qualität von Evaluation
und ihrer Verwertung (vgl. Kapitel 8) beigetragen.