Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluationssysteme deutscher EZ-Organisationen 113
Überblick
Generell ist festzustellen, dass sich viele EZ-Organisationen seit der letzten Systemprüfung
sehr bemüht haben, die Qualität ihrer Evaluationen zu erhöhen und dabei auch
große Erfolge haben, andere jedoch kaum. Insgesamt hat sich die Heterogenität zwischen
den EZ-Organisationen deshalb noch weiter vergrößert. Dass das Qualitätsniveau der
Evaluationen über alle untersuchten Organisationen hinweg betrachtet insgesamt noch
immer nicht zufrieden stellt, hat eine Reihe von Ursachen: Es liegt zum einen daran, dass
in vielen der untersuchten Organisationen die für die Qualitätssicherung notwendigen
Instrumente (z.B. Handreichungen, Ablaufmuster, Qualitätscheckraster) und Verfahren
nicht in ausreichendem Maße existieren oder nur in einem kleinen Teil der durchgeführten
Evaluationen angewendet werden. Zum anderen trägt zu dem Ergebnis bei, dass die
diversen Standards für Evaluation, unabhängig von der herausgebenden Institution (z.B.
DAC oder DeGEval), nicht von allen EZ-Organisationen beachtet, von einigen wenigen
sogar als „unpassend“ abgelehnt werden. Die Wirkungsorientierung ist zwar bei fast
allen als entwicklungspolitische Ausrichtung akzeptiert, aber nur wenige EZ-
Organisationen machen intensive Anstrengungen, Wirkungen methodisch anspruchsvoll
zu erfassen und auf ihre Kausalität hin zu analysieren.
Darüber hinaus weisen viele der bisher verwendeten Evaluationsformen erhebliche
methodische Defizite im Hinblick auf die zu beantwortende Fragestellung auf. Häufig ist
das Untersuchungsdesign nicht angemessen, es wird kein Methodenmix sondern es
werden entweder nur qualitative oder quantitative Erhebungsmethoden und durchweg
simple Auswertungsverfahren verwertet.
Viele der genannten Qualitätsprobleme scheinen in den meisten der untersuchten EZ-
Organisationen keinen Eingang in die eigene Qualitätsbewertung (im Self-Assessments
und in den Interviews) gefunden zu haben, so dass es zu einer enormen Diskrepanz
zwischen der Selbsteinschätzung einzelner EZ-Organisationen und der durch die Gutachter
vorgenommenen Bewertungen anhand der oben genannten Kriterien kommt. Bis auf
wenige Ausnahmen halten alle EZ-Organisationen ihre Evaluationen für qualitativ hochwertig,
auch dann, wenn sie fast gar keine durchführen, eine Wirkungserfassung für
unmöglich halten und außer Gesprächen kaum andere Methoden einsetzen. Nur wenige
EZ-Organisationen zeigen sich selbstkritisch und benennen Verbesserungsbedarfe. So
z.B. BMZ und GTZ, die darauf hinweisen, dass die Berichtsqualität des Öfteren unter
mangelnder Sprache, fehlender durchgängiger Argumentation („roter Faden“), empirisch
nicht ausreichend belegten Behauptungen, nicht direkt aus den Analysen abgeleiteten
Empfehlungen und insgesamt defizitären Analysen leidet. Zudem würden häufig zu viele
und zu unspezifische Empfehlungen ausgesprochen. Obwohl auch andere EZ-
Organsation mit diesen Qualitätsproblemen konfrontiert sein dürften, werden sie kaum
irgendwo explizit thematisiert.
Zu den Befunden im Einzelnen:
Qualitätssicherung (QS)
Nur im BMZ ist das Evaluationsreferat mittlerweile für die Durchführung und QS aller
Evaluationen zuständig. Die frühere Praxis, nach der ausgewählte Evaluationen auch von
anderen Einheiten des BMZ gesteuert werden konnten, wurde seit 2005 de fakto weitgehend
beendet. In der KfW trägt FZ-E die Verantwortung für alle Ex-post Evaluationen,