Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

22 Axel Borrmann & Reinhard Stockmann
Qualität
Die meisten deutschen EZ-Organisationen lassen ein starkes Bemühen erkennen, die
Qualität ihrer Evaluationssysteme zu verbessern. Dabei werden folgende Faktoren in
unterschiedlichem Umfang berücksichtigt:
Viele der untersuchten EZ-Organisationen versuchen neben den Evaluationsstandards
der DeGEval die DAC-Prinzipien und -kriterien sowie die DAC-Qualitätsstandards als
wichtige Orientierungspunkte zu nutzen.
Die Orientierung auf Wirkungen, die von allen untersuchten Organisationen mitgetragen
wird, stellt seit der letzten Systemprüfung eine der weitreichendsten Veränderungen
dar. Dadurch nimmt das gesamte Politikfeld gegenüber allen anderen, die nach wie vor
eine Input- oder Outputausrichtung pflegen, eine Vorreiterrolle ein. Unter den Durchführungsorganisationen
hat die GTZ diese Neuorientierung am konsequentesten vollzogen.
Im nicht-staatlichen Bereich ragen die DWHH und Misereor hervor. Einige politische
Stiftungen (Ausnahmen KAS, hbs) haben sich bisher mit Verweis auf ihre Sonderrolle
am wenigsten mit der Frage, was eine Orientierung auf Wirkungen für die Evaluation
einer Organisation bedeutet, befasst.
Während einerseits die Wirkungsausrichtung der EZ und ihrer Evaluation als wegweisend
zu bezeichnen ist, muss andererseits konstatiert werden, dass die eingesetzten
Designs und Methoden für die Erfassung von Wirkungen und deren Ursachenzuschreibung
noch längst nicht die professionellen Standards erfüllen, die für eine angemessene
Qualität notwendig wären. Von wenigen Ausnahmen (vor allem BMZ) abgesehen wird
in den meisten der untersuchten EZ-Organisationen so weiterevaluiert wie bisher. Die
Methodenauswahl, der Zeitrahmen und das finanzielle Mengengerüst entsprechen in der
Regel nicht der anspruchsvollen Aufgabenstellung. Die Suche nach robusten Methoden,
die sich im Regelbetrieb einsetzen lassen, hat gerade erst begonnen.
Im Vergleich zur letzten Systemprüfung zeigt sich, dass nur zwei der untersuchten
EZ-Organisationen ihre Evaluationseinheiten stark ausgebaut haben (GTZ, KfW), das
federführende Referat im BMZ jedoch trotz immens angestiegener Evaluationsaufgaben
personell stagniert. Es rangiert im internationalen Vergleich am unteren Ende. Dadurch
läuft das BMZ Gefahr, zentrale Evaluationsaufgaben und seine steuernde Funktion im
Evaluationsbereich nicht mehr wahrnehmen zu können. Gemessen an den Budgets der
staatlichen wie nicht-staatlichen EZ-Organisationen ist eine große Heterogenität hinsichtlich
des mit Evaluationsaufgaben betrauten Personals festzustellen. Die personelle Größe
der Evaluationsabteilungen korreliert nicht direkt mit der Größe einer Organisation oder
ihrem EZ-Budget. Offensichtlich kommt es mehr auf die Bedeutung an, die in einer
Organisation der Evaluation zugemessen wird. In vielen Organisationen – allen voran
dem BMZ – scheint ein erheblicher personeller Nachholbedarf zu bestehen.
Im Hinblick auf die Kompetenz des eingesetzten Personals ist zu konstatieren, dass
kaum eine Organisation erfahrene oder gar ausgebildete Evaluatoren einstellt, sondern
vor allem EZ-Erfahrung zählt. Da in den meisten der untersuchten Organisationen Personalrotation
vorgesehen ist, ist das Kompetenzniveau, das in einem Referat vorherrscht,
einem ständigen Wechsel unterworfen. Über die Zeit hinweg in der Evaluation „gereifte“
und damit mit den Anforderungen und Aufgaben der Evaluation vertraute Personen
werden immer wieder durch Newcomer ersetzt. Da für eine systematische Weiterbildung
vor Dienstantritt und allzu oft auch danach kaum Zeit bleibt, kann es lange dauern, bis