Band 2 - Fallstudien - HWWI

Fallstudie: Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) 29
Wirksamkeit und Qualität der deutschen EZ wird mit dem derzeitigen System nicht erfasst“
(INT BMZ 2).
Allerdings muss natürlich konzediert werden, dass gerade die Wirkungen von Projekten
und Programmen der EZ aufgrund ihrer Komplexität und der Komplexität ihrer Umwelten
schwer zu erfassen sind. Erschwerend kommt hinzu, dass in vielen Partnerländern
keine oder nur unzureichende statistische Daten oder gar umfassende Monitoringsysteme
vorliegen, wie sie in entwickelten Staaten Standard sind. Die Chancen, die Qualität von
Evaluation zu verbessern würden dadurch steigen, dass in den Partnerländern aussagefähige
Monitoringsysteme aufgebaut werden (INT BMZ 7)
In der Regel basieren Aussagen zu Wirkungen im BMZ auf Sekundärdatenauswertungen,
insbesondere der von DO zu verantwortenden Projektunterlagen sowie ergänzenden,
mehr oder weniger systematischen Befragungen von sogenannten Schlüsselpersonen und
Nutzern. BMZ-E ist sich dieses Defizits bewusst und sieht einen erhöhten Bedarf an
Primärdatenerhebungen (um Baselines für den Wirkungsvergleich zu schaffen), der Erfassung
von Vergleichsgruppen und generell die Notwendigkeit, auch quantitative Erhebungsverfahren
einzusetzen. Hier sieht das Referat auch die DO in der Pflicht. Entsprechend
wurden Wirkungsuntersuchungen bereits im Sommer 2006 auf die Agenda der
Gruppe „Evaluierung aus einem Guss“ gesetzt, (bisher jedoch ohne Erfolg).
BMZ-E beteiligt sich selbst aktiv an der Diskussion über robustere Evaluationsmethoden,
die für Wirkungsanalysen einsetzbar sind und will in nächster Zeit auch eigene empirische
Erfahrungen sammeln. Ein erster Schritt stellt die 2006 in Auftrag gegebene
Studie „Impact Assessment of Development Cooperation in Conflict Zones“ dar, deren
wichtigstes Ziel darin besteht, replizierbare Methoden für diesen Zweck zu entwickeln
und deren Praktikabilität in Nord-Ost Afghanistan zu erproben. Hierfür soll ein feldexperimentelles
Design eingesetzt werden (vgl. BMZ 2006f).
Die bestehenden Defizite bei der Wirkungsanalyse können allerdings nicht allein dem
BMZ angelastet werden, auch die Wissenschaft hat dieser Aufgabe in Deutschland bisher
wenig Aufmerksamkeit geschenkt. Die derzeit vorliegenden Wirkungsuntersuchungen
konnten nur Ex-post-durchgeführt werden, so dass in Ermangelung einer Baseline Längsschnittdaten
anhand von Dokumenten und Befragungen rekonstruiert wurden. Zudem
wurden umfassende (quantitative) Zielgruppen- und Vergleichsdaten erhoben, so dass
nachträglich formulierte Wirkungshypothesen umfassend empirisch überprüft werden
konnten (vgl. Stockmann 1996 u. Stockmann u.a. 2000). Das hierfür entwickelte theoretische
und methodische Konzept sowie die daraus abgeleiteten Analyseleitfäden lagen
auch den beiden vom BMZ durchgeführten Wirkungsstudien zugrunde (vgl. BMZ 2000a
und BMZ 2005a).
6.4 Berücksichtigung bzw. Anwendung von und Erfahrungen mit Erhebungsdesigns,
Erhebungsmethoden und Auswertungsverfahren
In der Regel verwendet das BMZ für seine Evaluationen das Gutachtenmodell oder
Querschnittsdesign. Längsschnitt- oder gar quasi-experimentelle Designs werden bis auf
eine Ausnahme (BMZ 2006f) nicht angewendet. Baselinestudien werden in der Regel
nicht durchgeführt und Vergleichs- oder gar Kontrollgruppen nur selten gebildet.
Bei den Erhebungsmethoden dominieren qualitative, nicht standardisierte Interviews
von Schlüsselpersonen. Häufig handelt es sich dabei jedoch eher um strukturierte Gespräche.
Gerne werden auch Gruppeninterviews und PRA-ähnliche Methoden wie Bege-