Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

58 Axel Borrmann & Reinhard Stockmann
2.3.2 Datenerhebungsmethoden, -instrumente und Auswertungsmethoden
Entsprechend der Fragestellung und im Sinne der Methoden-Triangulation 15 wurden die
weiter unten aufgeführten Datenerhebungsmethoden genutzt. Hierdurch sollte sichergestellt
werden, dass die methodischen Schwächen eines Instruments durch die Stärken
anderer Instrumente ausgeglichen werden. Die ausgewählten Erhebungsverfahren sollten
sich ergänzen und ein breites Informationsbild sichern. Durch die Verwendung mehrerer
Datenerhebungsverfahren und die Interpretation/Auswertung nach dem Konsensualprinzip,
wurden die Befunde mehrfach abgesichert (Daten- & Forscher-Triangulation). Es
war allerdings nicht möglich – wie es das DAC-Working Tool für Systemprüfungen an
sich vorsieht (DAC 2004, Ziff. 4) – die gewonnenen Erkenntnisse mit der Wahrnehmung
der Partner abzugleichen, da das BMZ eine entsprechend umfängliche Ausweitung der
Systemprüfung aus Kostengründen ausgeschlossen hatte.
Die Datenerhebungsverfahren wurden ferner so gewählt, dass die Auswahl und der
Umfang der erfassten Informationen dem Evaluationsgegenstand angemessen sind und
die Belastungen der Beteiligten und Betroffenen in einem angemessenen Verhältnis zum
erwarteten Nutzen der Evaluation stehen.
Folgende Datenerhebungsmethoden wurden eingesetzt:
Auswertung der beiden HWWA-Studien von 1999 und 2001
Auswertung der allgemeinen Literatur
Auswertung von Dokumenten und Materialien der EZ-Organisationen
Analyse der Self-Assessments der EZ-Organisationen
Leitfadengestützte Intensivinterviews in den EZ-Organisationen: Mitarbeiter der
Evaluationseinheiten bzw. Evaluationsverantwortliche, den operativen Einheiten sowie
der Leitung/des Managements der jeweiligen EZ-Organisationen
Leitfadengestützte Intensivinterviews mit sonstigen Institutionen und Personen,
darunter unabhängige Gutachter, Wissenschaftler und Vertreter des parlementrischen
Raums (siehe Ablauf)
Auswertung von Berichten externer Prüfungsinstitutionen (PWC, BRH, DAC etc.)
Standardisierte Online-Befragung von Nicht-Regierungsorganisationen, die nicht zu
den 20 ausgewählten EZ-Organisationen gehörten, die einer vollständigen Einzelanalyse
unterzogen wurden. Die Methodik ist ausführlich in dieser Fallstudie beschrieben
und folgt der allgemeinen Vorgehensweise
15 Es existieren in der Literatur vier Typen der Triangulation:
1) Daten-Triangulation: Die Nutzung vieler verschiedener Datenquellen, z.B. Interviews zu dem
gleichen Fragenset mit verschiedenen Personengruppen aus verschiedenen Berufen, Positionen,
etc.
2) Forscher-Triangulation: mehrere Evaluatoren oder Sozialwissenschaftler
3) Theorie-Triangulation: Die Nutzung mehrerer Perspektiven bei der Interpretation eines Datensets
4) Methoden-Triangulation: Die Nutzung verschiedener qualitativer und quantitativer Methoden
zur Untersuchung eines Problems oder Programms