Protokoll AG 4 - evaluation-equal.de

Benno Savioli (FEEDBACK Savioli & Duffner GbR /COMPASS GmbH, Bremen)
Arbeitstagung Evaluation Augsburg 03.04.2003
Bericht zur Arbeitsgruppe 4: Sozioökonomischer und operationeller Kontext,
arbeitsmarktpolitische Wirkungen, Begleitsystem
(Moderation: Nils Pagels, ZOOM – Gesellschaft für prospektive Entwicklungen e.V.,
Göttingen; Input Programmevaluation: Axel Weise, COMPASS GmbH, Bremen; Input EP-
Evaluation: Claudia Knobel, Institut für Wirtschaft, Arbeit und Kultur - IWAK – Uni
Frankfurt/M)
Der Workshop wurde mit 22 TeilnehmerInnen (TN) durchgeführt, die 20 EPen abdeckten.
Hinzu kamen ein Vertreter der Technischen Hilfe (TH), zwei Vertreter der nationalen EQUAL-
Evaluierung sowie der Moderator.
Nach der Begrüßung erfolgte zunächst der Input der Programmevaluation durch Axel Weise
mit einer Darstellung der für den Workshop vorgesehenen Leitfragestellungen (Details s.
beigefügte PPT-Datei: Input-AG4.PPT).
Im Anschluss erfolgte zunächst eine Vorstellungsrunde, mit der Zielsetzung einerseits einen
Überblick über die beteiligten EP bzw. deren Evaluationen zu erhalten und insbesondere den
Status der Evaluationen innerhalb der jeweiligen EP und den Stand ihrer Beauftragung zu
erhalten und andererseits Erwartungen an die Veranstaltung äußern zu können.
Die Vorstellungsrunde bestätigte nochmals unsere Einschätzung, dass die Evaluierungen
sowohl
• hinsichtlich der formalen Einbettung in die EPen (Teilprojekt/ externe Evaluierung /Teil
der Koordination) als auch
• bezüglich der Aufgabenstellung (summative / formative Evaluierung bzw. Qualitätssicherung,
Gesamt-EP-/Teilprojekt-Evaluierung --> mögliche diffuse Rollenzuweisung)
und –
• hinsichtlich des Stands der Umsetzung stark variieren (von „seit Interessensbekundungen
dabei“ bis „beginnt demnächst“); das Gros der beteiligten Evaluationen scheint
erst seit relativ kurzer Zeit - Mitte bis Ende des letzten Jahres - aktiv zu sein.
Die breite Fächerung bestätigte sich auch hinsichtlich der offenbar höchst unterschiedlichen
Ressourcen (absolut sowie anteilig zu EP-Gesamtkosten), die für Evaluierungsaufgaben
verfügbar sind – ohne dass dieser durchaus wichtige Aspekt in der Vorstellungsrunde
zahlenmäßig darstellbar gewesen wäre.
EP-Input
Im Anschluss stellte Claudia Knobel ihren Evaluierungsansatz für die EP MARE bzw. die von
Ihr zu evaluierenden Teilprojekte dar (Details s. beigefügte PPT-Datei: Input-EP-
AG4.PPT.ppt). Hierbei handelt es sich um ein Beispiel einer indikator-basierten, teilprojekt-

orientierten Evaluierung, die nicht die gesamte EP abdecken soll, sondern für Teilprojekte im
Sinne eines QMS-Prozesses Standards setzen und überprüfbar machen soll. 1
Im weiteren Verlauf des Workshops wurde deutlich, dass eine einfache „Abarbeitung“ der
Leitfragestellungen teilweise zugunsten der Klärung vielfältiger Informationsbedürfnisse
zurückstehen musste.
Dennoch lässt sich festhalten, dass bezüglich der arbeitsmarktpolitischen Wirkungen und
deren Messung in mehrfacher Hinsicht (naheliegende) Fragen aufgeworfen wurden:
1. Welche Relevanz hat dieser Aspekt für die Programmbewertung angesichts
experimenteller Designs auf EP-Ebene / systemorientierter EPen ohne größere TN-
Zahlen sowie prozessorientierter Evaluationsansätze?
2. Wie soll gegebenenfalls der Effekt definiert und operationalisiert werden (Beschäftigung
nach Maßnahmeteilnahme?), womit sollen Effekte gemessen werden und zu welchem
Messzeitpunkt?
3. Worin besteht der relevante Kontext / welche Aspekte werden in Kontextanalysen
berücksichtigt (sozio-ökonomische Rahmendaten zur Bestimmung von
Kontingentindikatoren; eher operationelle /institutionelle Kontexte - z.B. rechtliche
Rahmenbedingungen der Interventionen und ihres Umfeldes …).
Die bislang gewählten bzw. vorgesehenen Ansätze und Instrumente der Evaluationen sind
sehr vielfältig: Sie reichen von Kontaktgesprächen bis Fallstudien, von prozess-orientierten
Ansätzen bis Vergleichsgruppenanalysen, schließen den Einsatz betriebswirtschaftlicher
Planungs- und Controlling-Verfahren (Balanced Score Card) ebenso ein wie
Fragebogenerhebungen und SWOT-Analysen. Dementsprechend vielfältig (oder
uneinheitlich – je nach Sichtweise) sind die zu erwartenden Informationen, woran sich
unmittelbar weitere Fragestellungen anknüpfen:
• Wie definiert sich das Verhältnis von EP- und Programmevaluation inhaltlich, d.h. wo
endet der Aufgabenbereich der EP-Evaluatoren bzw. beginnt der Aufgabenbereich
der nationalen Evaluierung? Anders gefragt: Welche Fragestellungen sind beiden
Evaluationsebenen gemeinsam und welche sind jeweils nur von spezifischem
Interesse?
• Lässt sich auf Grundlage der vorhandenen Evaluierungsansätze überhaupt ein
gemeinsamer Nenner an Informationen (und abgeleiteten Daten) definieren?
• Welche Rolle kann das Stammblatt /MEPHISTO für die Evaluation beider Ebenen
spielen? 2
1
2
Ein weiterer Evaluationsauftrag für die EP-Prozesse wurde zwar vergeben, aber nicht
durchgeführt, da die AuftragnehmerIn vom Auftrag zurücktrat.
Damit zusammenhängend stellte sich auch die Frage nach dem Stellenwert der Teilprojekte
für die jeweilige Gesamt-EP (strategisches Element der Innovation oder eher Basis nationaler
Ko-Finanzierung?): Was geschieht, wenn Partner ausscheiden und/oder Projekte wegbrechen
– werden eher gleichartige Projekte gesucht oder neue Partner?

Die ersten beiden Punkte konnten erwartungsgemäß nicht abschließend behandelt werden.
Der letzte Punkt war jedoch unter zwei Aspekten aufschlussreich:
1. Nicht wenigen Anwesenden war weder das Stammblatt noch MEPHISTO wirklich
bekannt, was auf eine nicht optimale interne Kommunikationsstruktur innerhalb der EPen
bzw. zwischen EP-Koordination und Evaluation verweist. Offensichtlich waren in den
Regionalkonferenzen der TH zur Einführung des Stammblattes die EP-Evaluatoren nicht
hinreichend systematisch vertreten.
2. Die Anwesenden erhoben auch auf Nachfrage weniger Einwände gegen diese Form der
strukturierten Datenerhebung als seitens der Vertreter der nationalen Evaluation erwartet,
obwohl mögliche Akzeptanzprobleme bei Trägern, TeilnehmerInnen und beteiligten
Unternehmen gesehen wurden. Von einigen Teilnehmer wurde sogar bemängelt, dass die
abgefragte Informationsstruktur den Besonderheiten von EQUAL als innovativem und
experimentellem Programm nicht hinreichend Rechnung trage und es wurde nach der
grundsätzlichen Erweiterbarkeit von MEPHISTO für zusätzliche Informationen gefragt.
Der Vertreter der technischen Hilfe hat eine Prüfung dieser Möglichkeiten in Aussicht
gestellt, wenn die aktuellen Aufgaben der Einführung erfolgreich abgeschlossen wären.
FAZIT:
Abgesehen von Ängsten, seitens der nationalen Evaluation nachträglich mit Anforderungen
überzogen zu werden, die sich mit bereits implementierten Konzepten und/oder materiellen
Restriktionen der einzelnen Evaluationen nicht vereinbaren ließen, bestand ein
grundsätzlicher Bedarf an konkreten Orientierungen bzw. an gemeinsamen Vereinbarungen
zur Definition von Daten- und Berichtsstrukturen. Es wurde seitens der Vertreter der
nationalen Evaluation betont, dass diese einen solchen Prozess initiieren und koordinieren
wolle, aber ein dialogisches Verfahren angesichts der fortgeschrittenen Programmumsetzung
und der sehr differenten Strukturen der EP-Evaluationen für angemessen halte
und die Berücksichtigung der sehr unterschiedlichen Ressourcen im Blicke habe.
Für diesen Prozess wurden verschiedene Arbeitsschritte vereinbart:
1. Auswertung der Augsburger Tagung und Übermittlung der Workshop-Unterlagen an die
Teilnehmenden.
2. Aufbau einer technischen Austauschplattform für die unterschiedlichen Erhebungsinstrumente
der einzelnen Evaluationen sowie für weitere Materialien seitens der
nationalen Evaluation (z.B. Berichte, Konzeptpapiere …).
3. Benennung von AnsprechpartnerInnen in der nationalen Evaluation, wobei noch offen
blieb, ob diese Benennungen EP-spezifisch oder themenorientiert erfolgen wird.
4. Organisation weiterer Arbeitstreffen zwischen nationaler Evaluation und EP-Evaluationen,
wobei eingefordert wurde, diese mit einem größeren zeitlichen Vorlauf für die
TeilnehmerInnen planbarer zu gestalten.
5. Soweit noch nicht geschehen, wurden die Teilnehmenden gebeten, Evaluationskonzepte,
Erhebungsmaterialien etc. der nationalen Evaluation zur Auswertung zur Verfügung zu
stellen.