Protokoll AG 4 - evaluation-equal.de

Weitere Magazine

Empfehlungen

Info

orientierten Evaluierung, die nicht die gesamte EP abdecken soll, sondern für Teilprojekte im Sinne eines QMS-Prozesses Standards setzen und überprüfbar machen soll. 1 Im weiteren Verlauf des Workshops wurde deutlich, dass eine einfache „Abarbeitung“ der Leitfragestellungen teilweise zugunsten der Klärung vielfältiger Informationsbedürfnisse zurückstehen musste. Dennoch lässt sich festhalten, dass bezüglich der arbeitsmarktpolitischen Wirkungen und deren Messung in mehrfacher Hinsicht (naheliegende) Fragen aufgeworfen wurden: 1. Welche Relevanz hat dieser Aspekt für die Programmbewertung angesichts experimenteller Designs auf EP-Ebene / systemorientierter EPen ohne größere TN- Zahlen sowie prozessorientierter Evaluationsansätze? 2. Wie soll gegebenenfalls der Effekt definiert und operationalisiert werden (Beschäftigung nach Maßnahmeteilnahme?), womit sollen Effekte gemessen werden und zu welchem Messzeitpunkt? 3. Worin besteht der relevante Kontext / welche Aspekte werden in Kontextanalysen berücksichtigt (sozio-ökonomische Rahmendaten zur Bestimmung von Kontingentindikatoren; eher operationelle /institutionelle Kontexte - z.B. rechtliche Rahmenbedingungen der Interventionen und ihres Umfeldes …). Die bislang gewählten bzw. vorgesehenen Ansätze und Instrumente der Evaluationen sind sehr vielfältig: Sie reichen von Kontaktgesprächen bis Fallstudien, von prozess-orientierten Ansätzen bis Vergleichsgruppenanalysen, schließen den Einsatz betriebswirtschaftlicher Planungs- und Controlling-Verfahren (Balanced Score Card) ebenso ein wie Fragebogenerhebungen und SWOT-Analysen. Dementsprechend vielfältig (oder uneinheitlich – je nach Sichtweise) sind die zu erwartenden Informationen, woran sich unmittelbar weitere Fragestellungen anknüpfen: • Wie definiert sich das Verhältnis von EP- und Programmevaluation inhaltlich, d.h. wo endet der Aufgabenbereich der EP-Evaluatoren bzw. beginnt der Aufgabenbereich der nationalen Evaluierung? Anders gefragt: Welche Fragestellungen sind beiden Evaluationsebenen gemeinsam und welche sind jeweils nur von spezifischem Interesse? • Lässt sich auf Grundlage der vorhandenen Evaluierungsansätze überhaupt ein gemeinsamer Nenner an Informationen (und abgeleiteten Daten) definieren? • Welche Rolle kann das Stammblatt /MEPHISTO für die Evaluation beider Ebenen spielen? 2 1 2 Ein weiterer Evaluationsauftrag für die EP-Prozesse wurde zwar vergeben, aber nicht durchgeführt, da die AuftragnehmerIn vom Auftrag zurücktrat. Damit zusammenhängend stellte sich auch die Frage nach dem Stellenwert der Teilprojekte für die jeweilige Gesamt-EP (strategisches Element der Innovation oder eher Basis nationaler Ko-Finanzierung?): Was geschieht, wenn Partner ausscheiden und/oder Projekte wegbrechen – werden eher gleichartige Projekte gesucht oder neue Partner?
Die ersten beiden Punkte konnten erwartungsgemäß nicht abschließend behandelt werden. Der letzte Punkt war jedoch unter zwei Aspekten aufschlussreich: 1. Nicht wenigen Anwesenden war weder das Stammblatt noch MEPHISTO wirklich bekannt, was auf eine nicht optimale interne Kommunikationsstruktur innerhalb der EPen bzw. zwischen EP-Koordination und Evaluation verweist. Offensichtlich waren in den Regionalkonferenzen der TH zur Einführung des Stammblattes die EP-Evaluatoren nicht hinreichend systematisch vertreten. 2. Die Anwesenden erhoben auch auf Nachfrage weniger Einwände gegen diese Form der strukturierten Datenerhebung als seitens der Vertreter der nationalen Evaluation erwartet, obwohl mögliche Akzeptanzprobleme bei Trägern, TeilnehmerInnen und beteiligten Unternehmen gesehen wurden. Von einigen Teilnehmer wurde sogar bemängelt, dass die abgefragte Informationsstruktur den Besonderheiten von EQUAL als innovativem und experimentellem Programm nicht hinreichend Rechnung trage und es wurde nach der grundsätzlichen Erweiterbarkeit von MEPHISTO für zusätzliche Informationen gefragt. Der Vertreter der technischen Hilfe hat eine Prüfung dieser Möglichkeiten in Aussicht gestellt, wenn die aktuellen Aufgaben der Einführung erfolgreich abgeschlossen wären. FAZIT: Abgesehen von Ängsten, seitens der nationalen Evaluation nachträglich mit Anforderungen überzogen zu werden, die sich mit bereits implementierten Konzepten und/oder materiellen Restriktionen der einzelnen Evaluationen nicht vereinbaren ließen, bestand ein grundsätzlicher Bedarf an konkreten Orientierungen bzw. an gemeinsamen Vereinbarungen zur Definition von Daten- und Berichtsstrukturen. Es wurde seitens der Vertreter der nationalen Evaluation betont, dass diese einen solchen Prozess initiieren und koordinieren wolle, aber ein dialogisches Verfahren angesichts der fortgeschrittenen Programmumsetzung und der sehr differenten Strukturen der EP-Evaluationen für angemessen halte und die Berücksichtigung der sehr unterschiedlichen Ressourcen im Blicke habe. Für diesen Prozess wurden verschiedene Arbeitsschritte vereinbart: 1. Auswertung der Augsburger Tagung und Übermittlung der Workshop-Unterlagen an die Teilnehmenden. 2. Aufbau einer technischen Austauschplattform für die unterschiedlichen Erhebungsinstrumente der einzelnen Evaluationen sowie für weitere Materialien seitens der nationalen Evaluation (z.B. Berichte, Konzeptpapiere …). 3. Benennung von AnsprechpartnerInnen in der nationalen Evaluation, wobei noch offen blieb, ob diese Benennungen EP-spezifisch oder themenorientiert erfolgen wird. 4. Organisation weiterer Arbeitstreffen zwischen nationaler Evaluation und EP-Evaluationen, wobei eingefordert wurde, diese mit einem größeren zeitlichen Vorlauf für die TeilnehmerInnen planbarer zu gestalten. 5. Soweit noch nicht geschehen, wurden die Teilnehmenden gebeten, Evaluationskonzepte, Erhebungsmaterialien etc. der nationalen Evaluation zur Auswertung zur Verfügung zu stellen.
Seite 1: Benno Savioli (FEEDBACK Savioli & D

Protokoll AG 4 - evaluation-equal.de

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?