Rundbrief Nr. 4 - evaluation-equal.de

RUNDBRIEF Nr. 4
Kooperation zwischen Programm- und EP-Evaluation
in der zweiten Förderrunde der GI EQUAL
Januar 2007

EQUAL-Programmevaluation
Sehr geehrte Damen und Herren,
liebe Kolleginnen und Kollegen,
der vierte Rundbrief der EQUAL-Programmevaluation beinhaltet folgende Themen:
1. Fortführung der thematischen Workshops im Jahr 2007
2. Aktuelles von der Programmevaluation
3. Planung des Instrumenteneinsatzes im Jahr 2007 (CM und Standard-
Kurzbericht)
4. Zugang der EP-Evaluationen zu den EP-Stammdaten
5. Anhang: Daten zu den Veranstaltungsorten der Workshops.
1 FORTFÜHRUNG DER THEMATISCHEN WORKSHOPS IM JAHR
2007
Wie Sie wissen, wurden seit Juli 2006 auch wieder thematische Workshops von
der Programmevaluation angeboten. Im letzten Jahr ging es dabei um die Rolle von
Evaluation zwischen Bewertung und Beratung sowie um die Innovationsentwicklung
in Netzwerken. Ein angebotener Workshop zum Thema Gender Mainstreaming
konnte mangels Anmeldungen nicht realisiert werden.
Die Ergebnisse dieser bereits durchgeführten Workshops („Evaluation zwischen
Bewertung und Beratung“ am 3. und 4. Juli 2006 in Eisenach sowie „Innovationsentwicklung
in Netzwerken – Anforderungen an die Evaluation“ am 13. und 14.
November in Potsdam) stehen auf der Internetseite der Programmevaluation zur
Verfügung (www.evaluation-equal.de). Die Ergebnisse des gerade beendeten
Workshops zum Thema „Mainstreaming“ in Göttingen am 18. und 19.1.2007
werden dort in Kürze zu finden sein.
Auch im Jahr 2007 wird es weitere Workshops geben. Die Planung sieht wie folgt
aus:
Im Jahr 2007 sind noch vier weitere thematische Workshops geplant. Bei dem
ersten handelt es sich um einen Wiederholungstermin des „Mainstreaming“-Workshops,
der am 13. und 14.2. in Eisenach stattfinden wird. Darüber hinaus werden
folgende drei Workshops angeboten:
1. Überfrachtete Zielsystematik in der GI EQUAL? – Herausforderungen für
die Evaluation von Entwicklungspartnerschaften
Termin: 24. und 25.4.2007, Art Fabrik Hotel, Wuppertal
Die GI EQUAL stellt ein hochkomplexes Programm mit einer vielschichtigen
Zielsystematik dar. Für die Entwicklungspartnerschaften stellt es eine
Herausforderung dar, den vielfältigen, auf unterschiedlichen Ebenen angesiedelten
Programmzielen zu genügen. Oftmals kommt bestimmten Pro-
Rundbrief Nr.4 2

EQUAL-Programmevaluation
grammzielen in der Alltagspraxis von EP nur eine geringe Relevanz zu, so
dass sie z.T. nur eine schwach ausgeprägte Umsetzung erfahren. Beispiele
hierfür sind Querschnittsthemen und -ziele wie der Grundsatz des Empowerment
und die Bekämpfung von Rassismus, teilweise auch der Grundsatz
der Transnationalität und die Strategie des Gender Mainstreaming.
Gegenstände des Workshops werden der Umgang der Evaluation mit dieser
Komplexität an Programmzielstellungen und die damit einhergehenden
thematischen Fragestellungen im Einzelnen sein. In welchem Maße sind
die genannten Themen Gegenstand der Evaluation? Wie analysieren EvaluatorInnen
diese Themen? Wie gehen sie in ihrer beratenden/begleitenden
Funktion damit um?
2. Erfolg – ein Thema für die Evaluation in der GI EQUAL?
Termin: 14. und 15.6., Hotel Begardenhof, Köln
Auch wenn die EP-Evaluationen größtenteils eine begleitende Rolle innehaben
und nur in geringerem Ausmaß auch eine bewertende Funktion ausüben,
stellt sich zum Ende der Projektlaufzeit die Frage nach dem Erfolg.
Hiermit ist eine Vielzahl von Fragen verbunden, wie etwa: Wann wird die
Arbeit der EP als erfolgreich eingestuft? (gesetzte Ziele erreicht = erfolgreich?)
Unter welchem Erfolgsdruck stehen die EP und die Evaluationen
(Experimentierfeld EQUAL)? Welche Erwartungen im Hinblick auf Erfolgsbewertung
werden an die Evaluationen gestellt? Wie gehen sie damit um?
Welchen Beitrag leistet die Evaluation zum Erfolg? Wie kann die Evaluation
zur Sicherung des Erfolgs beitragen?
Diese Fragen sollen im Mittelpunkt dieses Workshops stehen.
3. Nutzen von Evaluation
Termin: voraussichtlich: 3. und 4. Juli, Hotel Dorotheenhof, Weimar
Das Programm der GI EQUAL neigt sich dem Ende zu und wird in dieser
Form nicht fortgesetzt werden. Damit geht auch das Experiment „Evaluation
in der GI EQUAL“ zu Ende. Vor dem Hintergrund eines Programms,
das im Vergleich den flächendeckend stärksten Evaluationseinsatz zu verzeichnen
hat, wurden schon in den Auftaktworkshops zur zweiten Förderrunde
der GI EQUAL viele Fragen nach dem Nutzen von Evaluation gestellt:
Wem nützt Evaluation und in welcher Form? Wer sind die AdressatInnen
der Ergebnisse? Wie sieht das Selbstverständnis der EvaluatorInnen
bzgl. ihrer Funktion aus? Wie verortet sich Evaluation zwischen den Anforderungen
des Programms, der Programmevaluation und der Entwicklungspartnerschaft?
Diese Fragen sowie solche nach dem Zusammenhang
zwischen dem Nutzen und der Qualität von Evaluation sollen in diesem
Workshop eine Rolle spielen.
Sie haben ab sofort die Möglichkeit, sich für die Workshops unter der E-Mail-
Adresse Claudia.Radzun@compass-bremen.de anzumelden. Die Anmeldung muss
bis jeweils acht Wochen vor dem Workshop stattfinden. Sie erhalten in Kürze genauere
Informationen zu den Kontaktadressen der Tagungsorte, damit Sie dort, wie
gewohnt, eine Übernachtung buchen können.
Rundbrief Nr.4 3

EQUAL-Programmevaluation
Zusätzlich plant die Programmevaluation im Herbst dieses Jahres eine große Abschlussveranstaltung
„Evaluation in der GI EQUAL – Bilanz und Ausblick“. Hier
sollen die Erfahrungen aus beiden Förderrunden in den Blick genommen werden.
Verschiedenste Themen zur Frage, was das „Experimentierfeld EQUAL“ für die
Evaluation erbracht hat, wollen wir in einem größeren Rahmen mit TeilnehmerInnen
aus Wissenschaft und Evaluation sowie Politik und Verwaltung (EU, Bund und
Länder) reflektieren. Auch zu dieser Tagung erhalten Sie noch gesonderte Informationen.
2 AKTUELLES VON DER PROGRAMMEVALUATION
Wie im letzten Rundbrief erwähnt, wurden im Jahr 2006 von der EQUAL-
Programmevaluation zwei Jahresberichte erstellt: Zum einen der Abschlussbericht
zur ersten Förderrunde der GI EQUAL und zum anderen der erste reguläre 1 Jahresbericht
zur zweiten Förderrunde.
• Der Abschlussbericht zur ersten Förderrunde konzentrierte sich auf die
Analyse und Bewertung der Mainstreamingaktivitäten auf EP- und Programmebene
und nahm eine umfassende Gesamtwürdigung des Programmverlaufs
und seiner Ergebnisse in der ersten Förderrunde vor. Den
Abschluss des Berichtes bildet ein differenziertes Bündel von Empfehlungen,
das insbesondere auch auf die Gestaltung zukünftiger, ähnlicher Förderprogramme
sowie auf mögliche Optimierungsbedarfe in der zweiten
Förderrunde fokussiert.
• Der Jahresbericht 2005 (erstellt in 2006) nimmt der Faden der Netzwerkanalyse
aus der ersten Förderrunde auf, fokussiert jedoch stärker auf den
Aspekt der Innovationsentwicklung in Netzwerk, d.h. auf die Frage, ob
Netzwerke tatsächlich in der Lage sind, eine bessere Entwicklung und Erprobung
von Innovationen zu gewährleisten als Einzelprojekte. Dieser Untersuchungsfokus
wird auch im diesjährigen Jahresbericht, der sich stärker
auf die Ergebnisse der Innovationsentwicklung und ihre voraussichtlichen
Mainstreamingpotenziale konzentrieren wird, beibehalten werden.
Beide Berichte wurden am 12. Dezember 2006 im EQUAL-Begleitausschuss in
Bonn behandelt und abgenommen. Die Berichte stehen auf der Seite der EQUAL-
Programmevaluation (http://www.evaluation-equal.de) zum download zur Verfügung.
3 PLANUNG DES INSTRUMENTENEINSATZES IM JAHR 2007 (CM
UND STANDARD-KURZBERICHT)
Wie in den Auftakt-Workshops im Herbst 2005 angekündigt, bleibt es auch im
Jahr 2007 bei dem vereinbarten Set an Untersuchungsinstrumenten, die in Koope-
1
Der sogenannte Statusbericht zum Beginn der zweiten Förderrunde der GI EQUAL
wurde bereits im Herbst letzten Jahres auf der Grundlage einer Befragung der EP-
KoordinatorInnen erstellt und ist auf der Internetseite der Programmevaluation erhältlich.
Rundbrief Nr.4 4

EQUAL-Programmevaluation
ration zwischen Programmevaluation und EP-EvaluatorInnen zum Einsatz kommen
sollen. Dies heißt: „COMMON MINIMUM“ (CM) und „Standard-Kurzbericht“ (SKB).
Beide Instrumente werden einerseits an die Erhebungen des vergangenen Jahres
anknüpfen, wurden jedoch andererseits auch konzeptionell weiterentwickelt. Die
Weiterentwicklung lässt sich in folgenden Punkten zusammenfassen:
• Abgrenzung der Innovationen: bloße Einzelinnovationen oder zusammengesetzte
Innovationen
Bei der Erfassung des Innovationsoutputs hat die Programmevaluation eine
verbesserte Systematik entwickelt, die dem Geschehen in den EP besser
gerecht wird. Dabei wurde eine veränderte Abgrenzung und eine neue Begrifflichkeit
erarbeitet. Das Konstrukt des sogenannten Gesamtinnovationsvorhabens
wurde aufgegeben. Von Interesse ist vielmehr, ob es sich
bei den Vorhaben einer EP jeweils um eine Einzelinnovationen handelt oder
zugleich auch um eine aus Einzelinnovationen zusammengesetzte Innovation.
Im Falle von zusammengesetzten Innovationen spielen Fragen nach
Synergieeffekten von Innovationen, nach der Eigenschaft der Innovationen,
ein Ensemble zu bilden, sowie nach bestimmten (höheren?) Netzwerkerfordernissen,
wie Abstimmung unter Teilprojekten und Synergien
zwischen Teilprojekten, eine besondere Rolle.
Das Unterscheidungskriterium diskriminiert also nicht nach Teilen und
Ganzem, sondern es unterscheidet schlicht nach dem Kriterium des Zusammengesetztseins.
Wir sprechen daher von Einzelinnovationen und zusammengesetzten
Innovationen, nicht mehr aber von Gesamtinnovationen
oder Gesamtinnovationsvorhaben.
• Quantitative Dimension der Innovationsentwicklung
Bei der Bestimmung der quantitativen Dimension wird eine prinzipielle Änderung
vorgenommen. Um besser angeben zu können, wie viele Innovationen
fertig entwickelt sein werden, wird ein veränderter Indikator des Reifegrades
herangezogen. Dazu erfolgt etwa eine Abfrage in der folgenden
Form:
• Stufe 1 „Innovation noch in der (theoretischen) Konzeptionsphase“
• Stufe 2 „Innovation noch in der Entwicklung“
• Stufe 3 „Innovation fertig entwickelt“
• Stufe 4 „Innovation fertig entwickelt und praktisch erprobt“
• Stufe 5 „Innovation fertig entwickelt, praktisch erprobt und (mindestens
einmal) gemainstreamt“.
• Abfrage Produktformen
Hinsichtlich der Materialisierung der von den EP entwickelten Innovationen
lassen sich mehrere Gestaltformen unterscheiden. Um im Vergleich zur
ersten Förderrunde den Innovationsoutput besser differenzieren zu können,
wird eine eindeutige, innovationsgenaue Abfrage der Form der Einzelinnovationen
erfolgen.
Rundbrief Nr.4 5

EQUAL-Programmevaluation
Das CM 2007 wird u.a. auf den Angaben des letzten CM basieren. Dies bedeutet,
die von Ihnen angegebenen geplanten Innovationen werden erneut aufgelistet. Sie
werden dann die Möglichkeit erhalten, anzugeben, welche dieser Innovationen aufgegeben
wurden. Darüber hinaus werden Sie die Möglichkeit erhalten, bis zu fünf
neue, zusätzlich entwickelte Innovationen einzutragen. Diese Möglichkeit zur „Revision“
der Planungsprozesse soll insbesondere Auskunft über die Dynamik der
Innovationsplanung und -entwicklung geben. Der im letzten CM vorhandene Block
zur Deskription der einzelnen Innovationen wird in diesem Jahr nicht wieder aufgenommen
werden. Vielmehr werden hinsichtlich der einzelnen Innovationen Aspekte
wie:
• Problemlösungsfähigkeit der Einzelinnovation und zusammengesetzten
Innovationen,
• Nutzen: im EP-Kontext / außerhalb des EP-Kontextes
• Zielgruppen
• Chancengleichheit / Gender Mainstreaming
• Wirksamkeit
• Verbindung zu den Programmzielen
• Mainstreamingpotenzial sowie
• Reifegrad
im Vordergrund stehen.
Der Zusammenhang des CM mit dem SKB wird technisch, inhaltlich und verfahrenstechnisch
wie im vergangenen Jahr gestaltet sein. Dies heißt:
• Zuerst Bearbeitung des CM.
• Nach Fertigstellung werden die Daten von uns bearbeitet.
• Jede EP-EvaluatorIn erhalt dann anschließend einen individualisierten SKB,
in dem die zu bearbeitenden Fragen bereits mit den im CM gegebenen
Antworten vorbelegt sind.
Auch in diesem Jahr gilt deshalb wieder die Devise: Je schneller das CM bearbeitet
wird, um so schneller kann auch der SKB zur Verfügung gestellt werden.
Der Umfang beider Instrumente wird in etwa jenem des vergangenen Jahres entsprechen.
Ein gewisser Mehraufwand wird sich im wesentlichen nur dann ergeben,
wenn mehrere neue Innovationen erfasst werden sollen.
Die technische Ausgestaltung beider Instrumente wird ebenfalls beibehalten werden:
Das CM wird online auszufüllen sein, der SKB als Word-Dokument.
Abschließend stellen wir Ihnen noch den Zeitplan des Instrumenteneinsatzes für
die erste Erhebungswelle im Jahr 2007 dar, der weitgehend dem Turnus der Erhebungswelle
des letzten Jahres entspricht:
• 23.01. bis 15.02.: technische Umsetzung des CM
• 15.02.: Online-Freigabe des CM
• 15.02. bis 15.03.: CM-Rücklauf
• ab ca. 01.03.: Versand des SKB
• bis 15.04.: Rücklauf des SKB
Rundbrief Nr.4 6

EQUAL-Programmevaluation
Im vergangenen Jahr hatten wir bei beiden Instrumenten tatsächlich einen Rücklauf
von 100%. Wir würden uns freuen, wenn es Ihnen und uns gemeinsam gelingt,
dieses Niveau auch in diesem Jahr zu halten!
4 ZUGANG DER EP-EVALUATIONEN ZU DEN EP-STAMMDATEN
Nach wie vor handelt es sich bei diesem Thema um ein ungelöstes Problem. In den
vergangenen zwei Jahren kursierten verschiedene Versionen der Frage, wie die EP-
Evaluationen an die Stammdaten ihrer EP-Projekte herankommen könnten. Auch
die Programmevaluation hat nach wie vor keinen ordentlichen Zugang zu den Monitoring-Daten
aus EQUAL-II-online. Nun scheint aber eine endgültige Lösung für
alle Evaluierenden in Sicht. Im Herbst 2006 wurde eine technische Lösung auf den
Weg gebracht, die automatische Exporte im EXCEL-Format direkt aus der Oberfläche
von EQUAL-II-online ermöglichen soll.
Für nähere Informationen (insbesondere bezüglich der Verfügbarkeit) wenden Sie
sich bitte an Herrn Sirko Willms bei der Technischen Hilfe, Tel.: 0228 99-527-
4125, E-mail: sirko.willms@bmas.bund.de.
Wir wünschen Ihnen einen guten Start in das Neue Jahr und bedanken uns für die
bisherige gute Zusammenarbeit!
Ihr Team
der EQUAL-Programmevaluation
Rundbrief Nr.4 7

EQUAL-Programmevaluation
5 ANHANG: DATEN ZU DEN VERANSTALTUNGSORTEN DER WORK–
SHOPS
Workshop 1: „Überkomplexität“, 24. + 25.4.2007
Art Fabrik Hotel Wuppertal
Bockmühle 16-24
42289 Wuppertal
Fon (0202) 2837-0
Fax (0202) 2837-100
info@art-fabrik-hotel.de
www.art-fabrik-hotel.de
Hotelzimmer: 65,- EUR
Workshop 2: „Erfolg“, 14. + 15.6.2007
Hotel Begardenhof, Köln
Brückstr. 41
50996 Köln-Rodenkirchen
Tel.: (01803) 88 00 13 00
Fax: (01803) 88 00 13 20
E-Mail: info@begardenhof.de
www.begardenhof.de
Hotelzimmer: 73,- EUR
Workshop 3: „Nutzen“, 3.+ 4.7.2007
Hotel Dorotheenhof Weimar
Dorotheenhof 1
99427 Weimar
Tel.: 03643-459-0
Fax: 03643-459-200
info@dorotheenhof.com
www.dorotheenhof.com
Hotelzimmer: 67,- EUR plus 2,- EUR Kulturförderabgabe
Zimmer können ab nächster Woche (5.2.2007) unter dem Stichwort „EQUAL“
gebucht werden.
Rundbrief Nr.4 8