Evaluacija I Monitoring

RAZVOJNE VJE∫TINE NVO-AEvaluacija I MonitoringREGIONALNI CENTAR ZA OKOLI∫za centralnu i istoÆnu Evropu

RAZVOJNE VJE∫TINE NVO-AEvaluacija I MonitoringNapisalaROZALIA BAKOUrediliILDIKO SIMON i CERASELA STANCUREGIONALNI CENTAR ZA OKOLI∫za centralnu i istoÆnu Evropu

O Regionalnom centru za okoliµ (REC-u)Regionalni centar za okoliµ/Åivotnu sredinu za Centralnu i IstoÆnu Evropu (REC) je nezavisna,nepolitiÆka, nestranaÆka, neprofitna organizacija sa misijom da pomogne pri rijeµavanju problemavezanih za okoliµ/Åivotnu sredinu u Centralnoj i IstoÆnoj Evropi (CEE). Centar ispunjava ovu misiju timeµto promoviµe saradnju izme◊u nevladinih organizacija, vlada, biznisa i ostalih uÆesnika uokoliµu/Åivotnoj sredini, podrÅavajuci slobodnu razmjenu informacija i promovisanjem uÆeµ≤a javnostiu procesu donoµenja odluka vezanih za okoliµ/Åivotnu sredinu.REC je osnovan 1990 godine od strane Sjedinjenih AmeriÆkih DrÅava, Evropske Komisije iMa◊arske. Danas, REC se zakonski bazira na Povelji potpisanoj od strane vlada 27 drÅava i EvropskeKomisije, i na Me◊unarodnom Sporazumu sa Vladom Ma◊arske. REC ima sjediµte u Szentendreu,Ma◊arska, i lokalne kancelarije u svakoj od 15 zemalja korisnica CEE koje su: Albanija, Bosna iHerzegovina, Bugarska, Hrvatska, ≠eska Republika, Estonija, Ma◊arska, Latvija, Litvanija, FYRMakedonija, Poljska, Rumunija, SlovaÆka, Slovenija i Srbija i Crna Gora.Skoraµnji donatori su Evropska Komisija i Vlade: Albanije, Belgije, Bosne i Hercegovine, Bugarske,Kanade, ≠eske Republike, Danske, Estonije, Finske, Francuske, NjemaÆke, Italije, Japana, Latvije,Litvanije, Holandije, Poljske, Slovenije, ∫vedske, ∫vicarske, Velike Britanije, Sjedinjenih AmeriÆkihDrÅava i Srbija i Crna Gora kao i ostale me◊u-vladine i privatne institucije.Cijeli sadrÅaj ovog izdanja je autorsko pravo©2002 Regionalnog centra za okoliµ za centralnu i istoÆnu EvropuNiti jedan dio ovog izdanja ne smije biti prodat ni na koji naÆin ili umnoÅen za prodaju bezprethodne dozvole nosioca autorskog pravaISBN: 963 9424 79 XObjavljen od strane:Regionalnog centra za okoliµ za centralnu i istoÆnu EvropuAdy Endre ut 9-11, 2000 Szentendre, Ma◊arskaTel: (36-26) 504-000, Faks (36-26) 311-294,E-mail: info@rec.org, Web strana: www.rec.orgPrevodilac: Asja Rasavac, Dizajn: Sylvia Magyar i Laszlo Falvay,Ilustracija: Laszlo Falvay∫tampano u Ma◊arskoj – TypoNovaOva i sve publikacije REC-a se µtampaju na recikliranom papiru koji je proizveden bez koriµtenjaklorina ili hemikalija na bazi klorina.

SADRÄAJTematski materijal 5Pregled 7Spremni za obuku 9Izvrµenje treninga 11Metode treninga 21Metoda 1: Evaluacijski indikatori 23Metoda 2: KljuÆni informativni intervju 24Metoda 3: Evaluacija treninga do danas 25Metoda 4: Metode treninga: Ko sam ja? Ko smo mi? 26Metoda 5: Dizajn upitnika za evaluaciju treninga 27Metoda 6: MagiÆna olovka 28Prijedlog dnevnog reda radionice 31EVALUACIJA I MONITORING 3

4EVALUACIJA I MONITORING

Tematski MaterijalEVALUACIJA I MONITORING 5

SUB TITLE: MAIN TITLE6EVALUACIJA I MONITORING

TEMATSKI MATERIJALCilj vodiÆaOvaj vodiÆ ima za cilj da NVO i organizatorima pruÅi obuhvatano i praktiÆnorazumijevanje monitoringa i evaluacije. Iako je tako◊e primjenjiv na politiku i programe,pristup je fokusiran na projekat.. Monitoring i evaluacija su povezani sa µirim temamaprojektnog menadzmenta kao i na specifiÆnije teme pisanja prijedloga projekta.Uspjeµan trener ée biti u stanju da:• Identificira korisnike projekta;• Obezbjedi da su korisnici i projektni tim zadovoljni;• Prati budÅet projekta i iskoriµtenost vremena od strane osoblja;• Pripremi izvjeµtaje o progresu u bilo koje vrijeme; i• Mjeri efekte projektnih aktivnosti.Vjeµtine koje treba razvitiVodiÆ za obuku sadrÅi modele i sredstva za razvoj metoda evaluacije imonitoringa,izgradnja vjeµtina potrebnih za dizajniranje i implementaciju tih aktivnostikao µto su:• Komunikacija;• Planiranje;• Informacijski menadzment;• LiderstvoVodiÆ pomaÅe u razvoju sposobnosti za:• Izvrµenje planiranja i diskusija o evaluaciji sa projektnim timom i korisnicima• Postavljanje odgovarajuéih pitanja za otkrivanje daljih potreba i oÆekivanja;• Uspostavu prioriteta;• Postavljanje mjerljivih ciljeva i zadataka;• Obezbje◊enje zdravog toka informacija u sklopu organizacije• Efikasnu komunikaciju sa vanjskim korisnicima;• Prikupljanje svih relevantnih podataka i razvijanje sistema upravljanja;• Delegiranje zadataka Ælanovima tima;• Obezbje◊enje zdravog radnog okruÅenja za projektni tim; i• Procjenu uÆinka tima.SadrÅajVodiÆ objaµnjava pojmove i metode evaluacije i monitoringa. Tako◊e ukljuÆujepristupe dizajniranja i implementacije efikasne strategije evaluacije i monitoringa, uzdnevni red i vjeÅbe koje bi pomogle progresu radionice.8EVALUACIJA I MONITORING

TEMATSKI MATERIJALEvaluacija se uglavnom oslanja na informacije prikupljene regularno tokomimplementacijske faze projekta. Da bi se unaprijedio projektni menadÅment bitno jeobezbjediti sistematiÆno prikupljanje podataka uz sistem evaluacije i monitoringa koji jedizajniran za taj projekt.Realizacija obukeOvaj VodiÆ treba koristiti u kombinaciji sa aktivnostima prezentiranim u metodamatreninga. VeÆina sadrÅaja vodiÆa je dizajnirana tako da se moÅe koristiti kao letak ilimaterijal za Æitanje koji se dijeli uÆesnicima tokom obuke. Trener ga moÅe, ipak,adaptirati u specifiÆni sadrÅaj i vremenski okvir aktivnosti obuke.Spremni za obukuRazumijevanje koncepta monitoringa i evaluacijeZadatak politike za procjenu programa ili projekata je obiÆno delegiran ljudima izvanorganizacije:• Interno: projektni tim, izvrµni tim, odbor;• Eksterno: neovisni eksperti, osnivaÆi, ovlaµtene osobe.TABELA 1Koncepti evaluacije i monitoringa• Cilj predstavlja ukupni zadatak koji projekat trebaispuniti u duÅem periodu. On predvidja razlog zakoriµtenje sredstava odre◊enog projekta. Oni kojisu u to ukljuÆeni moraju na umu imati cilj jer toosnova na kojoj se procjenjuju dostignu≤a. Bitno jeformulisati cilj na naÆin da su ciljne grupe jasnospecificirane• Outputi koje stvara projekat su posljedica njegovihaktivnosti. Æesta greµka projektnog menadÅmenta jemjeµanje outputa sa ciljevima, uz mjesanje sta je toprojekat trebao proizvesti u stvarnosti sarezultatima koji se hipotetiÆki oÆekuju.• Inputi su sredstva, personal, materijali itd koji suinvestirani u projekat. Inputi mogu biti obezbje◊eniod strane donatora-osnivaÆa organizacije iukljuÆuju sve µto je potrebno kako bi projekt izvrsioplanirane aktivnosti i postigao postavljene outpute.• Pretpostavke ovdje predstavljaju one doga◊aje,uslove ili odluke koje su izvan kontrole projekta aza koje se oÆekuje da ≤e se desiti. Pretpostavketreba opisati kao pozitivna stanja u skladu saciljevima i outputima. Ukoliko projekat ovisi ovelikim pretpostavkama koje su takodje neÅeljene,projekat ne treba poceti osim ako ovisnost o takvimpretpostavkama moÅe biti znaÆajno smanjena uzkoriµtenje drugaÆije strategije.• Efikanost je ono Æime se mjeri output projekta –kvalitet i kvantitet – u odnosu na ukupni inputsredstava. Ona pokazuje u mojoj mjeri su naekonomiÆan naÆin razliciti inputi pretvoreni uoutpute. Efikasnost je mjera produktivnostiimplementacijskih procesa: i.e u kojoj mjeri supostignuti rezultati. Efikasna iskoriµtenostupotrebljenih finansijskih, ljudskih i materijalnihresursa. Glavna poteµko≤a u mjerenju efikasnosti jeutvr◊ivanje standarda za mjerenje. Evaluacijski timmoÅe odabrati set standarda koji se odnose na:• SliÆne projekte;• SliÆna iskustva iz drugih projekata; ili• Specificira razumne kriterije.10EVALUACIJA I MONITORING

TEMATSKI MATERIJALI Ælanovi i ne-Ælanovi organizacije imaju prednosti i mane. Tabela 2pojaµnjava neka od generalnih pravila kojim se treba podsjetiti po ovompitanju.Algoritam evaluacijeEvaluacija je kompleksniji proces nego jednostavna aktivnosti. Kako bise obezbjedio uspjeh (pouzdani podaci i zakljuÆci, objektivnost) ovajproces mora biti dobro isplaniran dizajniran i implementiran.Prilikom planiranja evaluacije potrebno je postaviti sljede≤a pitanja:• ∫ta je svrha evaluacije: uÆenje ili kontrola?Oboje je korisno za razvoj organizacije: evaluacija radi uÆenja ima za cilj unaprje◊enjeplaniranja, organizovanja i implementacije organizacijskih ciljeva i zadataka, dokevaluacija radi kontrole je trenutni naÆin za menadÅment koji za cilj ima ispunjenjeciljeva uÆesnika. Evaluacija radi uÆenja je vise interno vo◊ena dok se evaluacija radikontrole Æeµ≤e radi radi vanjskih pritisaka (uÆesnika).• Ko su recipijenti-korisnici evaluacije u organizaciji; organizacija, osnivaÆ ili korisnici?Njihove potrebe i interesi su drugaÆiji i evaluacijski kriterij i indikatori trebaju u skladus tim biti izra◊eni. Na primjer, ista usluga koju projekat pruÅa (besplatan pristupinternetu za djecu zaraÅenu virusom HIV-a) se procjenjuje iz tri razliÆite perspektiveOtkri≤e se ne ogleda samou traÅenju nove zemljenego u posmatranjudrugim oÆima— Marcel Proust• Efikasnost je mjera u kojoj je svrha projektaispunjena u mjeri u kojoj su outputi doprinjeliispunjenju cilja. To pokzuje da li projekat ide uplaniranom cilju. Procjena efikasnosti je diomonitoringa projekta koji je u toku. U ciljuprocjene ciljeva projekta, oni moraju biti specificni,mjerljivi, i vremenski odre◊eni. Æesto ciljevi nisujasno formulirani i veoma su generalni. TipiÆanprimjer je “unaprjedjenje Åivotnih uslova”. U ovimsluÆajevim evaluacijski tim treba imati operativneciljeve koji se baziraju na postojeÆoj projektnojdokumentaciji. OÆekivani rezultati trebaju bitikonkretni i eksplicitni: u gore navedenom primjeru“trosobni stanovi za 50 familija sa malom djecom ugradu X”.• Uticaj znaci predvidjene i nepredvidjeneposljedice projekta. Procjena se ovdje odnosi naciljeve i svrhu projekta i zahtjeva detaljnu istragu.Moze biti posebno problematicno dokazati da suposmatrane promjene nastale usljed odre◊enogprojekta. Razliciti uticaji se mogu desiti u rezlicitovrijeme. Evaluacija treba razmotriti i kratkorocne idugorocne efekte. Evaluacija uticaja se cestoprovodi dok je projekat jos uvijek u toku. U timslucajevima dugoroÆni uticaji se teskopredvidjaju. Infrastrukturani projekti vise trpe brzeuticaje nego na primjer obrazovni.• ZnaÆaj je ukupna procjena toga da li je projekat uskladu sa organizacijskim ciljevima i ciljevimaosnivaÆa. Namjera je razjasniti da li projekat trebaprihvatiti, odbiti ili reformulirati. ZnaÆaj je pitanjeod vitalne vaznosti jer mjeri stepen u kojem seprioriteti projekta slazu sa sirim kontekstomprioriteta. Promjene vanjskih uslova mogu znacitida je sada projekat od manjeg prioriteta. Naprimjer, kada je politicki konflikt rjesen to mozeznaciti da vise nema potrebe za izbjeglickimkampovima.• OdrÅivost je ukupna procjena situacije gdje se odpozitivnih promjena do kojih je doslo radi projekta,oÆekuje da potraju (trajanje uspjeha). OdrÅivost jetakodje test viseg nivoa o uspjehu projekta.OsnivaÆi veliku paÅnju obraÆaju na dugoroÆneizglede i trajna poboljµanja. OdrÅivost sepredstavlja ono µto ée se desiti kada projekat budezavrµen. Uz to bi≤e teµko obezbjediti bilo kakvusigurnu procjenu odrÅivosti dok god projekt joµuvijek traje ili je nedavno zavrµen. Potrebno jestvoriti pretpostavke o budu≤im deµavanjima naosnovu znanja o projektu koje je na raspolaganju ilokalne zajednice.EVALUACIJA I MONITORING 11

TEMATSKI MATERIJALTABELA 2Za i protiv koriµtenja ljudi unutar i izvan organizacije radi procjenePREDNOSTIMANEIz viµe odgovaraju≤eg znanja manja objektivnostAutsajderi manja objektivnost manjak odgovaraju≤egznanja- osnivaÆ ée biti zainteresovan za broj korisnika, cijenu usluga i efekte. Korisnici suzainteresovani za kvalitet usluga (pristup, vrijeme, brzina, pomoé). Organizacija semoÅe zapitati da li su usluge u skladu sa ciljevima i zadacima organizacije.• ∫ta namjeravamo evaluirati: politiku, program ili projekt?∫to je generalnije cilj postavljen to je potrebnija kompleksnija i taÆnija evaluacija.Lakµe je evaluirati projekat nego politiku: potrebno je manje informacija i vremena.TABELA 3Pitanja sa kojima se susre≤emo prilikom izrade evaluacije• Koji je aspekt potrebno evaluirati? Kriteriji iindikatori trebaju biti odabrani u skladu sa svrhom,primaocem i novoom evaluacije.• Koji podaci su potrebni? To zahtjeva odgovaraju≤einstrumente kako bi se prikupili odgovaraju≤ipodaci za evaluacijske kriterije i indikatore -kvalitativne ili kvantitativne.• Koji su izvori informacija najbolji? Najboljaiskustva su kombiniranje formalnih i neformalnih,zvaniÆnih ili privatnih izvora informacija radiboljeg pokrivanja teme.• Koju metodologiju je potrebno koristiti zaprikupljanje podataka? MoÅemo odabratijednostavne i jeftine metode ili sofisticiranije iskuplje u skladu sa ciljevima i budzetskimograniÆenjima.• Na koji naÆin ée se podaci interpretirati? Brojevi iiznosi sami po sebi nemaju puno smisla. Kako bipostali relevantni potrebno e ugraditi ih uevaluacijski kontekst: "25% rasta" - Æega? Upore◊enju sa Æim? U koje vremenskom periodu?Dokazuju≤i µta? Uz koji uticaj?• Kako ≤emo delegirati zadatke u sklopuevaluacijskog tima? Ukoliko odaberemosofisticiranije metode evaluacije bit ée nampotrebne posebne kompetencije kako bismo ihimplementirali (izrada upitnika, vo◊enje grupnihdiskusija itd.) ≠ak i jednostavni zadaci kaoprisustvovanje monitoringu trebaju biti jasnoraspodjeljeni me◊u Ælanovima tima.• Kakav vremenski raspored trebamo napraviti?Monitoring bi trebala biti aktivnost u toku koja bipokrivala Æitavu implementacijsku fazu projekta.∫to se tiÆe obrade podataka i njihove ugradnje, to jepotrebno jasno specificirati u projektnomvremenskom rasporedu.12EVALUACIJA I MONITORING

TEMATSKI MATERIJAL• Ko je izvrµilac projekta: projektni tim ili neovisni eksperti ilioboje? U ve≤ini sluÆajeva oba partera su ukljuÆena a njihovazanimanja, perspektive i interesi su razliÆiti. Bitno je pregovaratio zajedniÆkom razumijevanju onoga µta treba biti evaluirano(kriterij) i na koji naÆin (uz koje indikatore).Nekoliko pitanja moraju biti razmotrena pri izradi evaluacije.Tabela 3 je lista kontrolnih pitanja uz sugestije i pitanja kojemenadzer projekta mora imati na umu.Implementacija evaluacije zahtjeva nekoliko koraka:• organizovanje i davanje instrukcija evaluacijskom timu;• sistematsko prikupljanje potrebnih podataka;• analiza podataka i nacrt zakljuÆaka; i• prezentiranje rezultata u evaluacijskom izvjeµtaju.Tri stadija procesa evaluacije• Monitoring: skupljanje prodataka;• Pregled: strukturiranje podataka radiinterpretacije;• Evaluacija: interpretacija iprezentacija podataka.U stvari evaluacija ukljuÆuje tri stadija. Pregled podataka prije nego evaluacija poÆnemoÅe imati kljuÆnu ulogu u tome da li tim ide u pravom smjeru. Tabela 4 pokazuje kakopregled ide uz monitoring i evaluaciju. Podaci moraju biti prikuplljeni i pregledani prijenego evaluacija poÆne i bitno je biti kritiÆan u vezi sa izjavama ili iznosima koji supredstavljeni kao Æinjenice. Tabela 5 sadrÅi savjete o tome kako procjeniti da li su podacipouzdani ili relevantni.TABELA 4Karakteristike relevantnih i pouzdanih podatakaESENCIJALNI• Povezani sa centralnim elementima koji moguopisati progres projekta;• Opisuju bitna pitanja-polja;• Prikladni su potrebama korisnika kao osnova zaunaprje◊enje menadzmenta;RASPOLOÄIVI• Bazirani na ve≤ registrovanim informacijama;• Izbjegavaju se studije na koje je potrebno potroµitivrijeme i sredstva.JEFTINI• Rezultati opravdavaju toµkove;• Optimalni balans izme◊u veliÆine uzorka ipouzdanosti kod istraÅivanja na terenu.SVJEÄI• Relevantni u odnosu na komponenteprojekta;• Bazirani na posljednjim informacijama odpriznatih (ovlaµtenih) izvora.EVALUACIJA I MONITORING 13

TEMATSKI MATERIJALStrateµko razmiµljanje o evaluaciji"Evaluacija je teret" Æesto se Åale menadÅeri. U stvari sistematsko pra≤enje procesa utoku i izvjeµtavanje o njegovim rezultatima zahtjeva znaÆajno vrijeme i napore. Ipak,dobro planiran i paÅljivo dizajniran okvir evaluacije je od koristi za organizaciju i njeneuÆesnike.Korisnici rezultataevaluacije• Generalna javnost• Korisnici• OsnivaÆi• Partneri i konkurencija• VlastiKoristi od evaluacijeEvaluacija unaprje◊uje razvoj organizacije na strateµkom,taktiÆnom i operativnom nivou:• Strateµki pomaÅe u usaglaµavanju kratkoroÆnih i dugoroÆnihciljeva organizacije;• TaktiÆki doprinosi koriµtenju sredstava radi boljeg ispunjenjaciljeva• Operativno pomaÅe izgradnji realnog vremenskog rasporedai bu◊eta.Hijerarhija projektnih ciljeva (HPC)Projekat se moÅe definisati kao planirani proces dizajniran kako bi se postigleodre◊ene promjene u datom vremenskom periodu i uz koriµtenje odre◊enih sredstava.Projekat se moÅe posmatrati kao lanac uzroka i posljedica na Æetiri nivoa:• Inputi predstavljaju razliÆita sredstva koja se koriste da bi stvorila odre◊eni rezultat(outpute).• Outputi su momentalni rezultati koje treba garantirati projekat.• Svrha je glavna pozitivna promjena koju je projekat predvidio.• Ciljevi su dogoroÆna korist implementiranog projekta.Komponente evaluacijeSvrha evaluacije je procjena na ukupnom nivou. Fokusira se na nekoliko centralnihkriterija koji se zovu komponente evaluacije. KljuÆne komponente evaluacije su nampoznate iz prijedloga projekta: efikasnost, efektivnost, uticaj, znaÆaj i odrÅivost.• Efikasnost: maksimiziranje rezultata iz sredstava koja su na raspolaganju (konverzijainputa u outpute);• Efektivnost: postizanje ciljeva (specifiÆnih, mjerljivih, vremenskih);• ZnaÆaj: kompaktibilnost u µirem smislu; i• OdrÅivost: dugoroÆna postojanost projekta.Strateµko evaluiranje rezultataPromoteri, korisnici i osnivaÆi projekta su zainteresovani da stvore i najave ikratkoroÆne i dugoroÆne rezultate. Sredstva su skromna a konkurencija velika. Uz touspjeh organizacije se pored pet kriterija mjeri u skladu sa HPC modelom kao µto jeprikazano u Tabeli 5.Evaluacija se zasniva na velikom broju podataka koji su prikupljani konstantnotokom implementacijske faze projekta Kako bi se unaprijedio menadÅment projektaveoma je bitno obezbjediti sistematiÆno prikupljanje podataka na naÆin kako je sistemevaluacije dizajniran za taj projekt.14EVALUACIJA I MONITORING

TEMATSKI MATERIJALKriteriji i indikatori evaluacijeSvaka od pet komponenti evaluacije moÅe biti dizajnirana iz drugaÆije perspektive uskladu sa svrhom (uÆenje ili kontrola), nivoom (politika, program ili projekt) ikorisnikom (korisnici, osnivaÆ ili organizacija) evaluacije. Ove perspektive odre◊uju koji≤emo kriterij evaluacije odabrati. Kriterij definiµe µta taÆno treba biti procjenjeno:ukljuÆena sredstva, aktivnosti koje se izvode, postignuti rezultati i efekti intervencije.Indikatori su "jedinice mjere" (kvalitativne ili kvantitativne) odabranog kriterija; "broj","procenat", "nivo" (zadovoljstvo, ukljuÆenost, prisustvo, sedmice, troµkovi, rjeµenisluÆajevi, pokrivenost u medijima itd.) Iz perspektive osnivaÆa najÆeµée procjenjivanasredstva su vrijeme i novac (poµtovanje rokova i budÅeta). Joµ jedan bitan element jeispunjenje ciljeva. Kako bi lako biti procjenjeni, ciljevi moraju biti jasni, mjerljivi, mogu≤iza postizanje, relevantni i vremenski ograniÆeni.Faktori koje treba razmotriti prilikom finansijske analizeRadi oÆiglednih razloga dobar projekt menadÅment ukljuÆuje paÅljivu analizufinansijskih sredstava. UobiÆajena praksa je koriµtenje ko-finansijerske politike idugoroÆnog pristupa finansijskim sredstvima i zahtjevima za racionalne troµkove.Prilikom analiziranje isplativosti projekta u finansijskom smislu, potrebno je prikupitiinformacije o tri glavna aspekta: finansijska odrÅivost, efektivnost troµkova ianaliza isplativosti troµkova.Instrumenti i metode monitoringa i evaluacijePriprema radnog plana evaluacijeRadni plan evaluacije je instrument koji za cilj ima pruÅanje jasnog objaµnjenja o tomeko ée izvrµiti evaluaciju kao i µta je ona, kada ée se desiti i zbog Æega.Priprema evaluacijskih pitanjaGlavna pitanja moraju biti prodiskutovana kako bi se utvrdilo kojiaspekti ée biti evaluirani i koja pitanja zahtjevaju odgovore.Priprema metoda evaluacijeMetoda evaluacije dostignu≤a projekta mora biti izabranapaÅljivo. Kriteriji i indikatori za ovakvu procjenu moraju biti logiÆkipovezani.Radni planRadni plan mora biti napisan na naÆin da jasno opisujevremenske rokove aktivnosti, koji Ælanovi tima ≤e raditi i kako éezadaci biti podjeljeni.DokumentacijaDobra arhiva o aktivnostima organizacije je bitan dio rada naevaluaciji i monitoringu. ≠esto se zanemaruje Æuvanje dokumentacijeo sredstvima, aktivnostima, rezultatima ili uticajima tog projekta.Kako bi se utvrdio nivo promjene do koje je doµlo od vitalnog jeznaÆaja imati sljede≤e komponente na raspolaganju:• sistematski pregled postoje≤e dokumentacije i kljuÆnihinformacija;• opis/cilj projekta, zadaci i aktivnosti;• hronoloµka prezentacija faza projekta i glavnih trenutnihpromjena;Finansijska analiza• Finansijska odrÅivost: Postoji lidovoljno sredstava koja bi pokrilabuduce troµkove nakon µto se trenutnapodrµka povu≤e? Za ovo je potrebnainformacija o operativnim troµkovimaodrÅavanja kao i o raspoloÅivimgrantovima i alokacijama.• Efektivnost troµkova: Mogu li sepostici sli≤ni rezultati sa niÅimtroµkovima? Trebaju vam informacijeo:• troµkovima projekta i projektnihkomponenata;• alternativna sredstva za positizanjeciljeva; i• troµkovi sliÆnih projekata.• Analiza isplativosti troµkova: Mogu itroµkovi projekta biti opravdani usmislu proizvedene koristi? Tozahtjeva informacije o:• proizvedenim robama i uslogama;• uµtedi rada;• socio-kulturnim koristima itd.EVALUACIJA I MONITORING 15

TEMATSKI MATERIJALTABELA 6Koraci implementacije evaluacijePRIPREMA• Odabrati onog koji ée izvrµitievaluaciju;• Formuliranje studije sa ovlaµtenima;• Implementacija studije;• Izvjeµtaj za evaluacijski tim;PRIKUPLJANJE PODATAKA• Pregled dokumenata;• Obavljanje intervjua;• Izrada posebnih terenskih studija;• Posjeta terenu, inspekcije;• Grupne diskusije;• Obavljanje testova itd.ANALIZA PODATAKA• Slaganje, analiza i kontrolapodataka;• Interpretacija podataka;• ZakljuÆci i preporuke.FINALNA FAZA• Prezentacija zakljuÆaka i preporukau izvjeµtaju;• Raspodjela rezultata.• dora◊eni budÅeti.• kopije kljuÆnih projektnih dokumenata;• sumiranje prethodnih procjena projekta; i• zahtjev za pruÅanje informacija od Ælanova projektnog tima i ostalih odgovornihosoba.Tabela 6. pokazuje korisnu kontrolnu listu pitanja koja je potrebno razmotriti tokomevaluacije. Imajte na umu da ova lista nije iscrpna. Umjesto toga ona je minimalni skeletaktivnosti koje treba izvrµiti.Neke od formalnih metoda evaluacijeFormalne metode evaluacije su one koje su nauÆno validne, koje istraÅivaci trenutnokoriste i za koje se smatra da su pouzdane i vaÅe≤e. Kada glavne promjene treba da buduimplementirane - i ukljuÆuju znaÆajna sredstva - opravdano je koriµtenje nekolikonauÆnih metoda, kao µto su formalne ankete, opservacije uÆesnika i direktna mjerenja.To ukljuÆuje znaÆajna sredstva u smislu ekspertiza, vremena i novca.UobiÆajeno koriµtene pojednostavljene metodeVe≤ina projekata srednjeg ranga ne mogu priuµtiti evaluacijske metode kojezahtjevaju sredstva. U tim sluÆajevima jednostavne, pouzdane, metode su dovoljne zaprocjenu projekta. Intervjui su Æesto koriµtena tehnika sa ciljem skupljanja informacija nastrukturiran i fokusirani naÆin: kljuÆni informatori, grupe i fokusirane grupe mogu pruÅitivrijedne i pouzdane podatke kojim bi se mjerili rezultati. Direktna opservacija ineformalne ankete, ukoliko se ispravno koriste, mogu pruÅiti Ævrste podatke koji bidokumentovali promjenu koju je projekat postigao. Tabela 7 navodi neke karakteristikeformalnih i neformalnih tehnika.16EVALUACIJA I MONITORING

TEMATSKI MATERIJALTABELA 7Prednosti i mane formalnih metoda evaluacijeFORMALNE ANKETE• UkljuÆuje koriµtenje pismenih i usmenihintervjua/upitnika;• Prednost: predefinisana pitanja i problemi;• OgraniÆenja: prikupljanje podataka je zahtjevanproces;DIREKTNA MJERENJA• Registracija kvantitativnih ili klasifikovanihpodataka u smislu analitiÆkih instrumenata;• Prednosti: preciznost, pouzdanost, Æesto jeftino;• OgraniÆenja: registruje Æinjenice, bez objaµnjenja.OPSERVACIJE PARTICIPENATA• Detaljne opservacije odabranih sluÆajeva;• Evaluator moze uzeti uÆeµ≤e.• Prednost: odliÆno za razumijevanje procesa;• OgraniÆenja: neprikladno za generaliziranje.TABELA 8Prednosti i mane neformalnih metoda evaluacijeKLJU≠NI INFORMATIVNI INTERVJU• Obezbje◊uje generalne i opisne informacije odindividua;• Prednost: fleksibilan i detaljan pristup;• OgraniÆenja: rizik od subjektivnosti;GRUPNI INTERVJU• Generira direktnu informaciju o ljudima na kojeprojekat utiÆe;• Prednost: mali troµkovi, efikasnost, direktan kontakt;• OgraniÆenje: diskusija moÅe biti manipulisana.FOKUSIRANI GRUPNI INTERVJUI• Za analizu detalja, kompleksnih problema;• Identificira ponaµanje i prioritete manjih grupa;• Prednosti; kreativno, efikasno;• OgraniÆenja: zahtjevne metode; rizik odpristrasnosti:DIREKTNE OPSERVACIJE• Inspekcija, posjete terenu, opservacije o koriµtenjuinfrastrukture, usluga;• Prednosti: pruÅa detaljniji uvid;• OgraniÆenja: ovisnost o razumjevanju i opservacijiopservatora.NEFORMALNA ANKETA• Kvantitativne ankete malih uzoraka;nevjerodostojnost procedure uzimanja uzoraka ;• Prednost: razuman i rapidan naÆin dobijanjakvantitativnih podataka;• OgraniÆenja: rizik od generaliziranja greµaka koduzimanja uzoraka.EVALUACIJA I MONITORING 17

TEMATSKI MATERIJALRazliÆiti rasprostranjeni pristupiNakon monitoringa, pregleda i evaluacije rezultata projekta, vrijeme je za slaganje,prezentiranje i pohranjivanje relevantnih podataka. Postoji nekoliko formata za oveprocese: sumiranje, bibliografija, godiµnji izvjeµtaji, tematski izvjeµtaji, seminari i bazepodataka.• Sumiranje: opis projektnih aktivnosti uz zakljuÆke i preporuke.• Bibliografija: godiµnji inventari anketa, kratkih bibliografija o evaluacijskimizvjeµtajima.• Tematski izvjeµtaji: prezentiranje teme, uz primjere iz specijalnihg studija.• Seminari: prezentacije i diskusija o rezultatima sa onima koji su bili ukljuÆeni uprojekat.• Baze podataka: Elektronsko skupljanje podataka do koji se moÅe lako doéi.NajÆeµéi format prezentacije podataka su evaluacijski izvjeµtaji (tabela 8 predstavljastandardni format). Aktualni izvjeµtaj ée najvjerovatnije biti dora◊en kao bi se slagao sapreciznim karakterom studije.Tabela 8.18EVALUACIJA I MONITORING

TEMATSKI MATERIJALTABELA 8Standardni format evaluacijskog izvjeµtajaNASLOVNA STRANICA• Naziv projekta (zvaniÆna dezignacija);• Vrsta evaluacije (faze evaluacije, finalno, uticajstudije);• Stanje izvjeµtaja (nacrt ili finalna verzija);• Klijent evaluacije (za koga je izvjeµtajpripremljen);• Autori (individua ili grupa imena)PRIJEDLOG SADRÄAJA• Izvrµni rezime zakljuÆaka i preporuka(4-6 stranica);• Uvod• pozadinske informacije o evaluaciji;• kratak opis projekta;• koja je evaluacijska metoda koriµtena -detaljno;• struktura izvjeµtaja.• ZnaÆaj projekta• kontekst i razlozi za iniciranje projekta;• promjene u kontekstu projekta tokomimplementacije;• znaÆaj projekta u odnosu a regionalne/lokaneprioritete;• znaÆaj u odnosu na prioritete donatora.• Efektivnost• ciljevi pri izradi projekta;• aktuelno postignuti rezultati;• faktori koji utiÆu na postizanje ciljeva.• Uticaj projekta• lokalni prioriteti, potrebe i potraÅnja;• predvi◊eni i nepredvi◊eni efekti na ciljnegrupe i ostale;• uticaj na institucionalnom nivou;• faktori koji objaµnjavaju uticaj projekta.• OdrÅivost• omjer u kojem ≤e projekat postati odrÅiv;• faktori koji utiÆu na odrÅivost (politiÆki,finansijski).• NauÆene lekcije• operativne lekcije (koje se odnose na samprojekat);• razvojne lekcije (koje se odnose na µirikulturalni kontekst).• ZakljuÆci i preporuke• zakljuÆci (Æinjenice);• preporuke (za ubudu≤e).• Efikasnost• progres projekta u odosu na plan;• troµkovi i iskoriµtenost sredstava u odnosu nabudÅet i plan;• dostignu≤a;• rezultati u odnosu na iskoriµtenost sredstava.EVALUACIJA I MONITORING 19

20EVALUACIJA I MONITORING

Metode TreningaEVALUACIJA I MONITORING 21

22EVALUACIJA I MONITORING

METODE TRENINGA: EVALUACIJSKI INDIKATORIMetoda 1: Evaluacijski indikatoriOpis: Dizajniranje instumenata za mjerenje pet komponenataevaluacije projekata: efikasnost, efektivnost, uticaj, znaÆaj i odrÅivost.UÆesnika: Pet jednakih grupaTrajanje: 45 minutaMaterijali: Pripremljeni materijal za svakog uÆesnika i tabla za pisanjeProcedura:1UÆesnici2Svaka3Naidentifikuju, na osnovu standardnih formata evaluacijskih izvjeµtaja,elemente koji mogu posluÅiti za mjerenje uspjeha pet komponenti nekogimaginarnog projekta.od pet grupa je odgovorna za izradu jedne komponente.kraju vjeÅbe svaka grupa napiµe svoje ideje na papiru na tabli. Facilitator dajepodrµku za svih pet grupa, pomaÅe im da formuliµu ideje i daju objaµnjenja ukolikoje potrebno.DiskusijaSvaka grupa ukratko izvjeµtava ostatak grupe o svojim nalazima.1EVALUACIJA I MONITORING 23

METODE TRENINGA: KLJUÆNI INFORMATIVNI INTERVJUMetoda 2: KljuÆni informativni intervjuOpis: Identificiranje kljuÆnih informacija i postavljanjerelevantnih pitanja o projektu.UÆesnici: ≠itava grupaTrajanje: 20-30 minutaProcedura:1Pitajte2Evaluator3Trenerpet uÆesnika da volontiraju u sljedeéim ulogama: evaluator projekta,korisnik, Ælan lokalne zajednice, predstavnik medija i predstavnik osnivaÆa. Oniformiraju zatvoren krug. Ostatak grupe predstavlja vanjski krug opservatora.projekta postavlja dva do tri pitanja svakom uÆesniku o imaginarnimprojektima (npr. Da li ste zadovoljnim sa postignutim? Da li su rezultati isplativi uodnosu na troµkove?) Odgovori mogu biti kontradiktorni.se ponaµa kao moderator i interveniµe samo ukoliko do◊e do konfliktame◊u kljuÆnim uÆesnicima ili sa evaluatorom projekta.DiskusijaOpservatori daju svoje miµjenje i sliÆnostima i razlikama.224EVALUACIJA I MONITORING

METODE TRENINGA: EVALUACIJA TRENINGA DO DANASMetoda 3: Evaluacija treninga do danasOpis: Procjena progresa u uÆenju i poteµko≤e sa kojima su sepolaznici sreli do danas.UÆesnika: Pet jednakih grupaTrajanje: Pet do sedam minutaMaterijali: UpitniciProcedura:1UÆesnici2Sljede≤etrebaju popuniti upitnike iskreno, otvoreno i anonimno.vrste pitanja treba postaviti:• ∫ta su najbitnije stvari koje ste nauÆili?• Sa kojim poteµko≤ama ste se suoÆili?• Koji momenat za Vas liÆno je bio najupeÆatljiviji?• Pitanja, sugestije, komentari.DiskusijaPoÆeti naredni dan sa kratkim rezimeom povratnih informacija koje je dala grupa,koriste≤i mogu≤nost iznoµenja bilo kakvih problema, nesporazuma ili zahtjeva.3EVALUACIJA I MONITORING 25

METODE TRENINGA: KO SAM JA? KO SMO MI?Metoda 4: Ko sam ja?Ko smo mi?Opis: Evaluacija i izraÅavanje liÆnog vi◊enja i grupnog vi◊enja..UÆesnici: Mala grupaTrajanje: 15 minutaProcedura:1UÆesnici2Nakon3Nekanapiµu sedam stvari o sebi (karakteristike, prednosti, slabosti itd.) -3 osobine kao organizatora i tri osobine kao individue.toga, u grupi od Æetiri ili pet, uÆesnici razmjenjuju liÆne procjene sa svojimÆlanovima tima.svaka grupa pokuµa govorom tijela izraziti generalnu sliku Æitave grupe. Nekamala grupa napravi sintezu individualnih komponenti (ljudi) kako bi pruÅilakolektivnu sliku o sebi, kao µto bi i organizacija Åeljela.DiskusijaNije li organizacija niµta viµe nego zbir njenih dijelova? Je li to viµe nego grupa ljudikoji u njoj rade? Koliko organizacija treba adaptirati snagu svojih radnika? Da li su grupniizrazi pogodili individualne Ælanove grupe?426EVALUACIJA I MONITORING

METODE TRENINGA: DIZAJN UPITNIKA ZA EVALUACIJU TRENINGAMetoda 5: Dizajn upitnikaza evaluaciju treningaOpis: VjeÅbanje kljuÆnih evaluacijskih vjeµtina:komunikacijske vjeµtine.UÆesnici: ≠etiri jednake grupeTrajanje: 20-30 minutaMaterijal: Table za pisanje i markeri za svaku grupuProcedura:1Zamolite2Svaka3Facilitatorsvaku grupu da odabere jedan od kriterija koji treba evaluirati: sadrÅaj,proces (grupna dinamika), facilitiranje ili logistika treninga..grupa ima 20 minuta da dizajnira set relevantnih pitanja za odabrane kriterijei napiµe ih na tabli.naglaµava najbolje formulirana pitanja kod svake grupe i otkriva da suupravo dizajnirali evaluacijski upitnik za ovaj trening i da ≤e biti zamoljeni daodgovore na Æetiri kategorije pitanja na narednom sastanku/sesiji.5EVALUACIJA I MONITORING 27

METODE TRENINGA: MAGI≠NA OLOVKAMetoda 6: MagiÆna olovkaOpis: PronalaÅenje znaÆajnog i plodonosnog naÆina zazavrµetak treninga kao i pruÅanje korisnih informacija treneru.UÆesnici: Kao grupa, sjede u krug.Trajanje: 10 minutaMaterijali: MagiÆna olovkaProcedura:1Prosljedite2ZahvalitemagiÆnu olovku svakom uÆesniku kako bi otkrili svoje miµljenje oprocesu sticanja znanja i to u jednoj reÆenici.se uÆesnicima na njihovom uÆeµ≤u uz ljubazne komentare i zavrµitetrening.628EVALUACIJA I MONITORING

Primjer DnevnogReda RadioniceEVALUACIJA I MONITORING 29

30EVALUACIJA I MONITORING

PRIJEDLOG DNEVNOG REDA RADIONICEKako uraditi treningOvaj prijedlog dnevnog reda ima za cilj da Vam nadalje pomogne da planirate treningo evaluaciji i monitoringu uz koriµtenje razliÆitih elemenata iz ovog priruÆnika i metoda.Njegova taÆna upotreba, u kombinaciji sa ostalim aktivnostima, treba biti zasnovana natome µta Vi znate o iskustvima i oÆekivanjima polaznika treninga kao i vremenu kojeimate na raspolaganju za sprovo◊enje treninga. Uz teme treninga, primjerak dnevnogreda navodi aktivnosti koje mogu predloÅiti interaktivne elemente Vaµeg treninga.Prijedlog dnevnog redaDio 1 UvodKATEGORIJA SVRHA PRIJEDLOG AKTIVNOSTIUpoznavanje uÆesnika i Upoznavanje UÆesnici predstave sebe,trenerasvoje organizacijei oÆekivanjaUpoznavanje sa temom Pojaµnjenje pojmova ∫ta je monitoringevaluacije i monitoringa i evaluacijaUpoznavanje sa dnevnim Postavljanje ciljeva uÆenja Materijali, pojaµnjenja,redompitanjaDio 2. Finansijska analizaKATEGORIJA SVRHA PRIJEDLOG AKTIVNOSTIAktivnost male grupe Dizajn indikatora Metoda 1. IndikatorievaluacijeFinansijska analiza Upoznavanje sa metodama Predavanja/prezentacijeiznaÆajem odgovarajuéefinansijske analizeGrupne aktivnosti UÆenje kako bi se Metoda 2. KljuÆnispoznale razliÆite perspektive informativni intervjuDio 3 MetodeKATEGORIJA SVRHA PRIJEDLOG AKTIVNOSTIMetode monitoringa i Upoznavanje sa razliÆitim Prezentacije/materijalievaluacijemetodamaPlan rada evaluacije Priprema plana rada evaluacije predavanja, uÆioniceDokumentacija za Dijeljenje i nalaÅenje novih Razmjena ideja i miµljenjamonitoring i evaluaciju pristupaEVALUACIJA I MONITORING 31

PRIJEDLOG DNEVNOG REDA RADIONICEPrimjer dnevnog reda - nastavakDio 4. Grupni intervjuKATEGORIJA SVRHA PRIJEDLOG AKTIVNOSTIGrupni intervju Upoznavanje sa temom Anegdote, predavanjaPregled Pregled aktuelnih materijala Trener napiµe osnovne idejenaglaµavanje glavnih taÆaka na tablu da ih vide sviuÆesniciEvaluacija dana NauÆiti kako unaprijediti prvi Metoda 3. Evaluacijadio treningatreninga do danasDio 5. EvaluacijaKATEGORIJA SVRHA PRIJEDLOG AKTIVNOSTILiÆna evaluacija Ohrabrivanje uÆesnika da Metoda 4.Ko sam ja?sami sebe evaluirajuKo smo mi?Evaluacijske vjeµtine Upoznavanje sa evaluacijskim Predavanja/prezentacijevjeµtinamaEvaluacija u praksi VjeÅbanje evaluacijskih vjeµtina Par/grupni rad, diskusijeDio 6 IzvjeµtavanjeKATEGORIJA SVRHA PRIJEDLOG AKTIVNOSTIIzvjeµtavanje Upoznavanje sa osnovama Prezentacije/ predavanjapitanja izvjeµtajaInformacijski menadÅment IstraÅivanje raznih naÆina Razmjena ideja i miµljenjaza upravljanje informacijamaPoteµko≤e u evaluaciji PrevazilaÅenje problema Diskusije malih grupaprojektau evaluaciji projektaDio 7 Algoritam evaluacijeKATEGORIJA SVRHA PRIJEDLOG AKTIVNOSTIProces evaluacije Cjeniti kompleksnost procesa PrezentacijeevaluacijeGrupni rezultati Evaluacija rezultata grupe Nacrti izvjeµtajaDiskusija Finalna pitanja i evaluaciji Otvoreni forumiDio 8 KrajKATEGORIJA SVRHA PRIJEDLOG AKTIVNOSTIDizajn Dizajn upitnika Metoda 5. Dizajn upitnikaza evaluaciju treningaFinalni trening Popunjavanje upitnika i diskusija UpitniciSumiranje Finalni komentari i feedback Metoda 6. MagiÆna olovka32EVALUACIJA I MONITORING

Regionalni centar za okoliµ/Åivotnu sredinu za Centralnu i IstoÆnu Evropu (REC) jenezavisna, nepolitiÆka, nestranaÆka, neprofitna organizacija sa misijom dapomogne pri rijeµavanju problema vezanih za okoliµ/Åivotnu sredinu u Centralnoj iIstoÆnoj Evropi (CEE). Centar ispunjava ovu misiju time µto promoviµe saradnjuizme◊u nevladinih organizacija, vlada, biznisa i ostalih uÆesnika u okoliµu/Åivotnojsredini, podrÅavajuci slobodnu razmjenu informacija i promovisanjem uÆeµ≤ajavnosti u procesu donoµenja odluka vezanih za okoliµ/Åivotnu sredinu.REC je osnovan 1990 godine od strane Sjedinjenih AmeriÆkih DrÅava, EvropskeKomisije i Ma◊arske. Danas, REC se zakonski bazira na Povelji potpisanoj od stranevlada 27 drÅava i Evropske Komisije, i na Me◊unarodnom Sporazumu sa VladomMa◊arske. REC ima sjediµte u Szentendreu, Ma◊arska, i lokalne kancelarije usvakoj od 15 zemalja korisnica CEE koje su: Albanija, Bosna i Herzegovina,Bugarska, Hrvatska, ≠eska Republika, Estonija, Ma◊arska, Latvija, Litvanija, FYRMakedonija, Poljska, Rumunija, SlovaÆka, Slovenija i Srbija i Crna Gora.Skoraµnji donatori su Evropska Komisija i Vlade: Albanije, Belgije, Bosne iHercegovine, Bugarske, Kanade, ≠eske Republike, Danske, Estonije, Finske,Francuske, NjemaÆke, Italije, Japana, Latvije, Litvanije, Holandije, Poljske,Slovenije, ∫vedske, ∫vicarske, Velike Britanije, Sjedinjenih AmeriÆkih DrÅava iSrbija i Crna Gora kao i ostale me◊u-vladine i privatne institucije.Evaluacija I Monitoring