La valutazione di impatto sociale dei progetti delle ... - Cesvot

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoUniversità degli Studi di SienaDipartimento Scienze Storiche, Giuridiche, Politiche e SocialiLa valutazione di impatto sociale dei progettidelle associazioni di volontariatoProposta di un modelloRapporto finaleA cura diLorenzo Nasi e Andrea VolterraniSupervisione scientifica: Prof. Roberto De Vita1

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoIndice1. Il contesto dei processi di valutazione p. 31.1 Tipologie e metodi di valutazione dei progetti p. 81.2 Finalità e benefici della valutazione dei progetti p. 131.3 Modalità di valutazione p. 152. I progetti del percorso di innovazione 2002 p. 183. i criteri di analisi dei progetti p. 303.1 Le variabili della scheda di valutazione ex ante p. 303.2 I risultati della valutazione ex ante p. 324. Alla ricerca degli indicatori per la valutazioneL’approfondimento qualitativo dei progetti p. 334.1 La metodologia qualitativa p. 354.1.1 La raccolta dati p. 374.1.2 Analisi ed elaborazione del materiale raccolto p. 384.2 La traccia delle interviste non strutturate p. 394.3 I percorsi per la costruzione degli indicatori edei modelli di valutazione di impatto sociale p. 415. Le tipologie, le aree e gli indicatori per il processodi valutazione. La proposta di modello p. 435.1 La griglia principale del modello p. 435.1.1 I punteggi p. 445.2 Gli schemi di interviste non strutturate e difocus group previsti nel modello di valutazione p. 805.2.1 Per la valutazione di processo p. 805.2.2 Per la valutazione ex post p. 825.2.3 Per la valutazione di impatto sociale p. 835.3 Linee guida dei percorsi per la valutazione p. 886. Riferimenti bibliografici p. 892

La valutazione di impatto sociale dei progetti delle associazioni di volontariato1. Il contesto dei processi di valutazioneCome afferma Bezzi (2003:60) la valutazione “è principalmente (ma nonesclusivamente) un’attività di ricerca sociale applicata, realizzata, nell’ambitodi un processo decisionale, in maniera integrata con le fasi di progettazione eintervento, avente come scopo la riduzione della complessità decisionaleattraverso l’analisi degli effetti diretti ed indiretti, attesi e non attesi, voluti enon voluti, dell’azione, compresi quelli non riconducibili ad aspetti materiali; inquesto contesto la valutazione assume il ruolo peculiare di strumentopartecipato di giudizio di azioni socialmente rilevanti, accettandonenecessariamente le conseguenze operative relative al rapporto fra decisori,operatori e beneficiari dell’azione”.Ognuno degli aspetti individuati in questa definizione apporta sia un valoreaggiunto sia conseguenze teoriche e pratiche all’attività di valutazione.Innanzitutto il fatto che sia un’attività di ricerca sociale, garantisce il rigore e lacorrettezza metodologica. In secondo luogo è la necessità di poter recuperaretutte le basi informativi disponibili e la tendenza a coinvolgere nel processovalutativo i decisori, gli operatori e, dove possibile, anche i beneficiaridell’intervento, In terzo luogo è importante sottolineare l’obiettivo delleriduzione della complessità decisionale come scopo primario dei processivalutativi e, se vogliamo che la valutazione abbia senso è fondamentale: a)una autentica partecipazione alla valutazione e b) non si devono condividere gliobiettivi di ciò che stiamo valutando, ma, piuttosto, trovare un accordo sulleprocedure della valutazione e, soprattutto, accettare le conseguenze operativedella valutazione governando i meccanismi di potenziale conflitto.I tre aspetti sottolineati consentono di inquadrare i processi di valutazione nelcontesto più ampio della progettazione, della programmazione e dellagovernance territoriale.3

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoLe classiche tipologie dei processi di valutazione 1 sono le seguenti:i. ex-anteii. in itinereiii. ex-postIn realtà è necessario “esplodere” ciascuna categoria per approfondire alcuniaspetti dei processi di valutazione.La valutazione ex-ante è spesso poco considerata e praticata nell’ambito deiprocessi di valutazione, perché confusa o ritenuta coincidente con l’analisi deibisogni e/o del contesto. Prima di iniziare qualsiasi attività progettuale è,invece, possibile effettuare almento tre tipologie di valutazione ex-ante:iv. la valutazione ex-ante degli impatti che in genere siconcretizza attraverso ricerche di natura previsionalesull’ambito di riferimento del progetto;v. la valutazione ex-ante degli effetti che viene effettuataquando sono stati definiti gli scenari e la strategiaprogettuale;vi. la valutazione ex-ante dell’implementazione che vieneeffettuata appena prima della fase operativa del progetto.Un elemento da sottolineare nell’ambito della valutazione ex-ante e dipotenziale utilità nell’ambito dei progetti dei percorsi di innovazione oggettodella presente ricerca, sono le differenze fra la costruzione di ipotesi e scenariprobabilistici e la selezione dei progetti (tabella 1).Quali sono i problemi che è possibile incontrare nella selezione dei progetti?Innanzitutto spesso non vi è coincidenza fra costruttore e utilizzatore dellostrumento di valutazione accompagnata da una scarsa esperienza valutativanell’utilizzatore. In secondo luogo non è sempre possibile ricostruire ex-postquali logiche di valutazione sono state utilizzate.Entrambe le attività sono importanti nel processo di valutazione, ma lecaratteristiche della selezione indicate possono essere ampliate (come1 Su questi vedi Palumbo (2001).4

La valutazione di impatto sociale dei progetti delle associazioni di volontariatovedremo più avanti, ad esempio utilizzando uno strumento di valutazionepartecipato) e meglio mirate per selezionare progetti maggiormente coerenti eadeguati.Tabella 1 – Differenze fra la valutazione ex ante generale e la selezione deiprogettiElementi caratterizzantiReferenzialitàQualità delleinformazioni su cui sibasa la valutazioneEvidenzedell’interpretazioneFonte: Bezzi C. (2003)Valutazione ex antegenerale (costruzione diipotesi e scenariprobabilistici)Etero: la costruzione discenari e ipotesi sipoggia sulla maggiorquantità di informazionidisponibili tratte da fontidiversePuò essere stimata unaad una perché è ilvalutatore che le scegliePossono essere mostratee quindi diversamentevalutate da altrovalutatoreValutazione ex anteintesa come selezionedei progettiAuto: la valutazioneviene basata quasiesclusivamente sulledichiarazioni presenti nelprogetto valutatoScarsamente stimabile:in realtà ciò che puòessere giudicato è solola qualitàdell’argomentazioneHanno un carattereimplicito legato algiudiziosull’argomentazionepresentata. Maggioreintruzione soggettiva delvalutatoreRispetto alla valutazione ex-post (figura 1) sono da rilevanti per il nostropercorso di ricerca le differenze fra:- le realizzazioni del progetto che dovrebbero essere accuratamenteprogrammate;- i risultati del progetto che sono previsti ex-ante;- gli impatti che spesso esprimono solo un’intenzionalità generale e nonspecifica- i risultati inattesi che non sono previsti e spesso sono sgraditi.5

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoFigura 1 – Fasi del processo di valutazione ex-postProgetto ointerventoprogrammatoFattoriintervenientiConclusione ovalutazioneintermediaRisultati attesie desideratiRealizzazioniRisultatiauspicati edesideratiEffettiImpattiRealizzazioni, effetti,impattiRisultatiinattesiValutazioneorentata agliobiettiviValutazionesvincolatadagli obiettiviFonte Bezzi (2003)Un ultimo rilievo riguarda la valutazione partecipata che potrebberappresentare uno degli assi portanti della valutazione nell’ambito dei progettipresentati dalle associazioni di volontariato nei percorsi di innovazione. Seosserviamo la figura 2 possiamo notare che un alto grado di partecipazione allavalutazione e una estensione massima della partecipazione, prevede uncoinvolgimento di tutti gli stakeholder di quel progetto.6

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoFigura 2 – Grado di profondità della valutazione partecipataGrado dipartecipazioneCoproduzionetotaleEstensionedellapartecipazioneCommittentiAssociazionivolontariatoValutazioneesternaLegendaCoinvolgimento di tutti gli stakeholderValutazione pluralista con responsabilità dei valutatoriValutazione collaborativa con coinvolgimento limitatoValutazione con limitato coinvolgimentoFonte adattata da Riquier (1997)Lo sforzo organizzativo e gestionale per raggiungere obiettivi sensati nellavalutazione è evidentemente più ampio rispetto alle altre possibilità evidenziate7

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoin figura (ad esempio rispetto a quella che prevede solo valutatori esterni edestensione nella partecipazione).Ma la valutazione partecipata ha alcuni vantaggi nel contesto di nostrointeresse. In primo luogo la possibilità di un confronto paritario fra tutti isoggetti coinvolti nella progettualità (associazioni di volontariato, centroservizi, beneficiari intermedi e finali). In secondo luogo il processo divalutazione diventa un processo di apprendimento condiviso che puòcontribuire a migliorare sia la progettualità sia gli impatti delle attività previste.Infine non è da sottovalutare il miglioramento dell’operatività dei progettistessi attraverso un confronto continuo fra i soggetti coinvolti.1.1 Tipologie e metodi di valutazione dei progetti 2Nei paesi di cultura anglosassone, teoria e tecnica della valutazione si sonoevolute e differenziate a seguito delle numerose sperimentazioni sulle diversetipologie di programmi e progetti finanziati da governi pubblici di ogni livelloistituzionale. In Italia, solo a partire dai primi anni novanta si è accumulato unsignificativo interesse per le problematiche della valutazione, tuttavia leesperienze effettive di valutazione sono ancora nello loro fase iniziale mentreprofessionalità e cultura della valutazione si consolidano con estrema lentezza.La valutazione dei progetti è attività complessa che non individua una precisatipologia. Ogni qualvolta si affronta, per diverse ragioni, il tema dellavalutazione dei progetti, non è raro imbattersi nell’uso di espressioni comeanalisi costi benefici, valutazione d’impatto, valutazione di processo,valutazione degli effetti. Generalmente, tali espressioni sono utilizzateindifferentemente come sinonimi della valutazione dei progetti. In realtà, lamigliore letteratura in materia riconosce come questi possano megliorappresentare alcuni possibili “componenti” o moduli di un processo valutativo.Poiché ciascuno di questi moduli, rappresenta di per sé una tipologia valutativa2 Parti di questo paragrafo e dei paragrafi 1.2 e 1.3 sono tratte da Bezzi (2003), Palumbo(2001), Rossi, Lipsey e Freeman (2004).8

La valutazione di impatto sociale dei progetti delle associazioni di volontariatocon propri output e peculiari finalità conoscitive, accade spesso chel’implementazione di un percorso valutativo non li consideri tutti ma si limitiall’applicazione di uno solo dei suddetti modelli.La figura 3 fornisce una panoramica sintetica sulle principali tipologie divalutazione e sui rispettivi output informativi. È importante sottolineare chequalsiasi processo valutativo, concretizzandosi in un esame approfondito delprogetto, produce ulteriori benefici informativi, quali, ad esempio, dati utili amigliorare il disegno del progetto, la sua implementazione, l’allocazione dellerisorse, indicazioni su modalità alternative di erogazione di un servizio/attività,suggerimenti in merito all’esistenza di “pratiche” e procedure che indeterminate situazioni operative sono più efficaci di altre o, infine, elementiutili a comprendere per quali ragioni lo stesso progetto produce effettidifferenti in ambiti diversi o su determinate categorie di “destinatari” rispettoad altre.Figura 3 - Le principali tipologie di valutazioneTIPOLOGIA OGGETTO PRINCIPALI RISULTATIVALUTAZIONE DEIBISOGNIEVALUABILITYASSESSMENTPROCESSEVALUATIONANALISI COSTIBENEFICIÈ finalizzata all’individuazione delle diversetipologie bisogni ed esigenze non soddisfatte,verificandone l’entità e la distribuzioneterritoriale all’interno del contesto socioeconomico servito. Il fine è quello diverificare l’esistenza di programmi idonei adaffrontare tali problematiche.Forma di pre-valutazione volta a stabilire seil progetto è tecnicamente ed utilmentevalutabile, se è stato concepito in una logicadi orientamento ai risultati e se ilmonitoraggio e la valutazione del progettopuò favorire l’individuazione di interventi peril suo miglioramentoValuta la realizzazione del progetto in terminidi conformità rispetto a quanto progettato, aquanto atteso dai destinatari, a quantostabilito da standard e procedure operazionaliTipologia di analisi volta alla comparazionetra gli effetti del progetto (e/o i suoi output)ed i costi sostenuti per produrli. L’analisicosti/efficacia mira alla determinazione deicosti sostenuti per raggiungere ogni singolo- Specificazione delle esigenze della clientelaservita- Analisi di contesto- Dinamica di problematiche sociali specifiche- Analisi del gap tra servizi erogati e bisogni dasoddisfare- Analisi di contesto- Modello logico del progetto- Definizione di indicatori di risultato e criteri divalutazione del successo- Esame della “valutabilità” del progetto- Descrizione dettagliata delle modalità diattuazione del progetto- Confronto modalità attuative pianificate vs.realizzate- Analisi delle cause del disallineamento- Definizione di tutti i costi (diretti, indiretti,monetari, non monetari) associati al progetto- Stima del “valore” degli effetti del progetto- Confronto “value for money”9

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoobiettivo del progetto consideratoSi focalizza sull’efficacia del progetto everifica il grado in cui gli obiettivi di impattoassegnati al progetto sono stati raggiunti.OUTCOMEL’analisi considera sia gli effetti attesi cheEVALUATIONquelli non previsti/prevedibili e puòestendersi all’esame di alcune variabili diprocesso per interpretare le cause deglieffetti verificatisiÈ finalizzata alla verifica dell’impatto netto diun progetto attraverso il confronto tra gliVALUTAZIONEeffetti generati direttamente dallo stesso eD’IMPATTOciò che si sarebbe verificato in assenza delprogetto in forza di fattori/variabili esterniFonte: adattato da Bezzi (2003)- Ricognizione dettagliata degli effetti delprogetto- Identificazione di effetti collaterali non attesi- Definizione di relazioni causali tra effettirilevati e interventi realizzati- Individuazione dei fattori primari da cuidipende l’efficacia complessiva del progetto- Determinazione del valore e del merito delprogetto- Confronto tra effetti attesi e conseguenze(negative) non previste- Stima dell’effetto netto del progetto- Definizione di relazioni causali tra effettirilevati e interventi realizzatiDefinito “cosa” si debba valutare e scelta la tipologia di valutazionemaggiormente rispondente alle esigenze dell’organizzazione, un passaggio diassoluto rilievo per le sue implicazioni riguarda il disegno del “come” effettuarela valutazione. All’interno della vasta letteratura teorica ed operativa, si è solitidistinguere tra metodi quantitativi e metodi qualitativi.I metodi quantitativi si fondano sull’utilizzo di un approccio ipoteticodeduttivo in base al quale si costruiscono delle ipotesi interpretative e si valutain che misura l’osservazione diretta “confermi” tali ipotesi.Tra i principali metodi quantitativi si ricordano il metodo sperimentale e quelloquasi sperimentale.Valutazione sperimentale: questo metodo prevede la costituzione di duegruppi di riferimento (gruppo sperimentale e gruppo di controllo), unosottoposto al progetto, l’altro escluso. I componenti dei due gruppi sonoselezionati in modo casuale e la valutazione scaturisce dal confronto deicomportamenti nei due gruppi, ciò al fine di “isolare” gli effetti riconducibili allasomministrazione del progetto. Il procedimento prevede che sia individuata emonitorata una variabile quantitativa (o più variabili) sulla quale si ritiene cheil progetto produrrà i suoi effetti.10

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoIpotizzando che gli effetti del progetto siano tanto più positivi quanto piùelevato è il valore assunto dalla variabile osservata “Z O ”, sulla base dei valoririlevati si giunge alla conclusione che il progetto ha avuto un effetto benefico.Tale conclusione è da ritenersi valida nell’assunzione che nei due gruppi,costituiti in modo casuale, la variabile osservata assumesse prima dellasomministrazione del progetto sostanzialmente lo stesso valore. Al fine diverificare l’attendibilità di tale ipotesi, spesso si ritiene preferibile svilupparedue osservazioni, una prima del progetto ed una successiva alla suasomministrazione.I valori riportati a titolo esemplificativo nella tabella dimostrano comel’esecuzione di un’osservazione pre-progetto possa condurre a valutazioniopposte a quelle dell’esempio precedente. Si potrebbe, infatti, argomentareche il miglioramento della variabile osservata è da ricondurre a fattori esogenial progetto e che la somministrazione del progetto di fatto ha rallentatol’azione di tali fattori 3 .Valutazione non sperimentale (o quasi sperimentale): metodo in cui lasituazione controfattuale non necessariamente conduce alla costituzione di ungruppo di controllo. La valutazione scaturisce dall’esame e dal confronto di unset di variabili prima e dopo la somministrazione del progetto. Tale metodo siconcretizza nella costruzione ed analisi della serie temporale dei valori Z 1 , Z 2 ,Z 3 ,..,Z N assunti dalla variabile “z” sulla quale si ritiene che il progetto eserciti lasua “influenza”.La valutazione qualitativa si caratterizza, invece, per un prioritario focusdescrittivo e per un approccio induttivo. L’applicazione di metodi qualitativi,quale, ad esempio, quello dei case studies, richiede un forte coinvolgimentodiretto del personale nella raccolta di dati ed informazioni utili alla descrizioneed interpretazione del progetto e dei suoi effetti. Nelle valutazioni qualitativela verifica dei risultati del progetto risulta essere svincolata dal rigido confronto3La conduzione di una doppia valutazione, specie quando realizzata in un breve intervallo ditempo, può indurre, secondo alcuni autori, una distorsione dei comportamenti del gruppooggetto di osservazione minando la validità dei risultati rilevati e delle conseguenti valutazioni.11

La valutazione di impatto sociale dei progetti delle associazioni di volontariatocon gli obiettivi prefissati e l’interpretazione delle relazioni causa effetto è,generalmente, svolta durante e subito dopo all’osservazione del progetto. Per ilsuo approccio descrittivo, la valutazione qualitativa si distingue da quellaquantitativa poiché raccolta dei dati, analisi, elaborazione ed interpretazionetendono ad essere inestricabilmente congiunti e praticamente indistinguibili.Box di approfondimento - Gli step della valutazioneEsistono vari step 4 nella valutazione e ognuno di essi risponde a domandediverse.Il primo step è quello della valutazione dei problemi sociali e dei bisogni aiquali si intenderebbe dare una risposta. La domanda generale che ci dobbiamoporre è: quali caratteristiche e quale estensione hanno i bisogni nella comunitàdove intendo intervenire?Il secondo step è quello della individuazione degli obiettivi. La domandagenerale che ci dobbiamo porre è: che cosa dovrebbe essere fatto perrispondere a quelle caratteristiche e a quella estensione dei bisogni?Il terzo step è quello di predisporre una serie di progetti alternativi. Ladomanda generale che ci dobbiamo porre è: quali attività potrebbero esseresvolte per produrre i cambiamenti desiderati?Il quarto step è quello della scelta fra i progetti alternativi. La domanda che cidobbiamo porre è: quale fra i progetti proposti è il migliore?Il quinto step è l’implementazione del progetto. La domanda che ci dobbiamoporre è: come dovrebbe essere “reso operativo” il progetto?Il sesto step è l’attivazione del progetto. La domanda che ci dobbiamo porre è:il progetto è stato pianificato adeguatamente?Il settimo step sono i risultati del progetto. La domanda che ci dobbiamo porreè: il progetto ha avuto gli effetti desiderati?L’ottavo step è l’efficienza del progetto. La domanda che ci dobbiamo porre è: irisultati desiderati sono stati ottenuti con costi ragionevoli?4 Gli step e le domande sono tratte e riadattate da Rossi, Lipsey, Freeman (2004:40).12

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoIl nono step è l’impatto sociale. La domanda che ci dobbiamo porre è: qualieffetti permanenti desiderati e non ci sono stati nel contesto territoriale diazione del progetto?Fonte: Rossi, Lipsey, Freeman (2004)1.2 Finalità e benefici della valutazione dei progettiIn relazione all’uso dei suoi risultati, la valutazione dei progetti delleassociazioni di volontariato può essere finalizzata al perseguimento di dueprincipali finalità. Una prima finalità orienta la valutazione alla rendicontazioneesterna (public accountability) sui risultati conseguiti nell’implementazione diun determinato progetto.Una seconda finalità indirizza, invece, lo sforzo valutativo all’ottimizzazione deiprogetti ed al miglioramento della loro efficacia: si parla così di formativeevaluation o valutazione costruttiva. In questo secondo caso, la valutazione èstrumento per apprendere dalle esperienze pregresse e per correggere errori ecriticità dei progetti finanziati. Il risultato di una formative evaluation èdestinato a supportare le decisioni future relative alla conservazione delprogetto ed agli interventi necessari al miglioramento della sua efficacia.La schematizzazione del ciclo gestionale dei progetti (figura 4) contribuisce achiarire ulteriormente le due finalità.Figura 4 – Ciclo gestionale dei progetti1. Valutazione bisogni8. Definizione interventicorrettivi / migliorativi2. Pianificazioneprogrammi7. Valutazione effettiIL CICLO DIPROGETTO3. Individuazione effettiattesi e definizioneobiettivi6. Misurazione effetti5. Monitoraggio(output e attività)134. Implementazioneprogetto

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoL’approccio alla valutazione come strumento di accountability finalizza lo studioe l’analisi valutativa al supporto della fase 6 e 7 del ciclo gestionale delprogetto. Diversamente, quella che abbiamo definito formative evaluationesalta il carattere iterativo del ciclo gestionale dei programmi e si colloca asupporto della fase 8, qualificandosi come strumento di congiunzione tra laconclusione del progetto e una sua nuova e migliorata progettazione edimplementazione.Muovendo la nostra analisi oltre questa distinzione, in generale, molti sono ibenefici derivabili dall’introduzione della valutazione dei progetti all’internodelle associazioni di volontariato. Tali benefici sono essenzialmente di due tipi,quelli che si esplicano in modo immediato sullo specifico progetto oggetto divalutazione e quelli che, mediatamente e con gradualità, si manifestano sudimensioni ed ambiti organizzativi più ampi, proprio in forza del progressivoconsolidamento della cultura della valutazione.In primo luogo, la valutazione migliora l’accountability poiché generainformazioni utili ad una più ampia e completa rendicontazione sui risultati delprogetto, sulla sua efficacia globale, sugli effetti attesi, su quelli non previsti,sulle modalità in cui è il progetto è stato attuato e sull’opportunità del suofinanziamento in futuro.In secondo luogo, l’analisi approfondita del progetto supporta il processodecisionale fornendo elementi informativi utili ai decisori per definire edeventualmente correggere priorità ed obiettivi assegnati al progetto, peraffinarne la sua impostazione operativa, per comprendere il “valore” delsingolo progetto e allocare coerentemente le risorse tra più progetti, perverificare comparativamente costi e benefici di uno specifico progetto.In termini più ampi, un’organizzazione che fa propri i principi e gli strumentidella valutazione accresce in forma strutturata conoscenze e capacità circa la14

La valutazione di impatto sociale dei progetti delle associazioni di volontariatopropria mission, il contesto in cui opera, i bisogni e le esigenze dei suoidestinatari e i modi in cui operare efficacemente per la loro soddisfazione.Considerate nelle loro applicazioni concrete, le tipologie valutative esigono unaforte partecipazione del personale dell’organizzazione che stimola lo sviluppo dimodalità condivise di lavoro, la collaborazione tra i soggetti e tra le diverseorganizzazioni coinvolte nel processo valutativo di un progetto.1.3 Modalità di valutazioneLa valutazione è un’attività complessa il cui svolgimento comporta ilsostenimento di costi non trascurabili. Per tale ragione, anche nei settori piùevoluti non si applica la project evaluation a tutti i programmi: il beneficionetto di un tale approccio sarebbe sicuramente negativo.In primo luogo, la conduzione di una valutazione deve essere accompagnatadalla creazione e gestione di un adeguato sistema informativo per la raccoltadei dati oggetto di successiva elaborazione.In secondo luogo, la valutazione di un progetto non è un’attività che puòessere affidata ad un singolo individuo. Uno degli attributi cardine dellavalutazione è il carattere partecipativo che deve contrassegnare il suo interosvolgimento. Il contributo informativo degli operatori che erogano il progetto,quello dei destinatari e beneficiari che lo ricevono, in modo diretto o indiretto,è essenziale in ogni tipologia valutativa, sia che si tratti di disegnare unprogetto futuro, sia che si tratti di migliorare un progetto in corso direalizzazione, sia che si tratti di valutare i risultati di uno che si è già concluso.Operatori e destinatari possiedono, grazie alla loro esperienza sul campo,elementi e dettagli che rappresentano in molti casi l’unica chiave interpretativadi dati e fenomeni che, da solo, neanche il più esperto valutatore riuscirebbe acomprendere.L’attendibilità dei risultati della valutazione richiede quindi la partecipazioneattiva di tutti i soggetti ora citati.15

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoLa soddisfazione dei beneficiari del progetto è solo una quota della ampia moledi informazioni sulla base della quale debbono essere valutati i successi (o gliinsuccessi).Il beneficiario di un progetto tende generalmente formulare un giudiziofortemente condizionato dalle personali attese e spesso completamente avulsodalla considerazione dei vincoli operativi, normativi e finanziari checondizionano l’attività dell’amministrazione erogante il progetto. Se ci sisofferma poi sulla valutazione di progetti afferenti al settore dei servizi allapersona è da considerarsi che tali soggetti frequentemente non si trovano nellecondizioni psico-fisiche idonee a garantire la formulazione di un giudizioequilibrato ed oggettivo.In sintesi, lo svolgimento della valutazione richiede un rilevante sforzoorganizzativo per coordinare la partecipazione di una pluralità di soggetti. Sonochiamati a contribuire allo sforzo valutativo tutte le categorie di stakeholdersche hanno un ruolo nel processo che va dalla decisione di finanziare unprogetto alla sua erogazione concreta.Assumendo come esempio il caso dei progetti a favore dell’inserimentolavorativo dei soggetti portatori di handicap, la valutazione del progettorichiederà il coinvolgimento:- dei vertici del centro di servizio che finanziano il progetto;- degli organi direttivi delle associazioni di volontariato che hanno laresponsabilità gestionale di garantire l’attuazione del progetto;- degli operatori che danno attuazione operativa al progetto (es: assistentisociali, educatori professionali);- dei collaboratori esterni (enti locali, altre organizzazioni di volontariato,associazioni e organismi non profit) che supportano l’associazione divolontariato nell’implementazione del progetto;- dei destinatari diretti degli interventi previsti dal progetto (disabili eimprese);- degli altri beneficiari dei successi del progetto di reinserimento quali lefamiglie, i gruppi sociali e la collettività in genere.16

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoA tali soggetti bisogna aggiungere il valutatore o i valutatori che, in virtù delleconoscenze specifiche in materia di valutazione, sono incaricati di guidare everificare la corretta attuazione della tipologia di valutazione prescelta.In relazione a questo ultimo punto ed in funzione delle finalità ultime dellavalutazione, il valutatore potrà essere interno, esterno o indipendente.Il valutatore interno è organicamente inserito nella struttura del centro diservizio. In genere, l’affidamento della valutazione a valutatori interni ricorrequando si verificano due condizioni: la cultura della valutazione è “diffusa”nell’organizzazione ed è prevista al suo interno un’apposita unità organizzativaincaricata di verificare l’efficacia dei progetti. In situazioni simili, la valutazioneè tipicamente finalizzata al miglioramento del disegno dei progetti,dell’allocazione delle risorse, al miglioramento dei processi decisionali di naturastrategica, in sintesi, prevale un orientamento alla formative evaluation(valutazione costruttiva).Il ricorso al valutatore esterno si verifica quando il centro servizi nonpossiede le competenze e le professionalità necessarie per condurre unaparticolare tecnica di valutazione e decide di affidarsi a soggetti esterni (gruppidi ricerca, società di consulenza).Il valutatore indipendente è un soggetto istituzionale cui compete laresponsabilità di verificare l’accountability di altri organismi ovvero di garantireda una posizione di assoluta neutralità un’informativa veritiera, corretta,attendibile e completa sui risultati ottenuti da altri organismi pubblici o daorganizzazioni di volontariato. Nel caso specifico dei percorsi di innovazione ilruolo del valutatore indipendente può essere importante (seppur in un’ottica divalutazione partecipata) come elemento negoziale fra i co-promotoridell’iniziativa (Cesvot e COGE Toscana) e le organizzazioni di volontariatoattuatrici dei progetti.17

La valutazione di impatto sociale dei progetti delle associazioni di volontariato2. I progetti del percorso di innovazione 2002Per poter costruire un modello e un processo di valutazione di impatto sociale,abbiamo innanzitutto scelto di analizzare un gruppo di progetti proposti dalleassociazioni di volontariato e finanziati dal Cesvot nel bando “Percorsi diinnovazione 2002” che avessero concluso le attività previste almeno da seimesi. Il numero di progetti aventi queste caratteristiche è risultato essere 32.La principale motivazione sottostante questa scelta è l’opportunità di indagarecontesti e situazioni “libere” da rapporti di natura finanziaria con il Cesvotriguardanti i progetti sotto esame. In questo modo coloro che hanno rispostoalle sollecitazioni degli intervistatori hanno avuto un grado di libertà maggioreper poter rispondere senza che ci fossero ombre rispetto a ipotetiche ritorsionida parte del soggetto committente. Il gruppo dei progetti 5 è stato analizzato eclassificato secondo la seguente griglia multidimensionale (figura 1). Ledimensioni che fanno parte della griglia sono state individuate perchéconsentissero una prima valutazione degli caratteristiche generali dei progettiin vista di una successiva selezione per l’approfondimento di tipo qualitativo. 6La prima dimensione che abbiamo ritenuto rilevante per l’analisi dei progetti èquella dell’ampiezza territoriale dell’intervento. Con questa dimensione èpossibile sia individuare il raggio di azione del singolo progetto sia valutare –insieme ad altre dimensioni come, ad esempio, il costo totale – la congruitàdelle risorse umane, tecnologiche e finanziarie ipotizzate per la realizzazionedel progetto. Il secondo aspetto considerato è la dimensione dell’associazioneproponente il progetto valutata rispetto alle dichiarazioni dell’associazionestessa. 7La terza dimensione è quella dei costi, un aspetto importante percapire se le attività previste dal progetto sono economicamente sostenibilioppure no. La quarta dimensione riprende la suddivisione degli ambiti diintervento adottata e condivisa nell’ambito delle organizzazioni di volontariatoe degli enti pubblici. La quinta dimensione ha avuto l’obiettivo di identificare aquali tipologie di bisogni i progetti esaminati si rivolgevano. La doppia scelta si5 Il lavoro è stato effettuato sui progetti cartacei presenti nell’archivio del Cesvot.6 Vedi paragrafo….7 Nel processo di valutazione eventualmente a regime questa dimensione è recuperabileconfrontando i dati presenti nell’archivio Cesvot sulle associazioni di volontariato della Toscana.18

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoè resa necessaria non solo per le dichiarazioni emerse dai testi progettuali, maper l’evidente multidimensionalità dei bisogni espressi dalle personebeneficiarie delle attività progettuali. 8 Lo stesso ragionamento è statoeffettuato anche per valutare le tipologie di azioni previste che, in una partecospicua dei progetti, hanno obiettivi e modalità di attuazione diversi, macomplementari. La settima dimensione mirava a segnalare la presenza e latipologia delle attività di monitoraggio e di eventuale valutazione poste inessere nei progetti. Infine l’’ultima dimensione, la partnership, ha cercato diincludere la maggior parte dei partenariati fra volontariato, associazioni dipromozione sociale, cooperative sociali, enti pubblici e, in qualche caso,imprese.Figura 1 – Griglia multidimensionale per la costruzione della tipologia deiprogetti presentati sul bando “Percorsi di innovazione 2002”_______________________________________________________________Dimensioni per la classificazione dei progettio ampiezza territoriale intervento• regionale;• interprovinciale;• provinciale;• zonale;• intercomunale;• comunale;• quartiereo dimensione associazione proponente• piccola;8 Sul tema vedi ad esempio Castel (2004).19

La valutazione di impatto sociale dei progetti delle associazioni di volontariato• media;• grande;ocosto del progetto;• 0-5.000 euro;• 5.001- 10.000 euro;• 10.000 – 15.000 euro• 15.000 – 20.000 euro;• 20.000 – 25.000 euro;• 25.000 – 30.000 euro;• oltre 30.000 euro;o ambito di intervento• sociale• socio-sanitario• ambientale• culturale• protezione civile• socio-ambientaleo tipologia del bisogno (massimo due scelte a progetto)• immigrazione• famiglie• infanzia e adolescenza• disabili• disagio mentale• periferie urbane• povertà degli adulti• discriminazioni sessuali20

La valutazione di impatto sociale dei progetti delle associazioni di volontariato• anziani autosufficienti• anziani non autosufficienti• prostituzione• carenza sangue e organi• abuso e violenza sulle donne• detenuti ed ex detenuti• aids• degrado ambientale• malatio tipologia di azioni previste (massimo due scelte perprogetto)• protezione ambientale• protezione sociale• ricreative• assistenziali• rimozione cause• prevenzione informazione/comunicazione educazione• riproduzione di relazioni inserimenti lavorativo riabilitazione socializzazione• sensibilizzazione• animazioneo modalità di monitoraggio (più di una scelta per progetto)• ex-ante21

La valutazione di impatto sociale dei progetti delle associazioni di volontariato• in itinere• ex-post• non previste• altroo partnership• volontariato• mista enti pubblici• mista cooperazione sociale• mista enti pubblici e cooperazione sociale• mista altre associazioni di volontariato• mista altre associazioni di volontariato, enti pubblici ecooperazione sociale• mista altre associazioni di volontariato e cooperazione sociale• mista associazioni culturali• mista associazioni culturali e di promozione sociale• mista promozione sociale• mista enti pubblici, promozione sociale e imprese• mista promozione sociale e cooperazione sociale• mista altre associazioni di volontariato ed enti pubblici• mista associazioni culturali ed enti pubblici• mista promozione sociale, cooperazione sociale ed entipubbliciLa prima dimensione che abbiamo rilevato è stata l’ampiezza territorialedell’intervento (grafico 1).22

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoGrafico 1 - Ampiezza territoriale dell’interventoAmpiezza territoriale dell'interventoQuartiere0%Comunale19%Regionale9%Interprovinciale3%Intercomunale25%Zonale9%Provinciale35%Regionale Interprovinciale Provinciale ZonaleIntercomunale Comunale QuartiereLa prevalenza dei progetti ha un raggio di azione limitato ai territori comunalied intercomunali (il 44% del totale). Se a questi sommiamo gli interventi acarattere provinciale raggiungiamo quasi l’80% del totale dei progetti.Se passiamo alla dimensione dell’associazione proponente (grafico 2), sonopreponderanti le associazioni piccole e medie (87% del totale), risultato inlinea con il limitato raggio di azione descritto dalla dimensione precedente.Grafico 2 Dimensione associazione proponenteDimensione associazione proponenteGr a nde1 3%P i c col a4 6%M edi a4 1%Piccola Media GrandeInfatti se analizziamo l’incrocio delle due variabili notiamo che le associazionipiccole e medie sono distribuite nei progetti con un raggio di azione territorialeminore, mentre le grandi sono equamente distribuite fra il livello regionale equello provinciale (grafico 3).23

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoGrafico 3 - Percentuale dimensione associazioni per ampiezza territorialeintervento progetti60504030Percentuale20100ComunaleIntercomunaleZonaleProvincialeInterprovincialeRegionaleDimensione associaziPiccolaMediaGrandeAmpiezza territoriale interventoSe osserviamo la dimensione costo notiamo che oltre i due terzi dei progetti haun costo inferiore ai 20.000 euro.Grafico 4 – Costo del progettoCosto del progettooltre 3000025001-3000020001-2500015001-2000010001-150005001-100000-50000 1 2 3 4 5 6 7 8 9Numero progetti24

FamigliaDisabiliAidsMalatiLa valutazione di impatto sociale dei progetti delle associazioni di volontariatoGrafico 5 - Composizione della tipologia dei bisogni rispetto al costo del progetto. Valori percentuali100,0075,000-50005001-1000010001-1500015001-2000020001-2500025001-30000oltre 30000Valori50,0025,000,00ImmigrazioneInfanzia e adolescenzaPeriferie urbaneAnziani autosufficientiDegrado ambientaleCarenza sangue e organiAbuso e violenza donneDisagio mentalePovertà degli adultiDiscriminazioni sessualiDetenuti ed ex detenuti25

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoSe osserviamo la distribuzione della tipologia del bisogno rispetto al costo delprogetto (grafico 5) non notiamo particolari picchi riferiti a specifici bisogni.Rispetto, invece, all’ambito di intervento dei progetti (grafico 6) prevalefortemente (il 75% dei progetti) quello sociale.Grafico 6 – Ambito di intervento dei progettiAmbientale3%Protezione civile0%Ambito di interventoSocio-Ambientale3%Socio sanitario16%Culturale3%Sociale75%Sociale Socio sanitario Socio-Ambientale Ambientale Culturale Protezione civileNelle tipologie di bisogno (grafico 7) prevalgono, invece, l’immigrazione e ladiversabilità (8 progetti ciascuna) seguite dal disagio mentale (4 progetti) edalle famiglie, dall’infanzia e dai detenuti (3 progetti ciascuna). Se nel casodella diversabilità il primato è collegabile anche a una forte presenza di attivitàda parte delle associazioni di volontariato, nel caso dell’immigrazione ècollegabile sia alla forte crescita quantitativa degli immigrati extracomunitarinel contesto toscano negli ultimi dieci anni sia all’emersione di bisogni edesigenze specifiche. 9Nel grafico 8 possiamo analizzare la distribuzione delle azioni previste neiprogetti, catalogate in modo da evidenziarne il senso generale. Il tipo9 Per un approfondimento vedi ad esempio Ambrosini (2005:157-184)26

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoprevalente è quello della riproduzione di relazioni (in tutte le sue articolazioni)seguito dalla prevenzione in termini di informazione e comunicazione. Questedue tipologie di attività rappresentano un’importante segno di crescita nellacultura del volontariato nella direzione di una attenzione maggiore nei confrontidella vulnerabilità. 10 Accanto a queste, sono tuttavia presenti anche attività dinatura assistenziale, di generica sensibilizzazione e di tipo ricreativo che fannoparte di un tradizionale bagaglio soprattutto dell’ambito di intervento sociale daparte delle associazioni di volontariato.Grafico 7 – Tipologie dei bisogni nei progettiTipologia del bisognoMalatiDetenuti ed ex detenutiAbuso e violenza donneCarenza sangue e organiAidsDegrado am bientaleProstituzioneAnziani autosufficientiAnziani non autosufficientiDiscrim inazioni sessualiPovertà degli adultiPeriferie urbaneDisagio mentaleDisabiliInfanzia e adolescenzaImm igrazioneFamiglie0 1 2 3 4 5 6 7 8Numero progetti10 Vulnerabilità intesa come “il percorso di impoverimento di un potenziale soggetto puòavvenire transitando nel corso della vita tra l’area dell’integrazione (inserimento stabile incircuiti occupazionali e disponibilità di solidi supporti relazionali, specialmente familiari) all’areadella disaffiliazione, in cui versano i soggetti in condizione di povertà estrema (caratterizzatada processi di decomposizione e abbandono del sé, incapacità di controllo dello spazio fisico,profonda rottura dei legami sociali, perdita della capacità di trasformare i beni in opportunità divita). Questa transizione avviene attraverso microfratture nell’esperienza dei soggetti, tanto alivello lavorativo che a livello relazionale, che generano situazioni di precarietà e fragilità: èl’area della vulnerabilità sociale” (Castel, 1995). Una parte dei progetti delle associazioni divolontariato sembra voler intervenire proprio su questa area in termini di prevenzione27

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoGrafico 8 – Tipologia delle azioni previsteTipologia delle azioni previsteAnimazioneSensibilizzazioneRiproduzione di relazioni socializzazioneRiproduzione di relazioni riabilitazioneRiproduzione di relazioni inserimentiRiproduzione di relazioniPrevenzione educazionePrevenzione informazione e comunicazionePrevenzioneRimozione delle causeAssistenzialiRicreativeProtezione socialeProtezione ambientale0 1 2 3 4 5 6 7 8Numero progettiLe modalità di monitoraggio e valutazione (grafico 9) espresse nei testiprogettuali sono quasi tutte da catalogare in quelle ex-post di tipo generico.Inoltre è da sottolineare come una parte dei progetti non preveda nessunaattività di monitoraggio e valutazione.Grafico 9 – Modalità di monitoraggio e valutazioneModalità di monitoraggio e valutazione2520151050Ex ante In itinere Ex post Altro Non previsteInfine le tipologie di partnership. Nel grafico 10 si possono notare le molteplicimodalità di costruzione di partnership da parte delle associazioni divolontariato all’interno dei singoli progetti, segno questo, almeno a livelloprogettuale, di capacità di costruire reti relazionali ampie e diversificate.28

Grafico 10 – Tipologia di partnershipLa valutazione di impatto sociale dei progetti delle associazioni di volontariatoPartnershipMista enti pubblici, cooperazione sociale e promozio..Mista associazioni culturali ed enti pubbliciMista promozione sociale e cooperazione socialeMista enti pubblici, promozione sociale e impreseMista promozione socialeMista associazioni culturali e di promozione socialeMista associazioni culturaliMista altre associazioni di volontariato e cooperazio..Mista altre associazioni di volontariato ed enti pubblici..Mista altre associazioni di volontariato ed enti pubbliciMista altre associazioni di volontariatoMista enti pubblici e cooperazione socialeMista cooperazione socialeMista enti pubbliciVolontariato0 1 2 3 4 5 629

La valutazione di impatto sociale dei progetti delle associazioni di volontariato3. I criteri di analisi dei progettiDopo aver costruito ed analizzato l’oggetto del processo valutativo (la tipologiae le caratteristiche dei progetti presentati nei paragrafi precedenti) e seguendogli step del processo di valutazione, abbiamo deciso di effettuare una primavalutazione ex-ante sulla progettazione esecutiva.In questo modo è possibile ottenere i seguenti risultati:1. individuare le variabili importanti per costruire un modello di processo divalutazione dei progetti delle associazioni;2. individuare tra i progetti classificati quelli che meritassero unapprofondimento utile all’arricchimento del modello;3. individuare quali approfondimenti sarebbero stati necessari sia nei confrontidelle associazioni sia di eventuali beneficiari dei progetti.Per ottenere questi risultati abbiamo costruito una prima scheda di valutazioneex ante della progettazione esecutiva.3.1 Le variabili della scheda di valutazione ex anteLe variabili inserite nello schema di analisi consentono di ripercorrere tutti glistep del processo di valutazione. 11 Nella figura 2 abbiamo riportato la scheda divalutazione ex ante dei progetti che contenesse tutti gli elementi necessari perprocedere successivamente all’approfondimento di tipo qualitativo. 12 . Lascheda contiene alcuni campi da valutare e una parte riservata al valutatoreper individuare quegli elementi da approfondire nelle interviste non strutturatee una prima valutazione delle eventuali metodologie di valutazione proposteall’interno dei progetti stessi. Il primo campo è quello dell’analisi dei bisogni. La11 Vedi paragrafo…..12 L’analisi qualitativa è descritta nel paragrafo….. Nel paragrafo ….. i risultati confluiscono nelmodello di processo di valutazione.30

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoscala valutativa è di tipo qualitativo. Il secondo campo è quello degli obiettivi dicui è stata valutata la chiarezza e l’eventuale misurabilità. Il terzo camporiguarda l’articolazione del progetto e la coerenza delle azioni proposte. Infinel’ultimo campo riguarda la coerenza e la significatività dei risultati attesi conparticolare attenzione alla chiarezza e all’eventuale misurabilità.Figura 2 - Scheda di valutazione ex ante dei progetti delle associazioni divolontariatoNome associazioneNome progettoAnalisi dei bisogniScarsa Sufficiente Buona…….OttimaCommentoObiettivi…..Non chiari Chiari Chiari ed espliciti Chiari espliciti e misurabiliCommentoArticolazione del progettoScarsa Sufficiente Buona…….OttimaCommentoRisultati attesi…..Non esplicitati …..Non chiari Chiari Chiari ed espliciti Chiari espliciti e misurabiliCommentoAREA RISERVATA AL VALUTATOREAree di valutazione ex anteAree di valutazione in itinereAree di valutazione ex post31

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoAree di valutazione di impatto socialeIntervista al referentePossibile interviste agli utentiChiQuantiQuale strumentoUlteriori commenti ed indicazioni3.2 I risultati della valutazione ex ante 13Il risultato dell’analisi dei progetti è un effetto secondario dell’obbiettivoprincipale di questo lavoro di ricerca, ovverosia la costruzione di un modelloper la valutazione di impatto sociale. 14Abbiamo voluto inserire anche questo aspetto per due motivi. Il primo è laconsapevolezza che la valutazione d’impatto sociale dei progetti non puòprescindere da una valutazione ex ante degli stessi. Il secondo riguarda,invece, il supporto alla progettualità che può essere dato alle associazioni divolontariato in fase preliminare di attivazione del progetto.Piuttosto che dare un risultato quantitativo della valutazione ex ante dei testiprogettuali delle associazioni di volontariato, crediamo, invece, sia importantesottolineare quali aspetti sono stati generalmente più carenti e quali invecerappresentano un buon livello di progettualità di base.In particolare sono da evidenziare le carenze nella descrizione dell’analisi delcontesto e, di conseguenza, una difficoltà ad effettuare il primo step dellavalutazione, il need assessment. Un secondo aspetto poco elaborato e13 Le schede per ogni singolo progetto valutato sono allegate al presente rapporto. Riteniamoopportuno non divulgare in questo testo i risultati delle singole valutazioni, ma,eventualmente, avviare un percorso di confronto con le singole associazioni sui punti di forza edi debolezza delle loro progettualità.14 Vedi paragrafo….32

La valutazione di impatto sociale dei progetti delle associazioni di volontariatostrutturato nei testi progettuali sono gli obiettivi che sono spesso troppogenerali o troppo generici per essere sottoposti a una prima valutazione dimerito.Il terzo aspetto che merita attenzione è quello della scarsa articolazione delleattività nei testi progettuali dove molte azioni sono date per scontate o sonopoco sviluppate nei contenuti. Altro elemento che non è quasi mai espresso edelaborato è quello dei risultati attesi. La loro assenza nei testi progettuali nonconsente di poter effettuare il primo passo della valutazione ex-post, quellaappunto dei risultati progettati e dichiarati. Un quarto aspetto importante èl’assenza di una condivisione terminologica all’interno dei testi progettuali chepossa essere condivisa sia dalle associazioni di volontariato sia nell’ambito diun processo di valutazione dai committenti e ovviamente dai volontari. Infine èda segnalare che le metodologie proposte per la valutazione, tranne qualcheinteressante eccezione, non sono quasi mai espresse e, quando lo sono,riguardano prevalentemente le attività di monitoraggio (e non di valutazione)del progetto.4. Alla ricerca degli indicatori per la valutazione. L’approfondimentoqualitativo dei progettiDopo la valutazione ex ante abbiamo deciso di scegliere fra i progetti deipercorsi di innovazione quelli che ci sembravano più adatti per effettuare unpercorso di approfondimento qualitativo sia nei confronti dei referenti deiprogetti sia degli eventuali utenti sul tema dell’individuazione dei criteri divalutazione di impatto sociale dei progetti e delle attività delle associazioni divolontariato. La scelta fra i progetti è stata effettuata sulla base dellecaratteristiche emerse dalla valutazione ex ante dei testi progettuali soprariportata. Il primo criterio utilizzato ha fatto scegliere i progetti che avevanoespresso obiettivi più chiari, articolazioni particolarmente innovative delleazioni, risultati maggiormente comprensibili. Il secondo criterio ha cercato di33

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoscegliere progetti che, nel loro insieme, toccassero la più ampia varietà disettori e temi di intervento. Il risultato della combinazione dei due criteri èevidenziato nella tabella 2.Tabella 2 - Elenco progetti sottoposti ad approfondimento qualitativoNumero AssociazioneTitolo progetto1 Aurora Montemurlo Sabato Insieme2 Trisomia 21 Teatrallegria: insieme sul palcoscenico perdivertirci divertendo3 CUI Ragazzi del sole Divergendo4 Ireos Per un consultorio per la salute dellacomunità queer5 Il Laboratorio La realtà del quartiere per l’integrazione6 Fasm Lucca Danzare la vita7 Pantagruel Il gioco delle bambole8 CIAO Mappatura aziende9 Donne Insieme Arcobaleno10 Donna chiama donna Identità e differenza nella relazione11 Giubbe Verdi Progetto BriciolaCompagnia AltaMaremma12 Arci Comitato Campanello a coloriterritoriale di Prato13 ArciragazziCerotti coloratiValdinievole14 Il muretto Comunicare intercultura e fare rete15 Cave Empoli Ulisse: oltre le colonne d’Ercole16 Mangrovia La bottega della pace17 CNV Finalmente a casa34

La valutazione di impatto sociale dei progetti delle associazioni di volontariato4.1 La metodologia qualitativaL’approfondimento è stato condotto attraverso l'impiego di metodi "qualitativi"quali l'intervista individuale non strutturata in profondità; si tratta di strumentiche, a nostro avviso, si possono rivelare molto efficaci allo scopo di mettere afuoco le aree chiave di una tematica complessa e controversa come quelladella valutazione di impatto sociale e dei processi di valutazione in genere.Lo strumento dell'intervista in profondità, non strutturata ma gestitadall'intervistatore in base ad una griglia di intervista definita nelle lineegenerali, permette di affrontare i temi d'interesse seguendo il filo del discorsodell'intervistato e consentendogli divagazioni. Questo al fine di raccogliereinformazioni quantitativamente e qualitativamente consistenti.Si tratta in pratica di fornire all’intervistatore un elenco di domande “aperte”,ossia di domande in cui le modalità di risposta non sono specificate. Ledomande aperte “sono utilizzate per stimolare l’intervistato ad esprimere lesue specifiche opinioni, la sua filosofia o i suoi scopi… inoltre sonoparticolarmente utili nelle ricerche preliminari, quando il ricercatore non haancora stabilito quali siano le caratteristiche rilevanti del fenomeno”. (Bailey,1982, 147).Il carattere non strutturato e non standardizzato di questo tipo di intervistapregiudica la comparabilità formale (Razzi, 1992), ma è molto indicato insituazioni in cui obiettivo della ricerca è l'esplorazione approfondita di unatematica sulla quale è fisiologicamente necessaria una prima indagine.La nostra scelta deriva dalla convinzione che non necessariamente formulazioniquantitative e precise dei risultati comportino spiegazioni superiori.Pur concordando con Lazarsfeld quando sostiene che “… l’unico modototalmente appropriato per provare l’esistenza di una relazione tra due variabiliè quello dell’analisi statistica; provare la relazione causa-effetto richiede o unesperimento controllato o un numero piuttosto vasto di casi di ‘mutamentonaturale’ osservati nel corso di un certo periodo…”, lo seguiamo nelle sueargomentazioni anche quando osserva che “… la ricerca che non ha né valore35

La valutazione di impatto sociale dei progetti delle associazioni di volontariatostatistico né strutturazione sperimentale, la ricerca basata soltanto sulledescrizioni qualitative di un piccolo numero di casi può ciò nonostante averel’importante funzione di suggerire una possibile relazioni causa-effetto epersino processi dinamici. (…)Spesso non fanno alcun progresso coloro checercano di trarre suggerimenti di possibili fattori esplicativi per risultatistatistici dalla semplice osservazione delle classificazioni delle poche variabiliche furono fin dapprincipio deliberatamente incluse nello studio; talvolta,invece, anche un unico commento scritto da un intervistato può far luce sunuovi fattori” (Lazarsfeld 1967:337).Le interviste, rispetto a questionari postali o telefonici, hanno un costo moltopiù consistente sia in termini di pagamento agli intervistatori che in termini diloro addestramento, ma offrono indubitabili vantaggi, ricordati da Bailey, quali:- flessibilità: gli intervistatori possono individuare e porre rimedio a casi difraintendimento delle domande, approfondire eventuali particolariinteressanti emersi spontaneamente e scegliere l’ordine delle domandeseguendo il percorso concettuale dell’intervistato;- tasso di risposta: tutto ciò comporta in genere anche tassi di risposta moltopiù elevati dei questionari postali o telefonici;- comportamento non verbale: l’intervistatore può trarre indicazioni sullavalidità delle risposte anche dal comportamento non verbaledell’intervistato;- controllo sull’ambiente: l’intervistatore può richiedere che l’intervistaavvenga senza disturbi e controllare la concentrazione e attenzionedell’intervistato;- spontaneità: anche se la posizione su una domanda cambia in seguito ariflessione o durante la discussione con l’intervistatore, si e’ in grado diregistrare la risposta spontanea;- completezza: l’intervistatore fa sì che venga data risposta a tutte ledomande;- maggiore complessità del questionario: la presenza dell’intervistatorepermette di sottoporre anche questioni complesse.36

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoGli svantaggi, oltre agli alti costi in termini di denaro e di tempo, stanno nellapossibile influenza dell’intervistatore sia nel guidare la discussione che nelmodo di vestire, di parlare, che può disturbare o risvegliare pregiudizidell’intervistato verso la classe sociale, età o accento dell’intervistatore.Altri problemi possono venire, secondo Bailey (1982, 209) dall’impossibilità diconsultare documenti, la scomodità, la minore garanzia di anonimato, ladifficoltà di reperire l’intervistato e la formulazione meno standardizzata delledomande.Tali svantaggi hanno riguardato la nostra ricerca solo in modo marginale.Solo quello della formulazione delle domande è stato molto discusso durante leriunioni di preparazione dello schema di intervista; in conclusione, consideratele presumibili, e subito confermate, forti differenze di età e livello di istruzionedegli intervistati, è risultato preferibile lasciare una certa libertà agliintervistatori nella enunciazione delle domande, nella convinzione che non siatanto importante che tutti ascoltino la stessa domanda quanto che la capiscanoallo stesso modo e rispondano in funzione dell’obiettivo della ricerca (Palumbo1992).4.1.1 Raccolta dei datiRuolo fondamentale per la definizione dell'intera base contenutistica dirilevazione ha avuto la prima fase di pretest. Sulla base della letteraturaindividuata, delle ricerche esistenti e, soprattutto, del brainstorming interno algruppo di ricerca, è stata costruita una griglia per l'intervista in profondità aireferenti dei progetti del percorso di innovazione selezionati.Vista l’ampiezza dell’argomento e la mancanza di priorità dei diversi temi datrattare abbiamo cercato di restringere al massimo il numero di domande ma,contemporaneamente, di lasciare all’intervistato ampia libertà di divagazione edi interpretazione. Tale sforzo è stato accompagnato, durante le primeinterviste, dall’insistenza dei ricercatori sulla rilevanza dell’apporto37

La valutazione di impatto sociale dei progetti delle associazioni di volontariatodell’intervistato alla ricerca in quanto testimone privilegiato di una realtàcomposita e complessa.Nella seconda fase di rilevazione parte fondamentale hanno avuto gliintervistatori: in una ricerca che utilizza metodi di rilevazione qualitativi il ruolodell'intervistatore è cruciale. Per la sua preparazione non possono esseresufficienti brevi briefing di qualche ora. E' consigliabile che ogni intervistatoresia quindi coinvolto nella fase di analisi dei risultati del pretest in modo dacomprendere appieno l'obiettivo della ricerca, le motivazioni e i diversi risvoltidi ogni tema inserito nella griglia di intervista definitiva.Molti dei punti da noi indicati come cruciali nella definizione di indicatori per lavalutazione di impatto sociale sono stati confermati e precisati durante questeinterviste.4.1.2 Analisi ed elaborazione del materiale raccoltoIl materiale raccolto sotto forma di appunti, cassette audio, commenti edimpressioni degli intervistatori, è stato analizzato secondo i classici strumentidella ricerca qualitativa e organizzato in modo da ricostruire classificazioni etipologie che ci permettano di individuare gli indicatori di valutazione diimpatto sociale che sono obiettivo specifico di questa indagine.La parte più impegnativa è stata l’analisi delle sbobinature delle interviste. 15Agli intervistatori era stato richiesto di trascrivere letteralmente tutto ciò cheera stato registrato durante l’intervista. La disponibilità delle cassette haconsentito di avere un saggio dell’efficacia dell’addestramento sugliintervistatori e della loro capacità e prontezza nell’affrontare le diversesituazioni che si presentavano nel modo più utile agli scopi della ricerca.Il riascolto dei nastri, soprattutto delle prime interviste fatte da ogniintervistatore, ha permesso di intervenire subito sugli errori più comuni conottimi risultati.Una volta ottenute tutte le sbobinature abbiamo proceduto all’analisi del testocentrata su:15 Le sbobinature integrali delle interviste sono allegate al presente rapporto.38

La valutazione di impatto sociale dei progetti delle associazioni di volontariato- individuazione delle risposte ad ogni argomento previsto dallo schema diintervista sia in seguito alla precisa domanda sia spontaneamente nel corsodella discussione;- raggruppamento delle risposte analoghe organizzandole in categorie dirisposte il cui senso fosse accomunabile. Nei casi in cui è stato possibile lerisposte sono state collocate lungo un immaginario continuum. Ad unestremo è stata posta la categoria di risposte totalmente in accordo con ladomanda e all'altro estremo quella totalmente contraria. Le altre categoriedi risposta sono state disposte lungo il continuum in posizioni intermedie.Una volta raggruppate le risposte delle associazioni su posizioni analoghe si ècercato di individuare caratteristiche strutturali o organizzative comuni chepotessero giustificare la comunanza d'opinione sull'argomento trattato.Il lavoro si è concluso con il confronto fra i criteri di valutazione di impattosociale emersi dalle interviste ai referenti dei progetti e ai beneficiari, quellicitati nella letteratura sull'argomento e quelli emersi dal brainstorming delgruppo di ricerca.Il primo risultato di tale confronto è l’individuazione delle aree sulle quali èstato costruito il modello di valutazione di impatto che proponiamo.4.2 La traccia delle interviste non strutturateLa scelta di effettuare interviste non strutturate significa seguire un percorso dilavoro che prevede innanzitutto la costruzione di uno schema specifico cheevidenzi quali temi sono da esplorare maggiormente nel corso del colloquio conl’intervistato. Di seguito inseriamo la traccia che abbiamo utilizzato nel lavorodi approfondimento qualitativo (figura 3). In alcune occasioni abbiamo avutol’opportunità di poter rivolgere alcune domande ai beneficiari diretti (adesempio immigrati stranieri) ed indiretti (ad esempio genitori di personediversabili). In questi casi abbiamo utilizzato le indicazioni contenute nelle39

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoschede di valutazione ex ante costruite ad hoc per ogni singolo progetto nellaparte riservata al valutatore. 16Figura 3 – Schema di intervista non strutturataSCHEMA DI INTERVISTA NON STRUTTURATA AI REFERENTI DEI PROGETTIPREMESSAL’obiettivo dell’intervista ai referenti dei progetti delle associazioni di volontariato è quello di esplorare possibili ambitidi valutazione di impatto sociale.Quindi non è importante la valutazione del loro progetto, ma è a partire da quello che si possono individuare aree,indicatori formali e non, quantitativi e qualitativi.DATI ANAGRAFICI DELL’INTERVISTATOCognome e nomeEtàRuolo ricoperto nell’associazioneRuolo ricoperto nel progettoDATI SUL PROGETTOData di conclusione del progettoAREE DA ESPLORARE NELL’INTERVISTAContinuitàL’attività/le attività previste dal progetto si è conclusa oppure continua (o continuerà) con altri finanziamenti (o senzafinanziamenti)?Indicatori formali e non formali di valutazione del progettoQuali sono le aree che voi giudicate importanti per la valutazione delle attività di un progetto?Quali sono gli indicatori che avete utilizzato e utilizzerete per la valutazione dell’attività?Potete metterli in ordine di importanza?La soddisfazione degli utentiCome fate a valutare il gradimento dei servizi attivati presso i vostri utenti?Coinvolgimento di altri soggetti (persone e/o organizzazioni)Come sono stati coinvolti altre persone o organizzazione nelle attività del progetto?16 Vedi schede allegate di ogni progetto e la scheda generale di valutazione ex ante (figura 2).40

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoRapporti con i servizi pubbliciQuali sono stati i rapporti con i servizi pubblici nello svolgimento delle attività previste dal progetto?Quali sono i risultati che avreste voluto?Sostituzione/integrazione con i servizi pubbliciLe attività del vostro progetto sono autonome dal servizio pubblico?Rapporti con le imprese (solo per alcuni progetti)Gli inserimenti lavorativi che avete proposto hanno avuto una continuità? Se sì per quali ragioni sono andati bene?Se no per quali motivi si sono interrotti?Risultati del progettoQuali sono i risultati del progetto?Come valutate i risultati del progetto?Il futuro delle attivitàQuale futuro prevedete per le attività messe in atto dal progetto?Su quali aree pensate possa aver avuto e/o avrà influenza il vostro progetto?4.3. I percorsi per la costruzione degli indicatori e dei modelli divalutazione di impatto socialeL’ultima fase della ricerca si è concentrata sulla costruzione degli indicatori esulla definizione dei percorsi e dei modelli di valutazione di impatto sociale e,più in generale, sul processo di valutazione.Il processo di costruzione degli indicatori ha seguito il percorso indicato nellatabella 4.41

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoTabella 4 - Processo di costruzione degli indicatoriProcesso di costruzione degliindicatori1) Definizione delle aree da valutare2) scomposizione delle aree indimensioni; scelta delle dimensionirilevanti3) costruzione della dimensioneoperativa4) misurazione degli indicatori5) eventuale costruzione di un indice,in base al peso di ogni dimensioneindicata sulle aree individuateFonte: adattato da Palumbo (2003)La definizione dei percorsi e dei modelli di valutazione d’impatto e del processodi valutazione parte dall’idea che sia necessario prevedere una varietà dimetodi per poter meglio affrontare il contesto delle associazioni di volontariato.Come svilupperemo nel paragrafo successivo pensiamo siano necessari:a) valutatori indipendenti che instaurano un rapporto di fiducia con leassociazioni proponenti sin dall’inizio della progettualità e chepropongono tutte le tipologie di valutazione;b) test di valutazione ed autovalutazione di impatto sociale su alcuni aspettidei progetti condotti sia dal valutatore sia dalle associazioni stesse;c) analisi dei beneficiari diretti ed indiretti attraverso interviste strutturate enon strutturate condotte dai valutatori.42

La valutazione di impatto sociale dei progetti delle associazioni di volontariato5. Le tipologie, le aree e gli indicatori per il processo di valutazione. Laproposta di modello.Il modello del processo di valutazione che comprende anche la valutazione diimpatto sociale è composto da: 1) una griglia con tutte le tipologie divalutazione (tabella 5); 2) gli schemi delle interviste non strutturate e deifocus group indicate nella griglia (figure da 4 a 8); 3) le linee guida per ilpercorso del processo di valutazione (figura 9).5.1 La griglia principale del modelloLa griglia è composta da nove colonne. La prima colonna individua la tipologiadi valutazione (ex ante, in itinere, ex post, di impatto sociale) alla quale si fariferimento. La seconda colonna individua le aree e/o i concetti da valutare adun livello di astrazione più alto. La terza, quarta e quinta colonna individuano ilprocesso di costruzione degli indicatori 17 con l’individuazione delle dimensionirilevanti (colonna tre), la costruzione della dimensione operativa (colonna 4) ela misurazione degli indicatori (colonna 5).A tale proposito sottolineiamo che per le caratteristiche delle attività e deiprogetti delle associazioni di volontariato che si rivolgono alla persona –intangibilità e negoziabilità (Bezzi, 2004) – la costruzione degli indicatori (edella successiva valutazione) dovrà tenere conto di una maggioreindeterminatezza. Nella sesta colonna sono proposti i punteggi dei singoliindicatori, mentre nella settima colonna proponiamo una prima ponderazionedegli indicatori per ogni tipologia di valutazione e per l’intero processovalutativo. Nelle ultime due colonne individuiamo se l’indicatore fa parte di unpercorso di autovalutazione o di eterovalutazione. L’autovalutazione è statainserita perché pensiamo sia importante innescare un meccanismo di crescita17 Vedi paragrafo precedente.43

La valutazione di impatto sociale dei progetti delle associazioni di volontariatodella cultura della valutazione fra le associazioni di volontariato prima diavviare percorsi di valutazione che prevedano esclusioni o sanzioni di qualchetipo.5.1.1 I punteggiAd ogni singolo indicatore individuato è stato attribuito un punteggio. Ilmassimo punteggio attribuito è stato 5 e il minimo 0.Per ogni fase del processo di valutazione abbiamo individuato un massimo edun minimo che i progetti possono raggiungere (vedi tabella 6).E’ da sottolineare con forza, però, che i punteggi delle singoli fasi del processodi valutazione e del processo complessivo sono semplicemente una indicazionee non un giudizio sintetico, per due motivi principali: 1) il modello di processodi valutazione proposto è prevalentemente di tipo qualitativo e non si presta aduna quantificazione; 2) nell’ottica di una valutazione partecipata è importanteriflettere su ogni singolo indicatore delle fasi del processo di valutazionepiuttosto che discutere su un numero sintetico finale per raggiungere unmiglioramento nella qualità delle attività previste e della progettualità piùgenerale della associazioni di volontariato.44

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoTabella 5 – Modello del processo di valutazione: tipologie di valutazione, delle aree e degli indicatori da usare per iprogetti dei percorsi di innovazioneVALUTAZIONE EX ANTE DEL PROGETTOTipologiaAree daIndicatoriSviluppoArticolazionePAutoValutazionevalutazionevalutareindicatoriindicatoriuValutazioneIndipendententeggiValutazioneAnalisi deiAnalisi coerente e1) progetti che1.1) riferibili ai4XXXXXXXXXXex antebisogniapprofondita deisiano ideati e24 mesibisognibasati sulla base diprecedentistudi e analisieffettuati nell’area1.2) riferibili ai2territoriale48 mesiinvestitaprecedentidall’azione econdotti da1.3) riferibili1organizzazione dioltre 48 mesiprovata credibilitàprecedentiscientifica(università1.4) Nessuna045

La valutazione di impatto sociale dei progetti delle associazioni di volontariatopubbliche eprivate, istituti diricerca)2) Citazione delle2.1) Presenza2fontiAssenza03) Numero incontri3.1)per costruire00l’analisi1-213-526-103oltre 1154) tipologia eAlta34) VALINqualitàMedia1professionalitàBassa0coinvolteValutazione Analisi dei Ricchezza e varietà 1) presenza di 1.1) Presenza 3 XXXXXXXXXXex ante bisognidella variabili assunteper la descrizione deifenomeni oggetto delprogettovariabili specifichesul tema oggettodel progettoAssenza 0Valutazione “Storia lunga” ed 1) Numero di anni 1.1) da 0 a 2 1 XXXXXXXXXX46

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoex anteesperienzadi attività sul tema1.2) da 3 a 52dell’associazioneoggetto del1.3) oltre 63progettoValutazioneGrado diChiarezza del1) sinteticità1.1)XXXXXXXXXXex-anteanticipazioneproblema/esigenza cuitesto descrittivoPresenza2rispetto alil progetto cerca dimax 20 righeAssenza0problemadare una rispostaadeguata2.1) VALIN2) grado di2.1)comprensibilitàAlto3Medio1Basso03) riferimenti aproblemi simili3.1) assenza0presenza2ValutazioneIndividuazioneChiarezza e1) Numerosità del1.1)XXXXXXXXXXex-antegruppopertinenzagruppo bersaglio0-10%1bersaglionell’individuazione del(% beneficiari con11-50%2(beneficiarigruppo bersaglioil problema sul51-80%3principali)totale dei81-100%4potenzialibeneficiari nellapopolazione diriferimento)47

La valutazione di impatto sociale dei progetti delle associazioni di volontariato2) coerenza con il2.1)2.1) VALINproblemaalto3individuatomedio1(grado dibasso0corrispondenza fraproblemi ebeneficiariindividuati)ValutazioneCoinvolgimento attivo1) % numero dei1.1)XXXXXXXXXXex-antenella fase progettualecontatti fra i0-10%1dei rappresentanti deibeneficiari e gli11-50%2beneficiari delaltri attori del51-80%3progetto stessoprogetto sul totale81-100%4degli incontriprevisti nelprogettoValutazionePresenza e risultatiPresenza3XXXXXXXXXXex-antemisurabili di pre-testAssenza0delle azioni previstedal progettoValutazioneRadicamento1) durata della1.1) 0-2 anni1XXXXXXXXXXex-anteterritoriale delpresenza sul3-5 anni2soggettoterritoriooltre 6 anni3proponente2) presenza di altri2.1) presenza1progetti attivi sulassenza048

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoterritorio sullestesse tematichee/o su temicontigui3) presenza3.1) presenza1progetti precedentiassenza0sul territorioValutazionePartenariato1) numero e1.1)XXXXXXXXXXex-antePresenza difrequenza degli0-201relazioni conincontri pubblici21-502enti locali, altre(% numero51-803organizzazioniincontri previsti fra81-1004di volontariato,i partner sul totalealtredegli incontriorganizzazioniprevisti)nonprofitProgetti chepongano in2) grado di2.1)VALINessere pratichecomplementarietàalta3didelle attivitàmedia1coinvolgimentoprevistebassa0degli attorisociali locali eche adottino3) partenariato3.1)XXXXXXXXXXforme diformalizzatopresenza349

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoconcertazione e(protocolloassenza0strumenti did’intesa,contrattazioneconvenzioni,negoziataaccordi diprogramma)4) progetto4.1) presenza2XXXXXXXXXXcoerente con laassenza0programmazionezonale(presenzariferimenti)5) adozione di un5.1) presenza2XXXXXXXXXXdocumento,assenza0condiviso evalutabile, dimissione delprogetto6) in che misura la6.1)VALINpartnership0-10%1rappresenta11-30%2l’insieme degli31-50%350

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoattoripotenzialmenteinteressati dallaproblematicaoggettodell’intervento?51-80%81-100%457) Il partenariatoappare in grado disviluppareun’azione didisseminazioneutilizzando leproprie reti diinfluenza?7.1) capacitàaltacapacità mediacapacità bassa310VALIN8) numeroassociazionicoinvolte sul totaledelle associazioniche si occupanodello stesso temasul territorio diriferimento8.1)0-2021-5051-8081-1001234XXXXXXXXXX51

La valutazione di impatto sociale dei progetti delle associazioni di volontariato9) numero progetti9.1)XXXXXXXXXXrealizzati con altre0-201organizzazioni sul21-502totale dei progetti51-803realizzati81-100410) Il10.1)VALINcoinvolgimento dicompleto3partner èparziale1completo, parzialemarginale0o marginale?11) Inserimento11.1) Presenza3XXXXXXXXXXdell’associazione inAssenza0altri progetti comepartnerValutazioneArticolazioneCoerenza, chiarezzaAlta3VALINex anteinterna/obiettived efficaciaMedia1idell’articolazioneBassa0complessiva inrapporto agli obiettiviValutazioneCoerenza deiGli obiettivi specifici eGrado diAlta3VALINex-anterisultati attesii risultati attesimisurabilitàMedia2con gli obiettivivengono presentati inBassa152

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoprevistimaniera tale daAssente 0permettere la loromisurabilità?ValutazioneEsperienza delNumero e durata delle1) numero1.1)XXXXXXXXXXex-antesoggettoprogettualità sul tema00proponentespecifico1-101rispetto aloltre 113tema affrontatonel progetto2) durata2.1)0 anni01-3 anni1oltre 4 anni3ValutazioneQualità delle risorsePresenza diAlta3VALINex-anteumane utilizzatecurriculumMedia1(qualificazioneBassa0operatori coinvoltinel progetto)ValutazionePubblicazioni,Presenza2XXXXXXXXXXex-antericerche, materialeAssenza0divulgativo realizzatosul tema oggetto delprogettoValutazioneInnovazioneRispetto:Alta3VALINex-anterispetto alle1. agli obiettiviMedia1attività2. al processoBassa0precedenti3. al contesto53

La valutazione di impatto sociale dei progetti delle associazioni di volontariatosullo stesso4. al networkingambito, tema,contesto2) numero nuove2.1)XXXXXXXXXXassociazioni (nate0-201negli ultimi due21-502anni) sul totale51-803delle associazioni81-1004coinvolte nelprogettoValutazioneSostenibilitàLa sostenibilità delle1) livello di1.1) Alta3VALINex-anteazioni proposte e deireplicabilitàMedia1risultati attesi è taleBassa0da garantire unaccettabile livello di2) grado di2.1)trasferimento?coinvolgimentoalto3attivo partner emedio1beneficiaribasso0ValutazioneRilevanzaQuanto e come ilGrado di rilevanzaAlto3VALINex anteprogetto proposto puòMedio1essere consideratoBasso0rilevante rispetto allestrategie propostenell’ambito specifico?54

VALUTAZIONE DI PROCESSO DEL PROGETTOLa valutazione di impatto sociale dei progetti delle associazioni di volontariatoTipologiaAree daIndicatoriSviluppoArticolazionePAutoValutazionevalutazionevalutareindicatoriindicatoriuValutazioneIndipendententeggiValutazioneGrado di1) modalità diAnalisi dei verbaliAlto3VALINdi processoriformulazioneriflessione condivisadelle riunioni svolteMedio1parzialeall’internodurante laBasso0progetto adell’associazionerealizzazione delfronte di unprogetto da:cambiamento2) modalità didei bisogniriflessione condivisa- equipe progettocon i partner- volontari- volontari e3) modalità dibeneficiari diretti eriflessione condivisaindiretticon il territorio- partnerValutazioneProfessionalitàGrado di1) Quale e’ la1.1)XXXXXXXXXXdi processonelle attivitàprofessionalità delprofessionalità- nessuna:proposte dalpersonale coinvoltorichiestaainonhaprogettovolontaridellasenso55

La valutazione di impatto sociale dei progetti delle associazioni di volontariatovostra associazione(una sola scelta)parlare diprofessionalità per chifa servizioinun’associazione divolontariato, basta lamotivazioneel’entusiasmo- nessunabasta ilbuon senso- competenzateorica- competenzaoperativa- competenzateorica eoperativa- competenzateorica eaggiorname0001256

La valutazione di impatto sociale dei progetti delle associazioni di volontariato-ntocontinuocompetenzateorica eoperativa eaggiornamentocontinuo232) La competenzaè sufficiente agarantire unservizio di qualità?2.1)- sì- no- non so1303) Se no: qual è ilfattore piùimportante chedeveaccompagnarla?(una sola risposta)3.1)- capacità diascolto- buon senso- motivazione- entusiasmo30004) Questi fattorisarebbero4.1)- sì157

La valutazione di impatto sociale dei progetti delle associazioni di volontariatosufficienti anche in- no3mancanza di- non so0competenzaspecifica da partedel volontario?5) % numero5.1)ore/attività/azioni0-20%1coperte dal21-50%2volontariato sul51-80%3totale81-100%4ValutazionePresenza di1) grado di1.1) interviste nonAlto3VALINdi processouna relazionecoinvolgimento deistrutturate con iMedio1continua con ibeneficiaribeneficiariBasso0beneficiari delprogetto2) incontri periodicicon i beneficiari2.1) presenza3XXXXXXXXXXassenza0ValutazioneFlessibilità1) Modificare gliPerognunaXXXXXXXXXXdi processodelle attivitàobiettivi e i metodidellefrasidel progettodiinterventoindividuarea(adattabilità aidell’associazione inqualidellemutamenti)rispostaalleseguentiesigenzeposizionisiemergentisulsente più vicinoterritorioè58

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoessenziale perriuscire a darerisposte adeguate.Totalmented’accordo3Perd’accordoniente02) Adattare ilservizio alleesigenzeemergenti sulterritorio èsconsigliabileperché si rischia dientrare nellecompetenze di altrisoggetti.Totalmented’accordo0Perd’accordoniente33) Il sensodell’attivitàvolontaria sta nel59

La valutazione di impatto sociale dei progetti delle associazioni di volontariatodare rispostemodellate sullenecessitàspecifiche di ogniutente.Totalmented’accordo3Perd’accordoniente04) L’adattamentoalle esigenzespecifiche di ogniutente va evitatoperché riducel’ampiezzadell’interventoTotalmented’accordo05) Dare risposteveloci anche grazieall’uso di percorsiinformali è unvalore essenzialePerd’accordoniente360

La valutazione di impatto sociale dei progetti delle associazioni di volontariatodellevolontarieattivitàTotalmented’accordo36) Le risposteveloci implicanomancataponderazionedell’intervento edeccessivaassunzione diresponsabilità.Per niented’accordoTotalmented’accordo007) Le associazionidi volontariato nondevono darerisposte veloci persopperire allemancanze deglienti pubbliciPer niented’accordoTotalmente361

La valutazione di impatto sociale dei progetti delle associazioni di volontariatod’accordo3Perniented’accordo0ValutazioneGrado diAnalisi dei verbaliAlto3VALINdi processocoinvolgimentodelle riunioni svolteMedio1di altredurante laBasso0organizzazionirealizzazione delnel ri-progettoorientamentodel progettoValutazioneGrado diSono state impostateFocus Group conAlto3VALINdi processoefficienza edadeguatamentelevolontarieMedio1efficacia nellafunzioniprincipalibeneficiaridirettiBasso0gestione delpreviste dal progetto?ed indirettiprogetto(organizzazioneLe persone coinvolte, personale,(volontari e non) sonorisorse umanesufficienti per ile strumentali,progetto previsto?professionalitàdel progetto)Le persone coinvolte(volontari e non)hanno le competenzeadeguate per ilprogetto previsto?62

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoIl progetto è benorganizzato?Le persone coinvolte(volontari e non)lavorano beneinsieme?Il progetto èsufficientementecoordinato con altriprogetti e altreorganizzazioni chelavorano sullo stessotema?Le risorse umane estrumentali sonoadeguatealfunzionamento delprogetto?Le risorse umane estrumentali sonousate efficacemente?63

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoIl progetto èsufficientementecoordinato con leattività previste dallapubblicaamministrazione nelsettore?Il progetto èsufficientementecoordinato con leattività previste dallapubblicaamministrazione nelterritorio specifico?Il progetto è condottocon professionalità?64

VALUTAZIONE EX POST DEL PROGETTOLa valutazione di impatto sociale dei progetti delle associazioni di volontariatoTipologiaAree daIndicatoriSviluppoArticolazionePAutoValutazionevalutazionevalutareindicatoriindicatoriuValutazioneIndipendententeggiValutazioneCoerenza dei% scostamento‹ 10%4XXXXXXXXXXex-postmaterialirispetto agli‹ 30%3prodottiobiettivi dei‹ 50%1rispetto aglimateriali prodotti‹ 80%0obiettivi delprevisti dalprogettoprogettoValutazioneCoerenza e% scostamento‹ 10%4XXXXXXXXXXex-postconformitàdelle realizzazioni‹ 30%3dellerispetto ai risultati‹ 50%1realizzazioniprevisti dal‹ 80%0con gli obiettiviprogettoe i risultatiprevistiValutazioneGrado diquante persone hanno% scostamento‹ 10%4XXXXXXXXXXex postefficienza nellaricevutoibeneficiarisul‹ 30%3risposta aiservizi/attività/benefictotalepotenziali‹ 50%165

La valutazione di impatto sociale dei progetti delle associazioni di volontariatobisogni i del progetto sulbeneficiari ‹ 80% 0totale dei potenzialibeneficiari?ValutazioneGrado diLe persone che hanno% scostamento dai‹ 10%4XXXXXXXXXXex postefficacia nellaricevutoibeneficiari previstii‹ 30%3risposta aiservizi/attività/benefic‹ 50%1bisognii del progetto erano‹ 80%0quelle previste dalprogetto stesso?ValutazioneQualità delleLe persone hanno1) % scostamento1.1)4XXXXXXXXXXex postrispostericevuto la quantità, larispettoalle‹ 10%3previste daltipologia e la qualitàquantità e alle‹ 30%1progettodeitiplogie previste‹ 50%0servizi/attività/benefic‹ 80%i previste dalprogetto?2) grado di qualità2.1)2.1)delle rispostealto3VALIN(intervistenonmedio1strutturate per labasso0qualità prevista)ValutazioneSoddisfazioneI beneficiari del1) grado di1.1)VALINex postdei beneficiariprogettosonosoddisfazioneAlto3rispetto allesoddisfattidei(intervistenonMedio1attivitàservizi/attività/beneficstrutturate)basso0i?66

La valutazione di impatto sociale dei progetti delle associazioni di volontariato2.1)2) % di abbandoni‹ 10%4XXXXXXXXXXdeibeneficiari‹ 30%3(scarto tra l’inizio e‹ 50%1la fine delle attività‹ 80%0del progetto)ValutazioneSoddisfazioneI beneficiari delGradodiAlto3VALINex postdei beneficiariprogettosonosoddisfazioneMedio1rispettosoddisfattidel(intervistenonBasso0all’organizzaziopersonale (volontari estrutturate)ne del progettonon) coinvolti nelprogetto67

VALUTAZIONE DI IMPATTO SOCIALE DEL PROGETTOLa valutazione di impatto sociale dei progetti delle associazioni di volontariatoTipologiaAree daIndicatoriSviluppoArticolazionePAutoValutazionevalutazionevalutareindicatoriindicatoriuValutazioneIndipendententeggiValutazioneTrasformazioneAnalisi delle1) % diminuzione1.1)XXXXXXXXXXdi impattodei bisognitrasformazioni neldei bisogni iniziali0-10%1socialeindividuatigruppo bersaglio deidei beneficiari sul11-30%2beneficiari (prima etotale dei31-50%3dopo l’avvio delbeneficiari51-80%4progetto) e nel gruppo81-100%5di controllo2) % cambiamento2.1)nei bisogni iniziali0-10%1dei beneficiari sul11-30%2totale dei31-50%3beneficiari51-80%481-100%53) grado di3.1)VALINtrasformazionealto368

La valutazione di impatto sociale dei progetti delle associazioni di volontariato(interviste nonmedio1strutturate prima ebasso0dopo)ValutazioneContinuità diNumero attività00XXXXXXXXXXdi impattoalcune delleprogetto ancora11socialeattività previsteattive dopo 6 mesi2-33dal progettodalla conclusioneoltre 44dopo la suaconclusioneformaleValutazioneSviluppo dellaAmpliamento delle reti1) Numero di1.1)XXXXXXXXXXdi impattorelazionalità suldi partnership previstepartner aggiuntivi01socialeterritoriodal progettorispetto a quellida 1 a 32formalmenteoltre 43previsti nelprogettoAmpliamento relazioni2) avvio nuovi2.1)con gli enti locali sulleincontri con glipresenza2azioni previste dalenti pubblici suiassenza0progettotemi progettuali3) avvio nuove3.1)progettualità/attivitpresenza2à sui temiassenza0progettuali69

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoValutazioneIntegrazioneGrado di conoscenza1) La vostra1.1)di impattocon le politichedelle progettualitàassociazione- consultasocialepubbliche e conreciproche nell’ambitopartecipaterritorialeil territorio didi azione del progettostabilmente ad una(comunaleriferimentoqualcheeIncremento dellaorganizzazioneoprovinciale)complementarietàstrutturainsieme;1delle attività previstead altri soggetti?- coordinamedal progetto con lentoattività previste dalletematico;1politiche pubbliche- coordinamentoGrado di integrazionegenerale;1del progetto nel- tavolocontesto territorialepermanentedi confrontoconaltrisoggetti(pubblicieprivati);1- delegazionecentroservizi;1- nessunaorganizzazione070

La valutazione di impatto sociale dei progetti delle associazioni di volontariato2) L’associazione2.1)proponenteSì3provvederegolarmenteadNo0inviarematerialeinformativosulleattività e i risultatidel progetto adenti pubblici/ altrisoggetti non profit/privati operanti nelvostrosettore/territorio?ValutazioneRilevanza sul1) Esiste una1.1)di impattoterritorioprogettualitàSì2socialeaggiuntivaall’interno delNo0contestoterritoriale2.1)2) Esiste unaSì2progettualitàaggiuntivaNo0all’interno del tema71

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoValutazioneEffetti suiGrado diInterviste nonAlto3VALINdi impattobeneficiaricoinvolgimento direttostrutturate dopo 6Medio1socialedirettied indiretto deimesiBasso0beneficiari diretti delprogettoValutazioneEffetti suiGrado diInterviste nonAlto3VALINdi impattobeneficiaricoinvolgimento direttostrutturate dopo 6Medio1socialeindirettied indiretto deimesiBasso0beneficiari indiretti delprogettoValutazioneEffetti diMiglioramento dellaInterviste nonAlto3VALINdi impattotrasformazionesituazione individualestrutturate dopo 6Medio1socialesui beneficiaried ambientale deimesi (contenentiBasso0del progettobeneficiarianche gli indicatori(cambiamenti emotivi,di empatia - clima,nelle azioni, nelloemozioni,stato di vulnerabilità)sensazioni,corporeità)ValutazioneCambiamentianalisi delle percezioniGrado diAlto3VALINdi impattonel mondo deldei:cambiamentoMedio1socialepensiero ebeneficiari(Interviste nonBasso0nell’immaginaricittadini nonstrutturate dopo 6o collettivo dicoinvolti nelmesi)un ambito dellaprogettovulnerabilità edell’esclusione72

La valutazione di impatto sociale dei progetti delle associazioni di volontariatosocialeTrasformazioninellapercezionedella realtà(beneficiari ecittadini)ValutazioneRiproduzione diPresenza di una1) Accade che gli1.1) Sì2XXXXXXXXXXdi impattorelazionirelazione continua conutentiNo0socialei beneficiari dopo lamantenganounconclusione delcontattoconprogettol’associazioneanche dopo ilperiodo in cuihanno fruito delservizio?2) Se sì, che tipo2.1)di contatto?- diventano(una sola risposta)volontari;3- mantengonorapportidiamiciziaconivolontari;273

La valutazione di impatto sociale dei progetti delle associazioni di volontariato- ritornanocon lostessoproblema ocon altri;- indirizzanoall’associazione altrepersone conproblemisimili;023) Quali sono leattivitàdell’associazioneper promuovereautonomia eresponsabilitànegli utenti?3.1)a) creareoccasioni diinserimentolavorativo;b) affiancarel’utente nelpercorsoesterno(lavorativo,familiare)una voltarisolto il suodisagio274

La valutazione di impatto sociale dei progetti delle associazioni di volontariatospecifico;c) costruireuna rete direlazioniterritorialicon altrisoggetti(pubblici,privati e delterzosettore) chefacciaconoscerel’utenteprimadell’uscitadalservizio;d) mettere ingradol’utente dimuoversida solo tra isoggettipubblici,privati e del2375

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoterzosettore;2nessuna0ValutazioneRilevanzaVisibilità associazione 1) %1.1)XXXXXXXXXdi impattocomunicazioneIncremento0-20%1socialesociale deivolontari21-50%2risultati del51-80%3progetto nei81-100%4beneficiari enella comunità2) grado di2.1)VALINvisibilità (focusAlto3group con iMedio1cittadini)Basso0ValutazioneGrado di conoscenza eFocus group con iAlto3VALINdi impattopenetrazione deldestinatariMedio1socialeprogettointermedi delBasso0progettoValutazioneCapacità di generareFocus group con iAlto3VALINdi impattocambiamenti nellacittadiniMedio1socialecomunità territorialeBasso0ValutazioneStrategie diEsplicitazione:Grado diAlto3VALINdi impattoconsolidamento- azioniconsolidamentoMedio1socialedel progetto- risorse umane(Interviste nonBasso076

La valutazione di impatto sociale dei progetti delle associazioni di volontariato- risorse finanziarie strutturate airesponsabili dopo 6mesi)ValutazioneConsapevolezzE’ stata modificata la1) quale1.1)XXXXXXXXXXdi impattoa del problemaconoscenzadelpercentualedi0-10%1socialedopo laproblema oggetto delpersonenon21-50%2conclusione delprogetto?interessate51-80%3progettodirettamenteal81-100%4progettosonostate contattate sultotaledellapopolazionediriferimentodellacomunitàoggettodel progetto?2) sono state2.1)effettuate indagineSì3specifichesullaconoscenzesultema oggetto delNo0progetto dopo laconclusionedelleattività?ValutazioneComparazioneI risultati del progetto1) conoscete iSì 2 XXXXXXXXXXdi impattosono migliori orisultati di altri77

La valutazione di impatto sociale dei progetti delle associazioni di volontariatosociale peggiori di altriprogettisulloNo 0interventi sullo stessostesso tema?tema nello stessoterritorio?ValutazioneEsemplarità eAmpiezza potenziali1) percentuale dei1.1) 0%-10%1XXXXXXXXXXdi impattotrasferibilità delbeneficiari chebeneficiari coinvolti11%-20%2socialeprogettopotrebbero usufruireoltre a quelli21%-40%3del modello e/o dellaprevisti dal41%-60%4metodologiaprogetto61%-100%52) Numero dei1.2) 0%-10%1beneficiari11%-20%2potenzialmente da21%-40%3coinvolgere41%-60%461%-100%5ValutazioneMetodi diEsplicitazione ed1) I risultati delSì3XXXXXXXXXXdi impattodisseminazioneefficaciaprogetto sono statisocialepresentati inNo0occasioni diverseda quelle previste?2) I risultati delSì3progetto sono statioggetto diNo0discussione e/oprogettazione da78

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoparte di altreorganizzazionipubbliche oprivate?Tabella 6 – Punteggi massimi e minimi raggiungibili per fasi del processo di valutazioneFasi del processo di valutazione Punteggio massimo raggiungibile Punteggio minimo raggiungibileValutazione ex ante 113 9Valutazione in itinere 52 1Valutazione ex post 33 0Valutazione di impatto sociale 93 7Processo di valutazione completo 291 1779

La valutazione di impatto sociale dei progetti delle associazioni di volontariato5.2 Gli schemi di interviste non strutturate e di focus group previsti nelmodello di valutazioneQui di seguito sono presentati gli schemi delle interviste non strutturatesuddivise per fasi del processo di valutazione.5.2.1 Per la valutazione di processoFigura 4 – Schema di intervista non strutturata sulla presenza di una relazionecontinua con i beneficiariIndicatori da esplorare: presenza di una relazione continua con i beneficiari(grado di coinvolgimento)Materiali e documentazione: 1) verbali riunioni ed incontri fra i partner delprogetto; 2) relazioni intermedie di monitoraggio.Intervistati: almeno 3 beneficiari diretti. Se non è possibile, in alternativafamiliari e/o accompagnatori e/o tutori.Schema generale di intervista condotta dal valutatore1) Dati anagrafici2) quante volte ha usufruito delle attività previste dal progetto?3) Prevede di usufruirne ancora?4) In che modo è entrato in contatto con i volontari? Racconti l’esperienza5) A quali attività ha partecipato?80

La valutazione di impatto sociale dei progetti delle associazioni di volontariato6) E’ stata/o sufficientemente coinvolta nelle attività scelte? Faccia un esempio7) Per quanto tempo ha seguito l’attività?8) Le è capitato di decidere insieme agli operatori le attività da svolgere? Puòraccontare come?Figura 5 – Schema di focus group sulla organizzazione, personale, risorseumane e strumentali, professionalità (adeguatezza, coerenza e sostenibilità)Indicatori da esplorare: organizzazione, personale, risorse umane estrumentali, professionalità (adeguatezza, coerenza e sostenibilità)Materiali e documentazione: 1) verbali riunioni ed incontri fra i partner delprogetto; 2) relazioni intermedie di monitoraggio.Partecipanti: almeno 3 volontari dell’associazione, 3 dei partner e 3 beneficiaridiretti. Se non è possibile per i beneficiari diretti, in alternativa familiari e/oaccompagnatori e/o tutori.Realizzazione di un focus group con le seguenti aree da esplorare:1) professionalità volontari e operatori2) organizzazione attività3) relazioni fra le persone coinvolte4) spazi e strumenti disponibili5) coordinamento con altri progetti81

La valutazione di impatto sociale dei progetti delle associazioni di volontariato5.2.2 Per la valutazione ex postFigura 6 – Schema di intervista non strutturata sulla soddisfazione deibeneficiari (attività e organizzazione del progetto) e sulla qualità delle attivitàprevisteIndicatori da esplorare: 1) soddisfazione dei beneficiari (attività eorganizzazione del progetto); 2) qualità delle attività previsteMateriali e documentazione: 1) prodotti e realizzazioni; 2) relazioni finali dimonitoraggio.Intervistati: almeno 3 beneficiari diretti. Se non è possibile, in alternativafamiliari e/o accompagnatori e/o tutori.Schema generale di intervista condotta dal valutatore1) Dati anagrafici2) Le attività alle quali ha partecipato corrispondevano alle su aspettative? Ealle sue esigenze? Faccia un esempio3) Le attività alle quali ha partecipato rispettavano tempi, modalità dierogazione, contenuti proposti inizialmente? Racconti un episodio positivo euno negativo4) Che cosa è cambiato dopo la sua partecipazione alle attività? Quali sono ibenefici che ne ha tratto?5) Quali sono i problemi che ha incontrato? Faccia un esempio82

La valutazione di impatto sociale dei progetti delle associazioni di volontariato5.2.3 Per la valutazione di impatto socialeFigura 7 – Schemi di storie di vita, di interviste non strutturate e di focus groupsull’analisi delle trasformazioni del gruppo bersaglio (valutazione partecipata),sul coinvolgimento beneficiari diretti, sul coinvolgimento beneficiari indiretti,sul miglioramento della situazione individuale dei beneficiari, sui cambiamentinelle percezioni e nelle conoscenza sul tema fra beneficiari e cittadini pre epost (valutazione partecipata) e sulla conoscenza del progetto edell’associazione fra i cittadiniIndicatori da esplorare: 1) analisi delle trasformazioni del gruppo bersaglio(valutazione partecipata); 2) coinvolgimento beneficiari diretti; 3)coinvolgimento beneficiari indiretti; 4) miglioramento della situazioneindividuale dei beneficiari; 5) cambiamenti nelle percezioni e nelle conoscenzasul tema fra beneficiari e cittadini pre e post (valutazione partecipata); 6)conoscenza del progetto e dell’associazione fra i cittadini.Materiali e documentazione: tutti i materiali risultati dalle azioni del progettoIntervistati: 1) costituzione del gruppo di bersaglio (3 beneficiari e/o 3 familiarie/o 3 accompagnatori e/o 3 tutori); 2) almeno 3 beneficiari diretti. Se non èpossibile, in alternativa familiari e/o accompagnatori e/o tutori; 3) almeno 3beneficiari indiretti (familiari e/o insegnanti e/o operatori sociali – assistentisociali, educatori professionali, etc); 4) focus group composto da 10 cittadinidel territorio di riferimento del progettoIndicatore (1)- dati anagraficiPrima83

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoRaccolta delle tre storie di vitaDopoDopo aver verificato insieme agli intervistati la storia precedente, porredomande sugli aspetti che l’intervistato individua come elementi dicambiamento collegati alla sua storia “dentro al progetto”Indicatore (2)Schema generale di intervista condotta dal valutatore1) Dati anagrafici2) quante volte ha usufruito delle attività previste dal progetto?3) Prevede di usufruirne ancora?4) In che modo è entrato in contatto con i volontari? Racconti l’esperienza5) A quali attività ha partecipato?6) E’ stata/o sufficientemente coinvolta nelle attività scelte? Faccia un esempio7) Per quanto tempo ha seguito l’attività?8) Le è capitato di decidere insieme agli operatori le attività da svolgere? Puòraccontare come?9) il coinvolgimento nella attività sta continuando? Può raccontare in chemodo?84

La valutazione di impatto sociale dei progetti delle associazioni di volontariato10) Ha richiesto e/o è interessato di/a partecipare alle attività futuredell’associazione?Indicatore (3)1) Dati anagrafici2) In che modo ha incontrato le attività previste dal progetto?3) Quali sono state le modalità di fruizione delle attività?4) Ha avuto la possibilità di decidere insieme ai promotori del progetto leattività da svolgere?5) Dopo aver partecipato alle attività che cosa è cambiato rispetto a prima?6) Quali sono gli elementi di forza del progetto secondo lei?7) Ha richiesto e/o è interessato di/a partecipare alle attività futuredell’associazione?Indicatore (4)1) dati anagrafici2) verificare l’ampliamento del capitale sociale individuale (complesso direlazioni – spendibili – fiduciarie, formali e informali, durevoli nel tempo efondate sulla reciprocità) e familiare attraverso: a) le nuove relazioni attivate –chi hai conosciuto di nuovo grazie al progetto? b) le nuove competenzeacquisite - Cosa hai imparato di nuovo grazie al progetto?85

La valutazione di impatto sociale dei progetti delle associazioni di volontariato3) verificare il miglioramento dell’accesso autonomo alle attività di vitaquotidiana rispetto a prima4) verificare il miglioramento nella percezione di sé e degli altriIndicatore (5)- realizzazione di focus group con le seguenti aree da esplorare:a) Beneficiari diretti e/o indirettiPrimaCaratteristiche: 1) tema oggetto del progetto; 2) percezioni del proprioproblema; 3) percezione del problema nella comunitàDopoCambiamenti nelle caratteristiche esplorate prima dell’avvio del progettob) CittadiniPrimaPercezione del tema oggetto del progetto (frasi, modi di dire, stereotipi, etc)DopoCambiamenti nella percezione oggetto del progetto86

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoIndicatore (6)- realizzazione di focus group con le seguenti aree da esplorare:CittadiniConoscenza delle 1) attività; 2) temi; 3) risultati; 4) problemi; riferibili alprogetto e alla associazioneFigura 8 – Schema di intervista non strutturata sulla strategia diconsolidamento del progettoIndicatori da esplorare: strategia di consolidamento del progettoMateriali e documentazione: 1) prodotti e realizzazioni; 2) relazioni finali dimonitoraggio.Intervistati: almeno un referente del progetto.Schema generale di intervista condotta dal valutatore1) Dati anagrafici2) Avete deciso di continuare le azioni del progetto? Con quali risorse umane efinanziarie? (Specificare quali)3) Quali altri progetti contigui a questo ha promosso la vostra associazione?(specificare nome dei progetti)4) Le professionalità acquisite durante il progetto sono confermate?(specificare chi e in che modo)87

La valutazione di impatto sociale dei progetti delle associazioni di volontariato5) Il partenariato ha continuato a proporre nuovi progetti? (specificare quali,con chi e rivolti a chi)6) Avete previsto un allargamento delle relazioni di partenariato? (quante econ chi)5.3 Linee guida dei percorsi per la valutazioneCome esemplificato nella figura 9, abbiamo cercato di individuare per la duratadel ciclo di progetto (dalla ideazione agli effetti del progetto) le tipologie divalutazione e il ruolo delle associazioni di volontariato, del Cesvot e del CogeToscana nonché del valutatore indipendente. Ciascun soggetto svolge ruolidiversi, ma nella maggior parte della vita del progetto tutti i soggetti sonocoinvolti nel progetto valutativo per affermare ancora una volta la preferenzaper un processo di valutazione partecipata.Figura 9 - Linee guida dei percorsi per la valutazioneProgettoTipologia diRuolo attivoRuoloRuoloRuolovalutazioneassociazioneCesvotcomitatovalutatorediindipendentegestionefondiT0IdeazioneT +Progettazione Ex ante1T +SelezioneEx ante2attraversobando88

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoT +3T +4T +5Realizzazionedel progettoPresentazionerisultati delprogettoEffetti delprogettoImpattosociale(valutazionepartecipata)ProcessoEx postImpattosociale(valutazionepartecipata)6. Riferimenti bibliograficiAmbrosini M. (2005), Scelte solidali. L’impegno per gli altri in tempi disoggettivismo, Il Mulino, BolognaBailey K.D. (1982), Methods of Social Research, The Free Press, New YorkBezzi C. (2003), Il disegno della ricerca valutativa, Franco Angeli, MilanoBezzi C. (2004), La valutazione dei servizi alla persona, Edizione FuoriCommercio, www.valutazione.itCalvi, G. (1980), La classe Fortezza, Franco Angeli, MilanoCastel R. (1995), Les metamorphoses de la question sociale, Fayard, ParisCastel R. (2004), L’insicurezza sociale, Einaudi, TorinoFreeman H. E., Lipsey M. W., Rossi P. H. (2004), Evaluation. A systematicapproach, Sage Publications, Inc.Lazarsfeld P. F. (1967), Metodologia e ricerca sociologica, Il Mulino, BolognaPalumbo M. (1992), Concetti dell’uomo della strada e concetti del ricercatore,in Marradi A., Gasperoni G. (a cura di), Costruire il dato 2, Franco Angeli,Milano89

La valutazione di impatto sociale dei progetti delle associazioni di volontariatoPalumbo M. (2001), Il processo di valutazione. Decidere, programmare,valutare, Franco Angeli, MilanoPalumbo M. (2003), Gli indicatori valutativi, in Rassegna Italiana diValutazione, a. VII, n. 27, pp. 107-129Razzi Marco (1992), Fedeltà dei dati raccolti mediante questionario: uncontrollo empirico, in Marradi A., Gasperoni G. (a cura di), Costruire il dato 2,Franco Angeli, MilanoRiquier G. (1997), Stakeholders’ participation in public policy evaluations:impact on organizational learning, in Foresti M., La partecipazione in ambitovalutativo: mito o realtà? Teoria e pratica degli approcci partecipati invalutazione, Rassegna Italiana di Valutazione, a. VII, n. 25, 2003, pp. 54Wilson E.K. (1971), Sociology, Rules, Roles and Relationships., Homewood Il.:Dorsey Press90