Ewaluacja projektów uczniowskich - prezentacja (Barbara Okleja ...

Ewaluacja projektówuczniowskichProwadzący: mgr Barbara Okleja/doradca metodyczny,wojewódzki ekspert do wdrażania nowej podstawyprogramowej/

Cel szkolenia :• Doskonalenie umiejętności nauczycieli w obszarzezaprojektowania i przeprowadzenia ewaluacji projektugimnazjalnego i wypracowanie konstruktywnych wniosków dodalszej pracy• Kształcenie u nauczycieli umiejętności przekładania wnioskówz ewaluacji na działania w celu podwyższenia jakości pracyszkoły

Zakres monitorowania i ewaluacji projektugimnazjalnego.

MONITOROWANIE PROJEKTU• CO TO JEST MONITOROWANIE ?‣ Monitorowanie można zdefiniowad jako ciągłe śledzenie postępów (lub ichbraku) w procesie działao na rzecz przyjętych celów.‣ Monitorowanie pełni dodatkowo funkcję informacyjną.‣ Dzięki stałej kontroli postępu prac i poziomu ich zaawansowania, wszyscyzainteresowani mogą posiadad niezbędną wiedze i informacjeumożliwiające im podjęcie w razie konieczności działao korygujących.‣ Dodatkowo, zbiorcze zestawienie informacji zgromadzonych w trakciemonitoringu pozwala na skuteczną i możliwie dokładną analizęefektywności i wydajności działao realizowanych w ramach projektu.Monitoring jest skutecznym narzędziem, które umożliwianam odpowiedź na pytanie, czy projekt zakooczył sięsukcesem?

Aby skutecznie monitorowad projekt, należy szukadodpowiedzi m.in. na następujące pytania:‣Czy podejmowane działania prowadzą do zaplanowanegorezultatu?‣Czy założenia tego działania wymagają przeformułowania?‣Czy osiągane rezultaty prowadzą do osiągania celów?‣Czy projekt przebiega zgodnie z harmonogramem?‣Czy realizatorzy projektów zachowują się zgodnie zoczekiwaniami?

WSKAŹNIKI W PROCESIE MONITOROWANIA‣Poprawne monitorowanie powinno cechowad sięobiektywnością i rzetelnością,‣Wskaźniki powinny zostad opracowane na początku cykluprojektu, najlepiej na etapie fazy planowania. Opracowanieich na tym etapie umożliwia precyzyjne określenie celów iproduktów projektu.‣wskaźniki powinny pokazywad osiągnięte wyniki związane zrealizacją projektu

Monitoring projektu:• Realizacja projektu będzie systematyczniemonitorowana poprzez:- obserwację i rozmowy ze społecznością szkolną,- analizę wytworów uczniów- udział i zaangażowanie społeczności szkolnej wrealizację poszczególnych zadań,- wymiana doświadczeń pomiędzy realizatoramiprojektu- zapisy w kronice szkolnej i stronie internetowej

Ewaluacja projektów edukacyjnych:Każdy uczeo uczestniczący w wykonywaniu projektówedukacyjnych powinien otrzymad informację zwrotną oosiągniętych celach, mocnych i słabych stronach, jak poprawidsłabe strony i jak wykonad pracę lepiej.

Ewaluacja projektów edukacyjnych:Nie chodzi tutaj tylko o ocenę jakości i efektów pracy ucznia.Ewaluacja ma znacznie szerszy charakter.Musimy dzięki niej uzyskad informacje, które pozwolą namnie w ustaleniu przyczyn ewentualnych niepowodzeo,braków i problemów.Pozwolą także wyłonid i rozwinąd te obszary projektu, któreokazały się szczególnie efektywne w osiąganiu naszychcelów.

Ewaluacja projektów edukacyjnych:Projekty wykonywane w szkole dają możliwośd uczenia się nabłędach.Dlatego też uczniowie po zakooczeniu projektu:‣powinni dokonad analizy osiągniętych sukcesów i błędów,które popełnili w czasie tej pracy. Nawet wówczas, gdyzostała wykonana poprawnie, nie ustrzegli się zapewnedrobnych błędów, których uświadomienie sobie powinnowyeliminowad je z następnych projektów, czy z innychpodejmowanych w przyszłości działao.

Ewaluacja projektów edukacyjnych:Taka analiza jest szczególnie potrzebna wtedy, gdy uczniomnie udało się osiągnąd zamierzonego celu lub gdy osiągnęligo tylko częściowo.W przypadku prac projektowych nie można powiedzied, żezakooczyły się one niepowodzeniem , jeżeli uczniowiepoddadzą analizie wykonaną pracę i zaproponująsposoby uniknięcia w przyszłości podobnych błędów.

Ewaluacja projektów edukacyjnych:Warto poświęcid trochę czasu i zorganizowad spotkanie zzespołem projektowym lub klasą , w której wykonywane byłyprojekty, i zainicjowad dyskusję o sukcesach i porażkach.Można również przygotowad dla uczniów pisemneinformacje zwrotne, co powinno byd łatwiejsze, jeśliwcześniej nauczyciel dobrze zorganizował procesmonitorowania pracy uczniów i oceny etapowej orazgromadził sporządzane podczas realizacji projektów arkuszeoceny i obserwacji.

Ewaluacja projektów edukacyjnych:W przygotowaniu i przeprowadzeniu dyskusji,podsumowującej pracę uczniów nad projektem może pomócwcześniejsze wypełnienie przez uczniów ankiety, zawierającejpytania dotyczące pracy projektowej :• W jakiej grupie pracowałeś?• Jaki był temat projektu?Wymieo imiona członków swojej grupy roboczej?• O czym chciałeś się najwięcej dowiedzied?• Czy Twój zespół osiągnął ten cel?

EwaluacjaPrzeprowadzana jest po zakooczeniu realizacjiprojektu/programu• Ocenia na ile udało się osiągnąd założone cele• Ocenia skutecznośd i efektywnośd interwencji oraz jej trafnośdi użytecznośd• Bada długotrwałe efekty (oddziaływanie) projektu/programuoraz ich trwałośd• Stanowi cenne źródło informacji użytecznych przy planowaniukolejnych interwencji

Karta ewaluacyjnaZadanie Lider grupy Co było trudne?Co się podobało?Jaka byławspółpraca zopiekunem?Uwagi

Określenie próby i metod badawczych• Badaniem ankietowym zostanie objętychzostanie min. 20% losowo wybranych uczniów zkażdej grupy wiekowej oraz wszyscy bezpośrednirealizatorzy działań edukacyjnych objętychprojektem.

Metody, techniki, narzędzia badawcze: jakich metodbadawczych użyjemy?• Zalecana – elastyczność w doborze metod.• Zalecane – proste, przyjazne dlarespondentów narzędzia nie wymagającepracochłonnych analiz.• Należy pamiętać o zasadach doboru metod.

Podstawowe metody badańBADANIA ANKIETOWE Oodpowiedzi na pytania.WYWIADR rodzaj uporządkowanej rozmowy.OBSERWACJAObserwowanie zastanej sytuacji.ANALIZA DOKUMENTACJIdokumentów i danychPrzegląd istniejących

Narzędzia badawcze• Kwestionariusz ankiety• Arkusz obserwacji• Arkusz wywiadu• Kwestionariusz analizy dokumentów

ANKIETA:Przy tworzeniu ankiety (kwestionariuszaankiety) należy pamiętać o pewnychkwestiach, które dotyczą:▫ poprawności formułowania pytań▫ rodzajów pytań▫ konstrukcji kwestionariusza▫ instrukcji dla respondenta

PYTANIA ANKIETY1. Zamknięte, które pozwalają udzielid odpowiedzi w ramachmożliwości określonych przez badaczaw formie skali bądź listy możliwych odpowiedzi□ Pytanie do rozstrzygnięcia- TAK , NIE , TRUDNO POWIEDZIED□ Pytanie pojedynczego wyboru□ Pytanie wielokrotnego wyboru□ Pytanie z uszeregowaniem odpowiedzi2. Otwarte, które dają pełną swobodę przy udzielaniuodpowiedzi (trudne do przeanalizowania i sformułowaniakonkretnych wniosków)3. Półotwarte, które zawierają listę odpowiedzi i jednocześniedają możliwośd udzielenia odpowiedzi innej, dowolnej.

Jak układad pytania ankiety?• Układaj krótkie pytania;• Formułuj pytania jasno i precyzyjnie – bez fachowegożargonu, nie zadawaj pytao w negatywnej formie!;• Staraj się zawierad pytania jednowymiarowe – na przykłąd niepytaj jednocześnie o kilka spraw, unikaj stosowania spójników„i”, „lub”, poważnie zastanów się nad używaniem przecinków;• Używaj kompletnej listy odpowiedzi;• Pamiętaj, aby nie zadawad pytao mogących wprawidrespondenta w zakłopotanie;• Zdecydowanie unikaj zadawania pytao sugerującychodpowiedź

Konstrukcja kwestionariusza (ankiety )Kwestionariusz możemy podzielid na 3 części:• wstęp- informacje dotyczące autorów badania, , tytułbadania, jego cel a także prośbę o szczere i wyczerpująceodpowiedzi , zapewnienie o poufności i podziękowanieza wzięcie udziału w badaniu• rozwinięcie- gdzie zamieszczamy pytania związane zbadaną kwestią, układając je w kolejności od pytaoogólnych do szczegółowych• zakooczenie- umieszczamy tutaj tzw. metryczkę- zbiórinformacji o osobie, która wypełniała kwestionariusz,typu:wiek, płed, wykształcenie itp.

OBSERWACJA:Czynnośd badawcza, polegającana gromadzeniu danych drogą spostrzeżeo.

OBSERWACJA• Co będziemy obserwować?• W jakim stopniu obserwator będzie zaangażowany wobserwowane przedsięwzięcie?• Czy będziemy prowadzić obserwację jawną, czyukrytą?• Kiedy będziemy prowadzić obserwację?• Jaki będzie zasięg prowadzonej obserwacji?

Cele obserwacji- przykłady• diagnoza efektów kształcenia,• regulowanie pracy nauczyciela w tych działaniach, gdziezdarzyłyby się błędy w przestrzeganiu zasad nauczania;diagnozowanie zjawisk pedagogicznych w szkole;• poprawa nauczania; nagradzanie znakomitego kształcenia;zmiany w przydziale zadao; ocena systemu doborunauczycieli; promowanie indywidualnego rozwoju isamooceny;• diagnoza i poprawa jakości w wymiarze indywidualnym orazorganizacyjnym; rozwój metod kształceniaw kierunku większej skuteczności

ARKUSZ OBSERWACJIArkusz obserwacyjny- kwestionariuszz wytypowanymi wszystkimi zagadnieniami,które objąć ma obserwacja.W określonych rubrykach pod określonymzagadnieniem rejestrowane są wszystkiespostrzeżone fakty, zdarzenia i okolicznościmające związek z danym zagadnieniem.

Arkusz obserwacji powinien zawieraćPrzedmiot badao:Problem badawczy– treśd obserwacji- Przedmiot obserwacji: jakie są poszukiwane dane iinformacje- lista kwestii podlegających obserwacji- Miejsce i czas trwania obserwacji- Dane osoby prowadzącej badanie- Metoda badawcza: obserwacja ilościowa, jakościowa- Sposób zapisu danych- Interpretacja zgromadzonego materiału – wnioski

Arkusz obserwacji zachowań w grupieZachowanie /Imięucznia/uczennicyUważnie słucha innych, nieprzerywa cudzychwypowiedzi,czeka, żeby zabrać głos, ażinni skończą.Zwięźle przedstawia swojeopinie,nie robi dygresji.Swoje opinie i uczucia wyrażawprost, nie stosuje aluzji.Jej/jego komunikatyniewerbalnesą zgodne z werbalnymi.Zadaje pytania i parafrazujewypowiedzi innych, byupewnićsię, czy dobrze je rozumie.Rafał Magda Franek Kuba

Karta obserwacji - przykładKARTA OBSERWACJIdotyczy obserwacji apelu, akademii szkolnejkonkursu itp.)Imię i nazwisko nauczycielaRodzaj/ nazwa imprezyDataceleUwagi o realizacjiZalecenia i rekomendacjePodpis nauczycielaPodpis dyrektora

Wywiad• Wywiad jest techniką zbierania danych, którazakłada bezpośrednie komunikowanie się badacza ibadanego.

WywiadPrzygotowanie wywiadu:• Przygotowanie metryczki kwestionariusza wywiadu• Określenie celu wywiadu• Przedmiot badao: obszar• Poszukiwane dane i informacje• Określenie liczby respondentów• Osoby odpowiedzialne za przeprowadzenie wywiadu• Określenie sposobu przeprowadzenia wywiadu• Przygotowanie listy pytao• Opracowanie kwestionariuszaPrzykład arkusza wywiadu dla 3 respondentów:Cel wywiadu:…………………………………………………………………………………….

Scenariusz wywiadu - przykład• Jak oceniasz program wydarzenia/nauczania/ uroczystości?• Jak oceniasz realizację wydarzenia/programu? Uzasadnij swójwybór.• Co było/jest największą zaletą wydarzenia/programu?Uzasadnij swój wybór.• Dlaczego wzięłaś/wziąłeś udział w wydarzeniu/programie?• Czy nauczyłaś /łeś się czegoś o …? Jeżeli tak, to czego?• Co o tym wydarzeniu/ programie mówią inne osoby, któreznasz?• Gdy byś miał/a okazję, to uczesniczyłbyś/łabyś w podobnymwydarzeniu/programie? Uzasadnij swoje zdanie.

Przykład arkusza wywiadu dla 3 respondentówDanedotyczącemetryczkiMetryczka1Metryczka2Metryczka31. Miejsce i czaswywiadu2. Charakterystykarespondenta3. OsobaprowadzącawywiadPrzedmiotbadań: obszarLp.pytaniaTreść pytaniaUzyskanaodpowiedźUzyskanaodpowiedźUzyskanaodpowiedź

ANALIZA DOKUMENTÓWTechnika badawcza służącą gromadzeniu wstępnych, opisowych,także ilościowych informacji o badanej instytucji czy zjawiskuwychowawczym, poznawania biografii jednostek, opiniiwyrażonych w dokumentach.Dzięki analizie dokumentów uzyskujemy wiedzę na tematpodstaw formalnoprawnych wszelkich działao realizowanychw szkole lub w placówce oraz podejmowanych decyzjiróżnego rodzaju, w tym decyzji administracyjnych.

RODZAJE DOKUMENTÓWAnaliza dokumentów jest koniecznym uzupełnieniem innych metod i zawszepowinniśmy planowad jej wykorzystanie w ewaluacji- jako punkt wyjściado zbierania innych danych lub jako uzupełnienie informacji uzyskanychz innych źródeł.Wyróżniamy:● dokumenty pisane (sprawozdania i protokoły z różnych posiedzeoszkolnych, opinie i świadectwa, szkolne i domowe prace pisemne uczniów,dzienniki lekcyjne artykuły prasowe o szkole, archiwalia, statystyki)● dokumenty cyfrowe (centralne opracowania zawarte w oficjalnychwydawnictwach statystycznych, statystyki lokalne dotyczące oświaty,sporządzane dla potrzeb władz terenowych, opracowania liczbowe,którymi dysponuje szkoła- wyniki klasyfikacji, egzaminów zewnętrznych,frekwencji uczniów.● dokumenty obrazowe i obrazowo- dźwiękowe (rysunki i inne prace ręczneuczniów, fotografie, nagrania magnetofonowe i video)

Kwestionariusz analizy dokumentów• Kwestionariusz analizy dokumentów powinien zawierad:• - cel badania,• - przedmiot badania: obszar,• - poszukiwane dane i informacje ( pytania),• - rodzaj i liczbę dokumentów poddanych analizie,• - dane osób odpowiedzialnych,• - uzyskane dane,• - wnioski.

Przykład kwestionariusza analizy dokumentów:RodzajdokumentuLiczbadokumentówPotrzebne danei informacje(przykład)Uzyskane danei informacje(przykład)Karty pracy

Ewaluacja projektów edukacyjnych.• Narzędzia do oceny pracy w grupie;• Narzędzia do samooceny;• Narzędzia do oceniania prezentacji

Wykorzystanie wyników ewaluacjiMateriały z ewaluacji zostaną wykorzystane wsprawozdaniu merytorycznym w następującymzakresie:• a) przy opisie stanu realizacji działań, azwłaszcza przedstawianiu przyczyn niezgodnościrealizacji działań z harmonogramem i przyuzasadnieniu proponowanych działańnaprawczych oraz w opisie problemówzaistniałych podczas realizacji działań,

DziałaniaZadanie Działanie Termin Osobaodpowiedzialna

Wnioski z ewaluacjiOpis przedmiotu ewaluacjiCel ewaluacjiSposób prezentacji wyników ewaluacjiWyniki ewaluacjiCo robimy dobrze?Co jest naszym problemem do rozwiązania?Co proponujemy zrobić, aby poprawić realizacje projektu?

Literatura. Aspinwall K. i inni: Co to jest ewaluacja? *w:+ Ewaluacja w szkole. Wybór tekstów.Red. H. Mizerek przy współpracy Aldony Hildenbrandt. Olsztyn 1997 s. 322. Brzdąk J.: Autoewaluacja w szkole. *w:+ Materiały seminaryjne. Ewaluacjawdrażania reformy systemu edukacji. Program Phare SMART PL 9512.01.02,Subcomponent B. Warszawa 1999, s. 1133. Schratz Michael: Metodologia samoewaluacji. *w:+ Ewaluacja w szkole. Wybórtekstów. Red. H. Mizerek przy współpracy Aldony Hildenbrandt. Olsztyn 1997, s. 784. Simons H.: Proces ewaluacji w szkołach. *w:+ Ewaluacja w szkole. Wybór tekstów.Red. H. Mizereka przy współpracy Aldony Hildenbrandt. Olsztyn 1997; Simons H.:Polityczne implikacje teorii ewaluacyjnych. [w:] Korporowicz L.: Ewaluacja wedukacji, 1997; Weiss Carol H.: Evaluation. Inc New Jerssey: Prentice Hall, 19985. Kasprzyk K. Bednarek K.*w+ Ewaluacja „ Krok po kroku”6.CiężkaB. Ewaluacja w szkole- planowanie i prowadzenie ewaluacji w: Ewaluacjawdrażania reformy systemu edukacji. Materiały seminaryjne, W-wa 1999.7. Królikowska E., Autoewaluacja w szkole, CODN, Warszawa 2002

EWALUACJA JEST KONIECZNA,ALE PROWADZONAW SPOSÓB ROZWAŻNY!POWODZENIA

Dziękuje za uwagę!mgr Barbara Okleja/doradca metodyczny,wojewódzki ekspert do wdrażania nowej podstawyprogramowej/