Scarica il documento (PDF, 875KB) - Vivere in Italia

vivereinitalia.eu

Scarica il documento (PDF, 875KB) - Vivere in Italia

Costruzione dei test e

valutazione

delle competenze

linguistico-comunicative

Mantova

22 gennaio 2013

Anna Maria Arruffoli


NEL QCER

la valutazione e il L.T.

assumono un ruolo decisivo

sia all'interno del processo educativo

sia nella misurazione delle competenze

linguistiche in un dato momento

del loro sviluppo


IL TEST

serve a una più oggettiva valutazione

di quello che un apprendente sa e sa fare

Significa anche

Accettare trasparenza e chiarezza di contenuti

Rinunciare alla completa soggettività del

giudizio


COMPETENZE LINGUISTICO-

COMUNICATIVE

CONOSCENZE lessicali, morfosintattiche.

ABILITÀ di riconoscerle, organizzarle,

gestirle

CONOSCENZA delle convenzioni sociali

(regole di cortesia, rapporti tra

generazioni, sessi, classi, gruppi sociali)‏

USO funzionale della lingua


DIMENSIONI DELL’APPRENDIMENTO

DELLA L2 SECONDO IL QCER

• DIMENSIONE VERTICALE: la scala ascendente di livelli

che segnano il continuum della competenza

• DIMENSIONE ORIZZONTALE: parametri di gestione

dell’attività comunicativa (ambiti e domini d’uso della

L2, contesti di comunicazione, abilità, testi)


locutore/

apprendente

COMPETENTE

locutore/

apprendente

AUTONOMO

C2

C1

B2

B1

A2

A1

Comprende con facilità praticamente tutto ciò che sente o legge. Sa riassumere informazioni

provenienti da diverse fonti sia parlate che scritte, ristrutturando gli argomenti in una

presentazione coerente. Sa esprimersi spontaneamente, in modo molto scorrevole e preciso,

individuando le più sottili sfumature di significato in situazioni complesse.

Comprende un'ampia gamma di testi complessi e lunghi e ne sa riconoscere il significato

implicito. Si esprime con scioltezza e naturalezza. Usa la lingua in modo flessibile ed efficace per

scopi sociali, professionali e accademici. Riesce a produrre testi chiari, ben costruiti, dettagliati

su argomenti complessi, mostrando un sicuro controllo della struttura testuale, dei connettori e

degli elementi di coesione.

Comprende le idee principali di testi complessi su argomenti sia concreti che astratti, comprese

le discussioni tecniche nel suo campo di specializzazione. È in grado di interagire con una certa

scioltezza e spontaneità che rendono possibile un'interazione naturale con i parlanti nativi senza

sforzo per l'interlocutore. Sa produrre un testo chiaro e dettagliato su un'ampia gamma di

argomenti e spiegare un punto di vista su un argomento fornendo i pro e i contro delle varie

opzioni.

Comprende i punti chiave di argomenti familiari che riguardano la scuola, il tempo libero, ecc.

Sa muoversi nella maggioranza delle situazioni che possono verificarsi mentre viaggia nel Paese

in cui si parla la lingua. È in grado di produrre un testo semplice relativo ad argomenti che

siano familiari o di interesse personale. È in grado di descrivere esperienze ed avvenimenti,

sogni, speranze ed ambizioni e spiegare brevemente le ragioni delle sue opinioni e dei suoi

progetti.

Comprende frasi ed espressioni usate frequentemente relative ad ambiti di immediata rilevanza

(es. informazioni personali e familiari di base, fare la spesa, la geografia locale, l'occupazione).

Comunica in attività semplici e di routine che richiedono un semplice scambio di informazioni su

argomenti familiari e comuni. Sa descrivere in termini semplici aspetti del suo background,

dell'ambiente circostante. Sa esprimere bisogni immediati.

Comprende e utilizza espressioni di uso quotidiano e frasi basilari tese a soddisfare bisogni di

tipo concreto. Sa presentare se stesso/a e gli altri ed è in grado di fare domande e rispondere

su particolari personali come dove abita, le persone che conosce e le cose che possiede.

Interagisce in modo semplice purché l'altra persona parli lentamente e chiaramente e sia

disposta a collaborare.


TEST COME STRUMENTO DI

MISURA

Test: procedura elaborata per elicitare

comportamenti dai quali poter fare

inferenze su determinate caratteristiche/

competenze di un individuo


I limiti della misurazione della

competenza linguistico–comunicativa

metrologico (non è possibile utilizzare

procedimenti di misura in cui si parta da 0 come

assenza assoluta e si proceda attraverso

un’articolazione di unità uguali e costanti)‏

la misurazione è quasi sempre incompleta

la misurazione è pressoché indiretta

la misurazione avviene in situazioni artificiali

rispetto ai comportamenti che vengono

sollecitati per essere sottoposti a controllo


VALUTAZIONE

DEL PROFITTO:

accerta se è stato appreso ciò che è stato

insegnato. Rappresenta un punto di vista

interno alla disciplina

DELLA COMPETENZA: riguarda

ciò che un individuo sa fare/

conosce con riferimento al mondo reale.

Rappresenta un punto di vista esterno


TIPI DI TEST

Placement test – test di ingresso

funzione diagnostica

Achievement test – test di profitto

funzione formativa e sommativa

Proficiency test – test di competenza

funzione prognostica


MISURAZIONE E

VALUTAZIONE DELLA

COMPETENZA

Requisiti fondamentali dei test:

validità

affidabilità

economicità

impatto


VALIDITÀ

un test è valido se misura quello che

si propone di misurare

Validità del test per

il costrutto (construct validity)

il contenuto (content validity)

= PERTINENZA

l'apparenza esterna (face validity)

= ACCETTABILITÀ


VALIDITÀ DELL’UTILIZZO DI UN TEST

DOPO UNA PRIMA

SOMMINISTRAZIONE

la validità concorrente

(concurrent validity)

= COMPARABILITÀ

la validità predittiva

(predictive validity)


AFFIDABILITÀ

Per affidabilità di un test si intende

la sua STABILITÀ:

un test è affidabile quando è in grado di

fornire risultati uguali se somministrato o

valutato in tempi differenti e da persone

differenti

è una qualità necessaria, ma non sufficiente

mentre la validità è teorica, la affidabilità è

sperimentale


FATTIBILITÀ, ECONOMICITÀ

RAPPORTO

costi/risorse - qualità/prezzo/risultati

(prove oggettive/soggettive, ore,

sperimentazione, modalità di

somministrazione, numero valutatori ecc.)


IMPATTO

a livello individuale

formativo, lavorativo

a livello collettivo

diritti di cittadinanza

effetto washback

ricadute sull'insegnamento/apprendimento


ETICA

Trasparenza e formalizzazione

delle scelte e delle procedure

Consapevolezza delle responsabilità

sociali insite nel lavoro di costruttore dei

test


LE FASI DEL PROCESSO DI

VALUTAZIONE

Determinare lo scopo

Definire il contenuto

Preparare il test

Stabilire i criteri di correzione e

assegnazione del punteggio

Somministrare il test

Interpretare i risultati


LE FASI DEL PROCESSO DI

VALUTAZIONE

1ª Fase:

Il COSTRUTTO

gli aspetti delle conoscenze/competenze

che si intende testare (costruiamo un test

per verificare che cosa? Per quale

utente?)‏


LE FASI DEL PROCESSO DI

VALUTAZIONE

2ª Fase:

IL CONTENUTO

ciò che un test contiene in termini di testi,

compiti, tipi e numero di item, attività,

tempo a disposizione


LE FASI DEL PROCESSO DI

VALUTAZIONE

Fare un inventario accurato degli elementi

di conoscenza e/o competenza che

devono essere oggetto di valutazione

Stabilire la lunghezza massima del test

Stabilire le tipologie di prova più adatte

agli scopi della verifica


LE FASI DEL PROCESSO DI

VALUTAZIONE

Scegliere il TESTO più adatto

Scegliere il LESSICO in base all'obiettivo e

al livello


TESTI PARLATI E SCRITTI

PER ABILITÀ RICETTIVE

Devono essere gestibili dall'apprendente.

Nella costruzione delle prove si devono

selezionare i testi per:

TIPOLOGIA

LUNGHEZZA

LESSICO

TIPO DI PUBBLICO E LIVELLO al quale può essere

destinato

TIPO DI TEST per il quale il testo è più adeguato


TIPOLOGIE TESTUALI

• DESCRIZIONE disposizione nello spazio

• NARRAZIONE seriazione, collocazione

temporale

• ARGOMENTAZIONE gestione articolata di

concetti astratti

• ESPOSIZIONE - REGOLAZIONE


IL CRITERIO DELL’IMPORTANZA PER

L’APPRENDENTE

motivazione

sostiene gli sforzi

di comprensione

dell’apprendente

interesse personale a

entrare nel contenuto di

un testo

Un fattore che può ostacolare la comprensione è la

presenza di unità lessicali di bassa frequenza (termini

tecnici o nomi propri), che può essere annullato dalla

familiarità con un determinato contenuto


TESTI PARLATI E SCRITTI

PER ABILITÀ RICETTIVE


Il criterio della struttura del discorso

Regole strutturali interne di un testo che riducono la

complessità nella gestione dell’informazione, in

considerazione di diversi fattori:

" la coerenza testuale sul piano del contenuto e la

chiara organizzazione tematico-strutturale

(sequenze temporali e punti principali chiaramente

segnalati e presentati prima della loro illustrazione)

" la coesione, determinata dai legami formali fra le

diverse parti

" la natura implicita o esplicita

dell’informazione

" l’assenza di contraddizioni


La leggibilità

• Indica la probabilità che le caratteristiche

lessicali e morfosintattiche di un testo ne

influenzino la comprensibilità

• Tanto più un testo è leggibile e tanto più si

attua con facilità la cooperazione testofruitore


La leggibilità

• Per misurare la leggibilità ci sono molte formule. Per l’italiano le più

usate sono

FORMULA DI FLESCH-VACCA

F=206 – (0,6 X S) – P

FORMULA GULPEASE

F=89 – (LP:10)+(FRX3)


Quali sono i ‘contro’ dei testi ad alta

leggibilità?

• Problemi di tipo linguistico:

“mancanza di stile” dei testi

Esempio

(da Amulfi M., Nuovo binario realtà, Sussidiario per la classe IV, Il Capitello)

A La presenza dei grandi laghi riesce a modificare il

clima circostante; la massa d'acqua rende la

temperatura sempre mite e le cittadine che sorgono

sulle loro rive sono rinomate località turistiche

estive ed invernali. (testo originale)

B L'acqua dei grandi laghi scalda la terra intorno a

loro; per questo tanti turisti vanno in vacanza nelle

città vicino ai laghi, in estate e in inverno. (testo

riscritto)


SEMPLIFICAZIONE TESTUALE

• Lessico

• Senso logico e

cronologico

• Frasi brevi

• Ridondanza

• S – V – O

• Modi verbali finiti

• Forma attiva

No forme impersonali

No negazioni multiple

No ambiguità di scopo

Titolo

Immagini

Accorgimenti grafici


Aspetti fisici


LE FASI DEL PROCESSO DI

VALUTAZIONE

3° Fase: COSTRUZIONE DEL TEST

CREARE il test, definire le chiavi e i criteri

Decidere i TEMPI di somministrazione del

test e somministrarlo


I TEST: SCELTA DEL METODO

tecniche per la verifica delle abilità ricettive:

scelta multipla, vero/falso, individuazione di

informazioni, domande semistrutturate

(test paper and pencil, McNamara 2000)

compiti per la verifica delle abilità produttive:

composizioni guidate, brevi saggi

(performance test, McNamara 2000)


CLASSIFICAZIONE DEI TEST

DAL PUNTO DI VISTA COGNITIVO

test a punti discreti

si focalizzano su un singolo elemento della

lingua alla volta, o una abilità alla volta

test integrati

cercano di misurare la capacità di usare

più elementi insieme


TIPOLOGIE DI PROVE/TEST

PROVE OGGETTIVE

scelta multipla

vero/falso

individuazione

informazioni

cloze test

abbinamento

ricostruzione

PROVE SOGGETTIVE

produzione scritta

produzione orale


CLASSIFICAZIONE DEI TEST DAL

PUNTO DI VISTA

DELL’ATTRIBUZIONE DEI PUNTEGGI

OGGETTIVI

La correttezza della

risposta è già

determinata al

momento della

stesura del test.

NON è richiesto il

giudizio del

valutatore

SOGGETTIVI

È necessaria la

presenza di un

VALUTATORE che si

esprime sulla

correttezza della

risposta, basandosi

su criteri e scale di

valutazione


VANTAGGI E LIMITI

DELLE PROVE OGGETTIVE

Oggettività

Risparmio di tempo per la

valutazione

Rapidità e facilità di uso

Simultaneità delle

misurazioni

Si limita la libertà di

espressione degli studenti

Necessità di molto tempo

per la costruzione

Casualità delle risposte

Misurazione solo di alcuni

aspetti dell’apprendimento


CRITERI GENERALI per le

PROVE OGGETTIVE

Linguaggio adeguato ai destinatari

Stimoli brevi ed essenziali

Non fare tranelli

Non chiedere cose banali o sciocche

Non fare domande risolvibili in base al buon senso o alla

cultura generale

Le risposte sbagliate non devono essere né ingenue né

raffinate, ma adeguate alla preparazione degli

apprendenti


TIPOLOGIE DI PROVE

scelta multipla

E’ il tipo di test più adeguato per la verifica

della comprensione scritta e orale.

La scelta multipla può essere usata per testare un solo

elemento come nella verifica del lessico

test a punti discreti

o testare più elementi insieme come nella verifica della

comprensione scritta o orale

test integrato


TIPOLOGIE DI PROVE

scelta multipla

Domanda o frase da completare (stem/quesito)

contrassegnato da un numero

3 o 4 risposte o affermazioni contrassegnate da una

lettera

2 o 3 distrattori risposte o alternative non esatte ma

plausibili

1 sola risposta esatta


REGOLE per la costruzione di

test a scelta multipla

La domanda/affermazione deve

focalizzare con precisione un SOLO nodo

informativo o concetto

Usare DISTRATTORI PLAUSIBILI.

Ogni distrattore deve, per contenuto e

natura, risultare in qualche modo

collegato alle domande


REGOLE per la costruzione di

test a scelta multipla

Fare in modo che i quesiti siano tra loro

INDIPENDENTI

Non usare ALCUNA risposta precedente come

distrattore o come risposta corretta in altri

quesiti

Non collocare la risposta corretta di ogni item

nella stessa posizione

Evitare che elementi grammaticali o la struttura

delle frasi favoriscano la scelta


TIPOLOGIE DI PROVE

individuazione di informazioni

Test che consiste nel presentare all’apprendente

una serie di AFFERMAZIONI/FRASI su un testo

letto o ascoltato.

Chi fa il test deve indicare se queste informazioni

sono o NON sono presenti nel testo.

Si usa nella comprensione scritta e orale.

E’una forma più elaborata del Vero/falso.


TIPOLOGIE DI PROVE

ricostruzione o riordino

Il testo originale viene spezzettato in varie

sequenze che poi sono mescolate

Chi fa il test deve riordinare le sequenze e

ricostruire il testo

Il test a riordino si basa sull’analisi e

l’individuazione di legami testuali. Mette in gioco

più conoscenze e competenze nello stesso

tempo: si deve infatti ricostruire il testo in base

al contenuto e alla sequenza logica, al lessico,

ai connettivi temporali, spaziali e causali


Somministrazione

AMBIENTE

Le prove si devono svolgere in un luogo

adeguato per spazi e attrezzature

Si dovrebbero eliminare tutti gli elementi di

disturbo (distrazioni, rumori, interferenze,

interruzioni ecc.)

Più rilassato è il candidato, più potrà dare una

prova migliore della sua competenza


Le prove soggettive

Prove di produzione scritta

Prove di produzione orale


Somministrazione

Chiarezza e pertinenza delle istruzioni

Tempo adeguato allo svolgimento del compito


Somministrazione della prova

orale

L'esaminatore deve stare attento al tono che usa

nell'interazione. Può essere

Troppo professorale

Scostante

Incoraggiante

Accondiscendente

Troppo accondiscendente


Somministrazione della prova

Dovrebbe cercare di

Fare poche domande chiuse

Fare domande di rilancio

Non fare domande complesse o poco

comprensibili

Non fare domande troppo lunghe

orale


VALUTAZIONE

MISURARE: Calcolare la misura di

qualcosa in rapporto ad un determinato

strumento di misura

VALUTARE: attribuire un valore a una

misurazione


VALUTAZIONE DELLE PROVE

SOGGETTIVE

Valutazione globale

Valutazione con griglie che limitano la

soggettività del valutatore


VALUTAZIONE

Per ridurre al minimo l’intervento di variabili soggettive nella

valutazione delle prestazioni i valutatori cils hanno previsto:

in fase di costruzione del test, una griglia di

valutazione che esplicita i criteri di

riferimento relativi al compito e al livello di

competenza, in base a descrittori della

competenza richiesta


CRITERI DI VALUTAZIONE

DELLA PRODUZIONE SCRITTA

Efficacia comunicativa

registro/adeguatezza

stilistica

adeguatezza di contenuto

correttezza morfosintattica

capacità di trasmettere il

messaggio, l'informazione. Nei

livelli C1 e C2 comprende

prevalentemente la coerenza e

la coesione del testo

uso del registro secondo le

regole pragmatiche e

l'adeguatezza alla tipologia

testuale

adeguatezza e coerenza allo

stimolo dato

uso adeguato delle strutture e

forme previste dal livello


CRITERI DI VALUTAZIONE

DELLA PRODUZIONE SCRITTA

Adeguatezza e ricchezza

lessicale

ortografia e punteggiature

Uso di lessico adeguato al

contesto di comunicazione

rispetto delle convenzioni

ortografiche


GRIGLIA DI VALUTAZIONE

DELLA PRODUZIONE ORALE

INDICATORI

Efficacia comunicativa

adeguatezza di registro e di

varietà linguistica

SOTTOINDICATORI

capacità di comprendere

l'interlocutore, mantenere il

flusso del discorso, interagire

rispettando i turni della

conversazione, mettere in atto

strategie comunicative efficaci

uso del registro formale/

informale secondo le regole

pragmatiche e l'adeguatezza

alla tipologia testuale

richiesta


GRIGLIA DI VALUTAZIONE

della produzione orale

INDICATORI

correttezza morfosintattica

adeguatezza e ricchezza

lessicale

pronuncia e intonazione

SOTTOINDICATORI

uso adeguato delle forme e delle

strutture previste dal livello di

competenza

uso del lessico adeguato al

contesto di comunicazione

padronanza del sistema fonologico

della lingua italiana


Attribuzione dei punteggi

Stabilire il livello di abilità o dominio

Stabilire il punto di taglio

il punteggio minimo che attesta se è stato

raggiunto un dato livello di abilità o la

competenza stabilita nel criterio


Attribuzione dei punteggi

Per le prove chiuse si attribuisce un punteggio

prestabilito per ogni risposta esatta e un

punteggio 0 per ogni risposta sbagliata o

omessa

La penalizzazione per le risposte sbagliate deve

essere introdotta nel caso dei test di

individuazione di informazioni, per evitare che

un apprendente ottenga il punteggio massimo

segnando tutte le risposte


Attribuzione dei punteggi

Scegliere la scala di valutazione in base ai

descrittori della competenza

La CERTIFICAZIONE CILS

nei livelli di base ha un forte peso l'efficacia

comunicativa

nei livelli competenti ha un peso maggiore la

correttezza formale


ANALISI DEI RISULTATI

Un test è tanto più affidabile

quanto più minimizza errori di misura

La misura deve corrispondere alla

competenza reale di chi fa il test


ANALISI DEI RISULTATI

GLI ERRORI DI MISURA possono essere

dovuti a

Caratteristiche del test

Caratteristiche di chi fa il test

Fattori imprevedibili

*La misurazione è sempre incompleta e imprecisa

perché non è possibile partire da uno 0 assoluto e

procedere per unità uguali e costanti


ANALISI DEI RISULTATI

Possibili errori del valutatore nelle prove orali

Effetto “Pigmalione”

Effetto “alone”

Errore di contrasto (dopo una prova scadente)

Errore di assuefazione

Tendenza a raggruppare i voti nella parte centrale della

scala

Variabilità dell'umore (stanchezza, fastidio ecc.)


ANALISI DEI RISULTATI

Difetti degli item

Ambigui, troppo difficili o troppo facili

Se il test è troppo lungo

Le prestazioni saranno migliori nella prima parte e

peggiori nell'ultima

Coerenza dei valutatori

Meglio dare test diversi per misurare la

stessa abilità


BIBLIOGRAFIA

BACHMAN, L. F., 1990, Fundamental considerations in language testing, Oxford, Oxford

University Press.

BACHMAN, L. F / PALMER, A. S., 1996, Language testing in practice,Oxford, Oxford Press.

BROWN, A. D., 2004, Interviewer variability in oral proficiency interviews, Melbourne,

Department of Linguistic and Applied Linguistic, School of Languages, University of

Melbourne.

DAVIES A., 1990, Principles of Language Testing, Oxford-Cambridge, Basil Blackwell.

DE MAURO, T., 1980, Guida all’uso delle parole, Roma, Editori Riuniti.

MCNAMARA, T., 2000, Language Testing, Oxford, Oxford University Press.

VEDOVELLI, M., 2002, Guida all'italiano per stranieri, La prospettiva del Quadro comune

europeo per le lingue, Roma, Carocci.

VEDOVELLI M., a cura di, 2005, Manuale della certificazione dell’italiano L2, Roma, Carocci.

More magazines by this user
Similar magazines