Valutare i risultati degli eventi formativi
A differenza di quanto si è detto dell’analisi dei bisogni, nel campo della valutazione dei risultati di un evento formativo si può ben dire di disporre di una letteratura piuttosto ampia e circostanziata e che occupa un arco di tempo ormai trentennale di indubbio significato (Boschi F., 1987; Giovannini M., 1995; Lipari D., 1995; Rizzo U., 1995; Quaglino G.P., 1998; Elia P., 2000).
Il mutamento della prospettiva che da anni ormai sta coinvolgendo il panorama degli studi sulla valutazione propone una costante crescita di importanza della dimensione qualitativa rispetto a quella quantitativa. L’osservazione qualitativa focalizza infatti l’attenzione sulla vita intera di un programma e comprende in modo più chiaro, ed agganciato al reale, quali dati quantitativi possano essere maggiormente rilevanti (Amietta P.L., Amietta F., 1989). La valutazione può definirsi in via generale come un’attività intesa a produrre ritorno di informazione (feedback) su un’azione o un evento. Nel contesto formativo, il termine è usato per identificare attività o procedure per la conoscenza degli effetti determinati dalle azioni formative. Il termine valutazione non è sinonimo di misurazione, bensì richiama l’idea del dare valore, cioè dell’attribuire significato a fatti, informazioni e dati. La misura rappresenta il parametro scelto per la rilevazione, mentre la valutazione è il processo qualitativo di classificazione, elaborazione e correlazione dei dati rilevati tramite la misura (Alessandrini G., 2001a). I dati prodotti dalla misurazione devono possedere le seguenti caratteristiche (Corbetta P., 1999):
- Rilevanza o validità, cioè la capacità di misurare effettivamente il fenomeno che si vuole osservare;
- Attendibilità o riproducibilità, quando la misura fornisce rispetto allo stesso fenomeno risultati costanti e non contraddittori;
- Assenza di distorsioni, cioè l’indipendenza da altre variabili che renderebbero la misura distorta da ciò che si vuole misurare;
- Controllo dell’errore di rilevazione, errore che rappresenta di fatto lo scarto fra concetto (teorico) e variabile (empirica).
I principali tipi di variabili e i loro livelli di misurazione sono brevemente riassunti nella seguente tabella (Corbetta P., 1999):
Tipo di variabile | Stato di proprietà | Operativizzazione permessa | Operazioni possibili |
Nominale | Non ordinato | Classificazione | = |
Ordinale | Ordinato | Ordinamento | = > < |
Cardinale | Continuo | Misurazione | = > < + - x : |
Discreto | Conteggio |
Oltre alla dimensione delle variabili quantitative, è forse opportuno accennare ai criteri di definizione degli elementi qualitativi che è possibile identificare concretamente. Nessuno, da solo, è comunque in grado di rilevare la qualità di un evento formativo (Glasser P.H., 1972; Bertin G., 1996; Allegri E., 2000):
Indicatori | Potenzialità | Limiti | |
Efficacia | Indica la capacità di realizzare gli obiettivi. | Non informa sui fattori di distorsione della domanda. | |
Efficienza | Indica la capacità di utilizzo delle risorse. | Non informa sulla capacità di risolvere i problemi. | |
Equità | Indica la capacità di intervenire proprio nelle condizioni peggiori. | Non informa sulla capacità di risolvere i problemi. | |
Soddisfazione | Indica l’autopercezione dell’utente. | è influenzata dalla presenza di stereotipi, dalla difficoltà di scomporre i fattori di soddisfazione. | |
Appropriatezza | Indica la centratura dell’intervento rispetto al bisogno da soddisfare. | Ogni metodologia tende a sviluppare procedure più o meno standardizzate, ma spesso non comparabili. | |
Accessibilità | Indica il tipo di distribuzione spaziale e temporale delle risorse e la sua compatibilità con gli obiettivi. | Difficoltà di rilevazione. |
Il processo di valutazione inizia prima dell’intervento, quando si definiscono le attese, le scelte valoriali e le conseguenti modalità di esecuzione del progetto. Se manca il quadro dei cambiamenti attesi e come ottenerli, non sarà possibile fare una valutazione di efficacia (ma anche di efficienza) del tipo prima-dopo o valutare la qualità complessiva del processo formativo. Prima della valutazione deve essere attentamente espletata la verifica, che è la fase durante la quale si acquisiscono le informazioni sui risultati ottenuti rispetto alle attese. Per poter verificare come sono andate le cose è necessario operativizzare il problema con alcune variabili osservabili, misurarle e assumere i loro valori come base di verità provvisoria. Ciò permette di attuare un controllo di qualità che può entrare nel merito dei risultati. La verifica può essere di varia natura e riguarda ogni aspetto della situazione definita come problema. è certamente una riduzione della realtà perché si basa su semplificazioni, cioè indicatori, che proprio per la loro natura di osservabilità e misurabilità segnalano l’esito raggiunto in termini numerici. La valutazione di qualità, pertanto, per essere tale va fondata sulla verifica (Diomede Canevini M., 1993).