Valutazione

Valutazione

La valutazione professionale può essere definita come la determinazione sistematica della qualità o del valore di qualcosa (Scriven, 1991). La valutazione professionale è un pò arte e un pò scienza, una attività strutturata in forma di progetto che si realizza sempre in contesti concreti, caratterizzati da interessi diversificati, giochi politici e relazioni complesse: il suo successo dipende tanto dalla qualità intrinseca del processo realizzativo quanto  dall’uso che delle “scoperte” valutative  viene fatto. La valutazione è un campo disciplinare particolarmente complesso, un tema che può essere affrontato secondo approcci differenti ma che pone al centro del suo interesse costitutivo la questione del bene pubblico piuttosto che il semplice interesse del cliente. La valutazione ha quindi a che fare con il problema del valore e dei valori, dell’utilità e dell’utile, con il tema dei criteri etici di giustizia, cura, conseguenza delle azioni, dovere. La nozione di apprendimento è centrale in ogni processo valutativo insieme alla idea di tempestività che permette di produrre la giusta informazione in tempo per sostenere la presa di decisione.

Cosa si può valutare?

Gli studiosi e i valutatori anglosassoni definiscono l’oggetto che viene valutato con il termine “evaluand”.  “Evaluand” o “evaluando”  possono essere ad esempio:

  • Progetti, programmi, piani
  • Organizzazioni (ad esempio imprese profit e non profit, Amministrazioni)
  • Politiche
  • Strategie
  • Prodotti, beni materiali
  • Servizi (ad esempio un servizio per minori, disabili o anziani; un servizio assistenza clienti…)
  • Processi
  • Sistemi (ad esempio reti, cluster di organizzazioni, filiere di approvvigionamento o di produzione di servizi…)
  • Proposte progettuali  (ad esempio i documenti prodotti per bandi e gare pubbliche…)
  • Richieste di lavoro, curricula
  • Personale, “risorse umane”
  • Prestazioni, performance personali o di gruppo

Il campo della valutazione professionale può riguardare insomma “oggetti” estremamente diversificati. Comune però è la logica e comuni sono i principi fondamentali sui quali la pratica della valutazione si regge. Diverse sono invece le “specializzazioni”: spesso chi si occupa della valutazione di politiche si occupa anche di valutare programmi  ma probabilmente non si interessa al tema della valutazione del personale; chi fa valutazione di prodotto frequentemente non valuta servizi e così via. Differenti sono anche i settori e i mercati: spesso chi lavora nel settore dei servizi sociali non entra in quello della sanità e tanto meno nel campo dell’industria e del commercio.

Approcci al tema della valutazione

Contrariamente alla ricerca la valutazione è una attività pratica, che si realizza attraverso metodologie scientificamente accettate, ma in contesti concreti che dettano i tempi, stabiliscono le risorse utilizzabili e ne determinano gli usi. Alcuni contesti valutativi si caratterizzano sicuramente per una maggiore e più marcata componente “sperimentale” come ad esempio la

  • Valutazione di prodotto  e la
  • Valutazione sensoriale (Meilgaard, Civille, Carr, 1999).

Altro succede invece per la valutazione di politiche, programmi, progetti, sistemi e servizi che per loro natura non possono di solito essere “portati in laboratorio”. Qui, la storia della pratica valutativa mostra come nel suo sviluppo si siano succedute scuole di pensiero ed approcci molto diversificati che mettono a disposizione del valutatore una grande pluralità di teorie, metodi e strumenti che non sono immediatamente dominabili dal profano. Con riferimento principale alla valutazione di progetti, programmi e servizi possono essere segnalati almeno i seguenti modelli ed approcci.

  • Valutazione centrata sugli obiettivi (Tyler, Bloom 1960)
  • Valutazione ‘responsive’ (Stake, 1967)
  • Valutazione basata su giudizio di esperti (Eisner, 1970) e accreditamento
  • Valutazione  libera da obiettivi (goal free, Scriven, 1973)
  • Valutazione avversativa di tipo giudiziario (Owens, Wolf & Rosemberg, 1973)
  • Valutazione orientata al  consumatore (Scriven, 1974)
  • Valutazione focalizzata (Patton, 1976)
  • Valutazione partecipativa e collaborativa (king, Green, 1987)
  • Empowerment evaluation (Fetterman, 1993)
  • Valutazione centrata sull’apprendimento Organizzativo (Preskill e Torres. 1990)
  • Valutazione guidata dalla teoria (Chen, 1997)
  • Developmental evaluation (Patton, 2006)

ValutazioneVAnetLa credibilità di una valutazione dipende dalla credibilità dell’approccio tecnico utilizzato, quindi dalla qualità del disegno, dai metodi, dagli strumenti e dalle misure che sono utilizzati per rispondere alle domande poste dalla valutazione. La scelta di un approccio tecnico deriva dalla relazione tra le predisposizioni di chi valuta, le preferenze del committente, le aspettative degli utilizzatori, le risorse disponibili e i bisogni informativi propri dell’approccio scelto. In valutazione possono essere utilizzati con profitto sia approcci qualitativi che quantitativi.[stextbox id=”info” caption=”Approfondimenti” float=”true” width=”230″ bgcolor=”e6e5e6″] 4 post che discutono le implicazioni etiche nei processi di valutazione [/stextbox] Gli approcci quantitativi vantano una lunga tradizione negli studi valutativi  finalizzati a misurare gli effetti di programmi: in questi casi è di particolare importanza il disegno della ricerca e la costruzione degli eventuali gruppi di controllo. Il metodo usato è di tipo deduttivo e fondato ampiamente sulla statistica. Gli approcci qualitativi sono caratterizzati dal tentativo di comprendere il significato del programma e i suoi risultati dal punto di vista dei vari soggetti coinvolti piuttosto che imponendo dall’esterno sistemi di aspettative e di regole di osservazione. Spesso vengono usati approcci misti che integrano strumenti e metodi dai precedenti.

Gli ingredienti di una buona valutazione

La progettazione e realizzazione di una buona valutazione (nel mondo quotidiano e non in laboratorio) richiede una attenzione costante e sistematica finalizzata a controllare la qualità del processo che viene implementato. Ecco alcune raccomandazioni che possono aiutare ad affrontare qualsiasi tipo di evaluando (l’oggetto che si deve valutare).

  1. Avere una prima chiara idea dell’evaluando, di ciò che si dovrà valutare
  2. Avere chiarezza sulla committenza, sulle principali questioni che la valutazione dovrebbe affrontare, sugli utilizzatori e le possibili audiences interessate alla valutazione.
  3. Chiarire la metodologia, il disegno di valutazione che si intende utilizzare
  4. Conoscere il contesto, le motivazioni che hanno fatto nascere l’evaluando e le ragioni per cui è stata richiesta la valutazione.
  5. Comprensione in modo dettagliato l’evaluando, in particolare  sapere quali sono le informazioni disponibili e la struttura di eventuali sitemi di gestione utilizzati
  6. Trovare chi sono i clienti, i destinatari e i beneficiari
  7. Sapere quali risorse sono disponibili, quali sono i vincoli del contesto entro cui si sviluppa la valutazione
  8. Chiarire in base a quali valori si potrà e si può giudicare la qualità dell’evaluando
  9. Esplorare come funziona l’evaluando, come sono realizzati i processi; avere chiarezza su come è progettato l’evaluando
  10. Comprendere quanto sono buoni gli impatti e gli outcomes sui clienti, beneficiari e destinatari
  11. Comprendere almeno orientativamente quanto costa l’evaluando ai finanziatori, ai cittadini, ai clienti anche in rapporto ad altri programmi?
  12. Verificare alla luce delle scoperte e del metodo usato per valutare se l’evaluando può essere esportato, tradotto in altri contesti o generalizzato
  13. Tracciare una sintesi descrittiva del “significato” complessivo dell’intervento: può essere giudicato di alta qualità? discreto? scadente?
  14. Che raccomandazioni e che suggerimenti si possono fornire per sostenere il miglioramento attuale o futuro?
  15. Definire in che modo comunicare le scoperte valutative
  16. Verificare con una meta-valutazione quali sono i punti di forza e di debolezza della valutazione condotta. Rispetta gli standard etici e professionali? Contribuisce a costruire conoscenza utile per altri valutatori?

 Tipi di valutazione

Esistono varie classificazioni delle attività valutative che riguardano ogni possibile avaluando, in particolare programmi e progetti: lo scopo è quello di distinguere insiemi coerenti di azioni rispetto alle finalità valutative,  al disegno e alla implementazione del programma o progetto (“evaluando”). Per trovare un orientamento in questa grande complessità è possibile utilizzare il criterio di “scopo” (a cosa serve principalmente l’attività di valutazione?)  e distinguere così cinque categorie fondamentali: chi valuta dovrebbe sempre aver chiaro ed eventualmente contrattare e  chiarire con il committente se intende sviluppare il suo progetto come:

Tale scelta, indispensabile, orienta ed in parte limita la scelta degli approcci, dei disegni e dei metodi che saranno successivamente utilizzati sul campo.

Riferimenti e risorse per approfondire il tema

In Internet si trova un’enorme quantità di risorse, quasi tutte in inglese anche a conferma della grande importanza del tema nei paesi anglosassoni.