Paradossi della valutazione

Valutare è umano e in molti casi necessario, abbiamo bisogno di informazioni per poter agire (investire, decidere a quale scuola mandare i nostri figli, quali prodotti comperare, a quali studenti assegnare una borsa di studio, quali parlamentari eleggere, eccetera.) Ma la valutazione delle attività umane non è un elemento neutro, è un intervento che cambia lo stato delle cose, e delle cautele particolari devono venir adottate quando si valuta. Il dibattito degli ultimi mesi intorno alle agenzie di rating ruota in parte intorno ai criteri utilizzati per la valutazione e agli eventuali conflitti di interesse, ma soprattutto sulle sue conseguenze a breve e a lungo termine. Declassare o promuovere un determinato prodotto finanziario contribuisce in modo sostanziale alla sua vita ulteriore. (E sul piano puramente ideologico, mi pare che anche un ultraliberale dovrebbe trovare quantomeno discutibile che il voto di un'agenzia di rating si sostituisca al mercato).

Il fenomeno dell'influenza della valutazione sulla cosa misurata è però più ampio. Ecco una breve lista di sistemi di valutazione che hanno conseguenze importanti di cui il dibattito pubblico dovrebbe impadronirsi con meno timidezza.

L'introduzione del No-Child-Left-Behind Act (2001) da parte della seconda amministrazione Bush ha introdotto una batteria di test di valutazione nelle scuole statunitensi che misurano prevalentemente i risultati scolastici nel leggere, scrivere e far di conto. L'intenzione di per sé non biasimabile era quella di premiare le scuole e gli insegnanti che conseguivano i migliori risultati. Sono stati però messi in evidenza diversi effetti collaterali: gli Stati abbassano gli standard per dare un'impressione di risultati migliori; le scuole privilegiano il teaching-to-test, l'insegnamento finalizzato a passare l'esame, e cancellano dal curriculum materie non coperte dai test, come storia e geografia, impoverendo culturalmente gli studenti e la società; i docenti insegnano a risolvere problemi troppo simili a quelli degli esami e gli studenti non sono in grado di generalizzare.

La classifica di Shanghai delle migliori istituzioni di ricerca e insegnamento nel mondo era nata nel 2003 con l'intenzione di comprendere il divario percepito tra le università cinesi e quelle del resto del mondo, ed è stata usata in primo luogo per razionalizzare l'attribuzione di risorse agli studenti cinesi che intendessero studiare all'estero. Ma ha scatenato una corsa alla conquista dei posti alti della classifica (le prime cento, o le prime duecento istituzioni?), con effetti collaterali degni di nota. Per esempio alcuni Paesi accorpano tra loro le università ritenute troppo piccole per raggiungere una massa critica di valori che rispondano ai criteri di Shanghai; gli amministratori e i direttori delle risorse umane si preoccupano della posizione in classifica e condizionano tendenzialmente la ricerca dei loro amministrati.

I ricercatori sono misurati (e valutati) sulla base di vari indici scientometrici: fattore d'impatto, fattore H, numero di citazioni, numero di pubblicazioni, varie classifiche delle riviste accademiche (con voti che ricordano quelli delle agenzie di rating). Sono stati documentati molti effetti collaterali della proliferazione degli indici: insorgere di comportamenti strategici come la frammentazione dei risultati per ottenere più pubblicazioni, conflitti di interesse nel peer reviewing in cui si cerca di imporre citazioni dai propri articoli, orientamento della ricerca verso temi che possono interessare le riviste ad alto fattore di impatto, non pubblicazione dei risultati negativi con conseguente ridondanza delle ricerche.

La letteratura comincia a proporre dei correttivi più o meno radicali per evitare gli effetti collaterali che sono giudicati come controproducenti: dall'abolizione delle richieste statutarie di investire in prodotti finanziari a tripla A, all'esclusione di riviste come Nature e Science dai calcoli scientometrici; dalla proposta di affiancare sempre agli indici scientometrici le analisi qualitative che nascono dalla lettura degli articoli (come indicato dall'Académie des Sciences francese in un recente rapporto), alla sostituzione di valutazioni a tutto campo di un soggetto accademico o di ricerca con controlli casuali approfonditi. In tutti questi casi c'è ancora molto lavoro per una nuova epistemologia della misura.

©RIPRODUZIONE RISERVATA