Il valore degli indicatori di area su due piani

La valutazione della qualità della ricerca 2004-2010 si è conclusa con la pubblicazione di documenti che fotografano lo stato della ricerca in Italia.
Uno degli obiettivi della Vqr era offrire agli organi di governo delle strutture i risultati di un'analisi dettagliata, diretta (la valutazione dei "prodotti" della ricerca) e indiretta (altri indicatori, tra cui la competitività nell'acquisizione di fondi e la qualità del reclutamento) delle attività collegate alla qualità della ricerca.

Gli indicatori utilizzati dalla Vqr operano su due piani. Una serie dipende dalla valutazione dei prodotti di ricerca (articoli, monografie, ecc) ed è indipendente dalle dimensioni della struttura: il voto medio ottenuto in ogni area, il rapporto tra voto medio di struttura e voto medio di area e il rapporto tra la frazione dei prodotti con la valutazione massima (eccellente) della struttura e la frazione di tali prodotti dell'area. Utilizzando tali indicatori sono state costruite graduatorie di area delle strutture (distinte tra università e enti di ricerca) all'interno di tre segmenti: grandi, medie e piccole strutture, a seconda del numero di prodotti presentati. È normale che una struttura possa qualificarsi come grande in un'area scientifica (ad esempio, i Politecnici nell'Ingegneria) e piccola in un'altra (ancora i Politecnici nell'Economia o nelle Scienze umane).

Oltreché nelle sedici grandi aree scientifiche, la valutazione ha preso in esame i settori scientifico-disciplinari, che costituiscono insiemi più piccoli e omogenei di discipline.
Le graduatorie basate sui tre indicatori di qualità dei prodotti di ricerca, normalizzati rispetto alle dimensioni della struttura, consentono di confrontare le strutture nei tre segmenti dimensionali in ogni area o settore. È su questi indicatori che dovrebbe esercitarsi l'analisi degli organi di governo delle strutture.

La seconda serie di indicatori di area amplia il ventaglio delle attività considerate, e tiene conto insieme di qualità e dimensione delle strutture, non consentendo un confronto di qualità fra strutture diverse. Il fine della seconda serie di indicatori è quello di consentire il calcolo di un indicatore finale di struttura da usare per la distribuzione della quota premiale del Fondo di finanziamento ordinario (Ffo) agli atenei. Poiché gli indicatori sono definiti in un'area scientifica, essi devono essere integrati per ottenere l'indicatore finale di strutture che operano in una pluralità di aree.

L'integrazione richiede di "pesare" gli indicatori di area con un peso di area, in modo da rendere l'integrazione indipendente da difformità di valutazione tra le diverse aree. Qui sta il punto su cui chi non vuole la valutazione ha giocato per sminuire i risultati della Vqr, enfatizzando i valori diversi dell'indicatore finale di struttura nel Rapporto finale Vqr.

L'Anvur ha calcolato gli indicatori di area e si è limitata a proporre nella Relazione finale un ventaglio di possibili pesi di area, a partire da quello più diretto che pesa ogni area con la quota di prodotti di ricerca conferiti per la valutazione. Poi, ha applicato la media degli indicatori proposti per esemplificare il calcolo dell'indicatore finale di struttura. Nel Rapporto finale veniva precisato che la scelta dei pesi di area non compete all'Agenzia ma al ministero, e, per rendere il concetto più comprensibile, si utilizzavano come pesi di area quelli più diretti legati unicamente alla quota di prodotti conferiti. Ciò che conta ed è immutabile nella Vqr è il valore degli indicatori di area, mentre il risultato della loro integrazione dipende dalla scelta che il ministero farà dei pesi di area, esattamente come nel caso della Vtr, con risultati che hanno influito sulla distribuzione del Ffo per gli anni successivi alla pubblicazione del rapporto nel 2006.

Gli esercizi di valutazione della qualità della ricerca avranno una cadenza periodica, e, utilizzando criteri identici o facilmente confrontabili, attribuiranno in futuro un peso significativo ai segni di miglioramento mostrati dalle strutture nel corso dei vari esercizi di valutazione. Le prime reazioni e il colloquio costruttivo iniziato tra atenei e Anvur nella definizione di criteri di valutazione locali annuali che colmino il gap tra una Vqr e la successiva mostrano che la cultura della valutazione si sta diffondendo, e che poco o nulla sarà come prima. La prima cartina di tornasole sarà costituita dal gran numero di concorsi che gli atenei indiranno nei prossimi anni per ringiovanire una delle classi docenti con l'età media più alta nel mondo.

Sergio Benedetto è coordinatore della Vqr

© RIPRODUZIONE RISERVATA