La VQR e la riforma europea della valutazione: il piano di inazione di ANVUR

The European Union, recognizing that quantitative evaluation of research harms quality for the sake of quantity, urged evaluators, universities, research institutions, and scholarly societies to join together in a coalition (COARA) for the reform of evaluation itself. Even the Italian evaluation agency. ANVUR, joined the coalition and committed itself to reducing bibliometrics to a complement to qualitative evaluation (peer review), which cannot be done without reading the texts. However, ANVUR has hardly fulfilled its commitments: it continues to use bibliometrics in the five-year evaluation of research quality (Valutazione della qualità della ricerca or VQR) and in the national scientific qualification for professorships (Abilitazione scientifica nazionale or ASN). In the SSH field, a list of scientific journals drawn up by experts appointed by the Agency is and will continue to be maintained, while in the STEMMfields, bibliometric criteria calculated on proprietary databases are still used. Despite the COARA commitments, these criteria are mandatory and not complementary for the selection of candidates and potential commissioners for the ASN, as well as for the eligibility of expert evaluators in the VQR. And in cases where they are formally complementary, such as in the evaluation of works subject to the VQR, the rule can be easily circumvented under the cloak of anonymous review. Why did ANVUR not honor its signature? One possible explanation is that it is not an autonomous entity, and COARA may have made a mistake in including it in its coalition instead of the Italian Ministry of University and Research. However, the literature produced by scholars who are practically and theoretically close to Italian state evaluation suggests at least one other hypothesis: peer review involves reading of texts, a process that is not scalable. Moreover, that personal idiosyncrasies influence both the selection of evaluators and the evaluations themselves. This may explain why a state and mass evaluation agency such as the Italian one is inclined to cling to bibliometrics As a mass evaluation agency, it needs bibliometrics as a weapon of mass evaluation to maintain its pervasive power. And as a state evaluation agency, it can more easily hide its authoritarian nature behind a veil of statistics.

L’Unione Europea, resasi conto che le valutazioni quantitative della ricerca producono solo quantità, ha sollecitato valutatori, università, enti di ricerca e società scientifiche a unirsi in una coalizione per la riforma della valutazione stessa (COARA) a cui ha aderito anche l’ANVUR. Entrando in COARA, l’ANVUR si è impegnata a trattare la bibliometria come complementare rispetto a forme di valutazione qualitativa che richiedono di leggere i testi. Ma le sue azioni e i suoi piani d’azione vanno in tutt’altra direzione: nei settori delle scienze umane e sociali ha conservato le liste di riviste di produzione amministrativa e in quelle delle scienze matematiche, mediche, fisiche e naturali continua ad accettare criteri bibliometrici calcolati su banche dati proprietarie. Questi criteri sono imposti perentoriamente per selezionare gli aspiranti candidati e commissari all’Abilitazione Scientifica Nazionale, e gli esperti valutatori nell’esercizio quinquennale della valutazione della ricerca detto VQR; e la prescrizione di impiegarli in modo formalmente complementare nel giudizio sulle opere esposte alla VQR è, nel segreto della revisione anonima, facilmente aggirabile. Perché l’ANVUR non onora la sua firma? Forse perché non è un’autorità indipendente e COARA ha semplicemente sbagliato ad accoglierla in luogo del Ministero dell’Università e della ricerca? La letteratura prodotta da studiosi praticamente e teoreticamente vicini alla valutazione di stato suggerisce però almeno un’altra ipotesi: una valutazione basata sul primato della revisione paritaria, richiedendo di leggere i testi, non può essere di massa e, secondo qualcuno, è influenzabile da idiosincrasie personali sia nella scelta dei valutatori, sia nelle loro valutazioni. Per questo un’agenzia di valutazione di stato e di massa come quella italiana non può evitare di abbarbicarsi alla bibliometria, sia perché ha bisogno di armi di valutazione di massa per conservare il proprio pervasivo potere, sia perché, dietro un velo di statistiche, automatiche e no, è più facile nasconderne la natura autoritaria.