UN BACO EPISTEMOLOGICO NELLA VALUTAZIONE DELLA QUALITA’ DELLA RICERCA (VQR)

imagesNon sono fra i denigratori della valutazione della ricerca, anche quantitativa. Credo sia necessaria, anche se difficile.

Circolano obbiezioni non convincenti contro la valutazione: “Archimede Pitagorico” non sarebbe stato valutato bene, perché non pubblicava nulla, ad esempio. Ma ci si dimentica che la VQR non valuta i singoli, bensì le strutture. E se una struttura non pubblica nulla difficile immaginare che sia giusto finanziarla.

Altri dicono che vale la legge di Campbell, secondo la quale se ci sono dei criteri quantitativi di valutazione della ricerca, i ricercatori non tendono a fare “buona” ricerca, ma a soddisfare quei criteri. È certo che criteri quantitativi, per quanto pluralistici e ben fatti, non possono cogliere fino in fondo che cosa sia buona ricerca. Tuttavia se non poniamo dei parametri che le strutture devono rispettare, spesso esse tendono a soddisfare esigenze ben più basse, come un Dipartimento di Filosofia dove ho lavorato per qualche anno, che è andato in malora, facendosi scappare studiosi straordinari, che ora lavorano in giro per il mondo, e assumendo una serie di favorite di autorevoli Colleghi!

Dunque le osservazioni che seguono tendono a migliorare il sistema VQR non a bloccarlo.

Immaginiamo la struttura X in cui lavorano due gruppi nei settori S1 e S2. Sappiamo che i prodotti degli n1 studiosi del settore S1 e gli n2 del settore S2 vengono valutati in base ai parametri: 1 eccellente, 0,7 elevato, 0,4 discreto, 0,1 accettabile, 0 limitato. È chiaro che questa assegnazione di numeri è solo un ordine, che potrebbe essere sostituito con le lettere. Non ha alcun senso affermare che un lavoro eccellente vale come 10 lavori accettabili. Qualsiasi trasformazione numerica che mantiene l’ordine andrebbe bene.

Ciò malgrado la valutazione del settore S1 nella struttura X, se ha almeno 3 ricercatori, viene calcolata così:
Cattura

 

 

 

 

 

Siccome la scala di valutazione è ordinale, sono ammesse tutte le trasformazioni monotone, cioè che mantengono l’ordine. E l’affermazione V1>V2 avrebbe senso solo se nessuna trasformazione ammessa potesse cambiare il suo valore di verità. Invece le cose non stanno così. Quindi tecnicamente tale enunciato non ha senso.

Per inciso, lo stesso problema sorge quando facciamo la media dei voti a scuola e in altre situazioni simili. Sono tutte procedure che hanno un senso limitato.

Notiamo che il suddetto problema è presente anche se la scala delle valutazioni fosse di rapporti, come, ad esempio, quella del peso.

Ricordiamo che ci sono scale assolute, cioè tali che come trasformazione è ammessa solo l’identità, come ad esempio quando contiamo le mele in una cassa, scale di rapporti in cui sono ammesse trasformazioni del tipo x’=ax, come appunto nel caso del peso, che può essere misurato in grammi o in kili e per ottenere il primo dal secondo si moltiplica per 1000. Poi ci sono le scale intervallari che ammettono trasformazioni del tipo x’=ax+b. E infine le scale ordinali che ammettono tutte le trasformazioni monotone, cioè che mantengono l’ordine.

Si dice che un’affermazione ha senso solo se mantiene il suo valore di verità in tutte le trasformazioni ammesse.

Notiamo anche che la nostra valutazione è basata su un insieme di scale fondamentali, poiché ogni prodotto viene esaminato potenzialmente da un referee diverso. Questo significa che, anche se le scale sono di rapporti, possiamo moltiplicare ogni valutazione per un diverso coefficiente.

Facciamo un esempio. I ricercatori sono 3 e ognuno consegna un prodotto. Abbiamo

v1=1, v2=2 e v3=3, u1=1, u2=3, u3=1.

Chiaro che V1>V2.

Tuttavia, se moltiplico la scala 1 e 3 per 1 e la scala 2 per 10, si inverte l’ordine.

Per contro se valutassimo V1 e V2 non con la media aritmetica, ma con quella geometrica:

Cattura1

 

 

 

 

 

 

L’affermazione avrebbe senso se la scala fosse di rapporti e n1 fosse uguale a n2.

Infatti moltiplicando per i coefficienti ai, otterrei un fattore uguale da entrambe le parti.

Cattura

 

 

 

 

È chiaro che la valutazione non è neanche una scala di rapporti, ma solo una scala ordinale, però assumere che sia di rapporti è meno impegnativo che assumere che sia assoluta, come hanno fatto implicitamente gli ideatori della VQR.

Ovviamente per applicare questa regola dovremmo modificare i valori e togliere il numero 0 per la valutazione “limitato”. Tuttavia se V1 e V2 fossero definiti in questo modo, l’affermazione V1>V2 non potrebbe cambiare valore di verità per qualsiasi trasformazione ammessa in una scala di rapporti.

Mi sembra un utile miglioramento del sistema di Valutazione della Qualità della Ricerca.

VF

  1. S. Roberts, Measurement Theory, Cambridge University Press, Cambridge 1985.

 

0 commenti

Lascia un Commento

Vuoi partecipare alla discussione?
Fornisci il tuo contributo!

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *