La media non fa consenso

I ricercatori hanno chiesto a tre psichiatri certificati di valutare, in modo indipendente, 360 risposte generate da modelli linguistici a richieste sintetiche su temi di salute mentale, costruite lungo una matrice che incrociava gravità clinica e direttezza comunicativa (quanto esplicitamente una richiesta esprime il disagio, a parità di gravità). Nonostante un livello di certificazione professionale comparabile, tutti e tre psichiatri certificati, e istruzioni di valutazione condivise, l'accordo tra i tre valutatori è risultato molto basso: un indice di affidabilità inter-giudice compreso tra 0,087 e 0,295, ben al di sotto delle soglie considerate accettabili per decisioni di questo tipo.

Il Titolo

La pratica di far valutare un contenuto delicato da più esperti e poi mediarne i giudizi è diffusa ben oltre l'intelligenza artificiale: è così che spesso si costruiscono standard di sicurezza, protocolli clinici, criteri editoriali. L'idea di fondo è che il disaccordo individuale sia rumore statistico, e che aumentando il numero di osservatori quel rumore si compensi, avvicinandoci a un valore vero.

Lo studio di Stanford suggerisce che questa assunzione, nel campo della salute mentale, può essere sbagliata. Il disaccordo tra i tre psichiatri non sembra dovuto a una diversa preparazione professionale, ma a differenze reali nei modelli teorici e nelle scuole cliniche con cui ciascuno interpreta una stessa risposta, una varietà che la sola certificazione professionale non elimina. In questi casi, mediare i punteggi non produce un valore più vicino alla verità: produce un numero che non corrisponde al giudizio di nessuno dei tre.

Come sintetizza una delle autrici, non importa se gli esperti coinvolti sono tre, dieci o mille: se non sono d'accordo, mediare i loro punteggi non equivale ad avvicinarsi a un dato oggettivo.

La Radice

Una possibile chiave di lettura arriva dalla letteratura sulla cosiddetta "saggezza della folla": l'idea, resa popolare dall'aneddoto della fiera in cui la media delle stime del peso di un bue da parte di centinaia di persone risultava più accurata di qualunque stima individuale. Quel fenomeno funziona a una condizione precisa: che gli errori dei singoli osservatori siano indipendenti e distribuiti casualmente attorno a un valore reale. Quando invece il disaccordo nasce da prospettive sistematicamente diverse, come scuole cliniche o modelli teorici distinti, mediare non annulla l'errore: annulla l'informazione.

C'è anche un secondo fenomeno che questo studio aiuta a mettere a fuoco, più vicino alla psicologia cognitiva che alla statistica: la tendenza a trattare un artefatto numerico, la media, come se fosse un giudizio reale e condiviso. Un numero che nasce dal disaccordo può apparire più autorevole e oggettivo di ciascuno dei giudizi che lo hanno generato, semplicemente perché è un numero. È una forma di reificazione, cioè il trattare un'astrazione statistica come se fosse una cosa reale e concreta: la sicurezza non nasce mai da quella media, eppure la media viene trattata come se la rappresentasse.

Perché conta

Il punto non riguarda soltanto i laboratori che sviluppano modelli linguistici. Riguarda ogni contesto in cui una decisione delicata viene affidata alla media di più giudizi umani, con l'aspettativa implicita che più osservatori equivalgano automaticamente a più oggettività.

Lo studio non dice che i giudizi esperti siano inutili, né che vada abbandonata la valutazione umana della sicurezza dell'IA in ambito clinico. Suggerisce piuttosto che il disaccordo tra esperti, quando è sistematico, è esso stesso un'informazione preziosa, non un rumore da eliminare mediando. Le autrici invitano proprio a questo: rendere trasparenti le divergenze invece di nasconderle in un numero solo, e costruire framework di sicurezza più individualizzati.

Resta una domanda che va oltre l'intelligenza artificiale: quante altre volte, in ambiti che ci sembrano rassicuranti perché numerici, la media di pareri diversi viene scambiata per un consenso che, in realtà, non esiste?