Quando i benchmark diventano fede

Un benchmark promette una cosa rassicurante: trasformare l’intelligenza in un numero. Un modello ottiene 72, un altro 68, quindi il primo dovrebbe essere migliore. È semplice, confrontabile e soprattutto ci evita una domanda molto più difficile: il modello ha davvero compreso il problema oppure ha soltanto imparato a produrre la risposta che il test considera corretta? Più osservo l’evoluzione degli LLM, più penso che i benchmark, presi da soli, valgano quasi nulla. Non perché ogni misurazione sia inutile, ma perché il numero diventa rapidamente un sostituto della comprensione. E quando voglio sapere se un modello è davvero competente in un ambito verticale, continuo a fidarmi molto più del giudizio di una persona che conosce quel settore da anni.

Un punteggio misura il risultato, non la comprensione

Il problema non è nuovo. Possiamo costruire prove ripetibili per verificare se una risposta è corretta, ma è molto più difficile misurare se chi risponde ha colto la struttura profonda del problema. Un modello può arrivare alla soluzione usando correlazioni fragili, imitazione di esempi simili o strategie che funzionano soltanto dentro il perimetro del test. Il punteggio registra l’arrivo, non il viaggio. Non ci dice se il modello riconoscerà lo stesso principio quando cambieranno il linguaggio, il contesto, gli interessi in gioco o quelle piccole ambiguità che, nel lavoro reale, separano una risposta formalmente accettabile da una decisione competente.

L’esperto vede ciò che il test non sa nominare

Se devo valutare l’accortezza di un modello in diritto, medicina, ingegneria, finanza o comunicazione, preferisco farlo provare a un professionista del settore. Un esperto riconosce quasi immediatamente quando una risposta è soltanto plausibile. Nota un’eccezione ignorata, una premessa debole, un termine usato nel modo sbagliato, una soluzione elegante ma impraticabile. Gran parte di questa competenza è tacita: chi la possiede non sempre riesce a convertirla in una rubrica da zero a cento, ma sa riconoscere la differenza tra qualcuno che ripete il manuale e qualcuno che ha capito davvero il problema. È un giudizio soggettivo, ma non per questo arbitrario. È il risultato condensato di anni di casi, errori e conseguenze osservate.

Matematica e codice ci stanno portando verso l’astrazione

Le recenti capacità dei modelli nel codice e nei problemi matematici rendono questo conflitto ancora più evidente. Sono ambiti attraenti per l’addestramento e la valutazione perché spesso offrono un segnale netto: il programma compila, il test passa, il risultato coincide. Ma proprio mentre migliorano, i modelli possono spingere il lavoro verso livelli di astrazione che sempre meno persone sono in grado di controllare direttamente. Nel software già accettiamo porzioni crescenti di codice che nessuno legge riga per riga. In matematica il passaggio potrebbe essere ancora più radicale: potremmo ricevere congetture, dimostrazioni o connessioni corrette, ma troppo complesse perché la maggioranza degli esseri umani ne comprenda il significato pratico.

Questa non è una previsione certa, ma un timore epistemico. Se un sistema produce una scoperta che soltanto pochi specialisti possono verificare, per tutti gli altri quella scoperta non è conoscenza posseduta: è conoscenza delegata. E se persino gli specialisti devono usare altri sistemi automatici per controllarla, la catena della verifica si allunga fino a diventare opaca. Il risultato potrà essere formalmente corretto, magari accompagnato da un punteggio altissimo, ma noi capiremo sempre meno che cosa il modello abbia fatto e perché funzioni.

Quando la misurazione comincia ad assomigliare alla fede

Qui nasce una contraddizione curiosa. I benchmark dovrebbero rendere la valutazione scientifica, impersonale e verificabile. Eppure, appena usciamo dal test, torniamo a chiederci: chi ha costruito la prova? Che cosa ha deciso di misurare? Il dataset è rappresentativo? Il modello ha già incontrato problemi simili? Il punteggio corrisponde al mio lavoro? Non potendo controllare personalmente ogni passaggio, finiamo per fidarci dell’istituzione che pubblica la classifica, del laboratorio che presenta il modello o dell’esperto che lo ha provato. Il numero non elimina l’autorità: la nasconde dietro una precisione apparente.

Dire che mi fido più di un avvocato che prova un modello su casi reali che di una leaderboard rende la valutazione meno pulita dal punto di vista sperimentale. Introduce esperienza, reputazione e persino sensibilità personale. Ma forse è più onesto ammetterlo. In molti ambiti non stiamo scegliendo tra scienza e soggettività; stiamo scegliendo tra una soggettività dichiarata, quella dell’esperto, e una soggettività incorporata nel disegno del benchmark. La seconda sembra oggettiva soltanto perché termina con un decimale.

La discussione Reddit mostra il problema in piccolo

Il thread da cui nasce questa riflessione parte da un caso quotidiano. L’autore racconta di aver preferito un modello più piccolo a modelli meglio posizionati per scrivere email e rifinire istruzioni: gli sembrava più capace di cogliere tono, sottotesto e intenzione. Non è una prova controllata e non dimostra la superiorità generale del modello. Tuttavia, è esattamente il tipo di osservazione che un benchmark fatica a catturare: una risposta può rispettare tutti i requisiti espliciti e continuare a essere sbagliata per quella situazione. Può suonare aggressiva, artificiale o semplicemente priva di buon senso.

Un altro partecipante alza correttamente l’asticella: giudicare un modello dalla scrittura di un’email è troppo facile. In un lavoro legale serio bisognerebbe fargli analizzare un contratto lungo, riconoscere rischi, confrontare prassi, proporre modifiche e soltanto alla fine scrivere l’email. È un’obiezione importante perché conferma la tesi: la qualità emerge nel processo completo, non nel frammento scelto perché è facile assegnargli un voto. E per capire se quel processo è davvero buono serve qualcuno che conosca il diritto, non soltanto un correttore automatico.

Non sostituiamo il benchmark con il carisma dell’esperto

Affidarsi agli esperti non significa trasformare ogni impressione in verità. Anche un professionista può essere influenzato dal marchio del modello, da una singola prova riuscita o dal proprio stile di lavoro. Il giudizio verticale diventa utile quando è strutturato: più esperti, prove cieche, casi reali, errori deliberatamente plausibili e criteri definiti prima di vedere il risultato. Il punto non è abbandonare la misurazione, ma smettere di fingere che una classifica generale possa sostituire la competenza del dominio. Il benchmark dovrebbe organizzare il giudizio, non cancellarlo.

Conclusione: misurare senza capire

Il rischio non è che i benchmark siano falsi. È che diventino rituali: numeri ripetuti per rassicurarci mentre perdiamo la capacità di collegarli a qualcosa di tangibile. Nei domini verticali preferisco ancora il giudizio motivato di chi conosce il mestiere, pur sapendo che quel giudizio non è perfettamente riproducibile. Nel futuro più astratto che matematica e codice sembrano preparare, questa dipendenza dagli esperti potrebbe aumentare proprio mentre diminuisce il numero di persone capaci di verificare direttamente ciò che i modelli producono. A quel punto dovremo essere onesti: non staremo soltanto misurando l’intelligenza delle macchine. Staremo scegliendo di chi fidarci quando non saremo più in grado di capire fino in fondo. E una scienza che dimentica questa domanda rischia di trasformare il benchmark nella sua nuova forma di fede.