Un benchmark promette una cosa rassicurante: trasformare l\u2019intelligenza in un numero. Un modello ottiene 72, un altro 68, quindi il primo dovrebbe essere migliore. \u00c8 semplice, confrontabile e soprattutto ci evita una domanda molto pi\u00f9 difficile: il modello ha davvero compreso il problema oppure ha soltanto imparato a produrre la risposta che il test considera corretta? Pi\u00f9 osservo l\u2019evoluzione degli LLM, pi\u00f9 penso che i benchmark, presi da soli, valgano quasi nulla. Non perch\u00e9 ogni misurazione sia inutile, ma perch\u00e9 il numero diventa rapidamente un sostituto della comprensione. E quando voglio sapere se un modello \u00e8 davvero competente in un ambito verticale, continuo a fidarmi molto pi\u00f9 del giudizio di una persona che conosce quel settore da anni.<\/p>\n
Il problema non \u00e8 nuovo. Possiamo costruire prove ripetibili per verificare se una risposta \u00e8 corretta, ma \u00e8 molto pi\u00f9 difficile misurare se chi risponde ha colto la struttura profonda del problema. Un modello pu\u00f2 arrivare alla soluzione usando correlazioni fragili, imitazione di esempi simili o strategie che funzionano soltanto dentro il perimetro del test. Il punteggio registra l\u2019arrivo, non il viaggio. Non ci dice se il modello riconoscer\u00e0 lo stesso principio quando cambieranno il linguaggio, il contesto, gli interessi in gioco o quelle piccole ambiguit\u00e0 che, nel lavoro reale, separano una risposta formalmente accettabile da una decisione competente.<\/p>\n