Perché l’Intelligenza Artificiale non sa contare (o non comprende davvero i numeri), ne parla Stefano Facchin

Quando parliamo di Intelligenza Artificiale, siamo spesso portati a immaginare macchine capaci di svolgere calcoli matematici perfetti, o almeno di comprendere appieno i numeri con la stessa immediatezza dell’essere umano. In realtà, se parliamo di IA Generative – in particolare quelle basate su modelli di linguaggio di grandi dimensioni – esse mostrano notevoli difficoltà nel “capire” i numeri. Non si tratta ovviamente di una mancanza di potenza di calcolo, quanto di una differenza sostanziale nel modo in cui queste tecnologie rappresentano e manipolano le informazioni, rispetto a come lo fa la mente umana.

L’apprendimento statistico come base di riferimento

I modelli linguistici (LLM) alla base della maggior parte delle IA Generative attuali si fondano sul concetto di apprendimento statistico. Questi sistemi non “imparano” un significato intrinseco delle parole, ma calcolano la probabilità che una certa parola (o sequenza di parole) compaia in un dato contesto. In altre parole, non hanno un “concetto” di numero come quantità astratta, ma possiedono soltanto una serie di correlazioni tra sequenze numeriche e testuali. In sostanza non “capiscono” i numeri così come intendiamo noi. Ad esempio, un modello può sapere che dopo “2 + 2 =” è statisticamente probabile appaia “4”, ma non perché “capisca” realmente cosa significhi sommare, bensì perché ha visto innumerevoli esempi simili durante la fase di addestramento. Se il contesto cambia leggermente, o se il modello viene messo di fronte a un calcolo meno comune, la sua “comprensione” dei numeri diventa palesemente fragile.

Assenza di una semantica numerica interna

Un essere umano comprende i numeri in modo semantico: “3” non è soltanto un simbolo, ma rappresenta mentalmente una quantità, una realtà astratta che può essere immaginata, scomposta, confrontata. Non ci pensiamo mai perché lo diamo per scontato cioè è talmente “semplice” per noi contare e raffigurarci nella mente che al simbolo “1” corrisponde la quantità “uno” cioè una unità di qualcosa, che questo concetto si impara all’elementari (forse anche prima).

Le Intelligenze Artificiali, invece, trattano i numeri come semplici stringhe di caratteri. Non sanno davvero che “3” è più grande di “2” e più piccolo di “4”, ma si limitano a riconoscere patterns testuali. Potremmo immaginarcelo in questo modo: 1 per noi corrisponde alla quantità 1 ossia al numero. 1, per l’IA Generativa, corrisponde alle lettere “u”, “n”, “o”, che di per se non significano niente ma hanno delle probabilità di essere correlate, precedute e seguite da qualcos’altro. Il risultato è che, pur potendo riprodurre operazioni aritmetiche note e frequenti o fornire risposte corrette ai quesiti matematici comuni, un modello di IA si rivela sorprendentemente insicuro di fronte a sfide numeriche non familiari. È un po’ come chiedere a un pappagallo di spiegare il significato delle frasi che ripete a memoria: può dare l’impressione di sapere di cosa sta parlando, ma non ne possiede una comprensione reale.

Memoria e ragionamento numerico limitati

Un’altra differenza fondamentale sta nella struttura stessa delle reti neurali che alimentano l’Intelligenza Artificiale linguistica. Questi modelli non hanno una “memoria di lavoro” dedicata alla manipolazione di valori numerici, non eseguono ragionamenti simbolici come una tradizionale calcolatrice. Piuttosto, generano il token successivo (la parola o il simbolo seguente) sulla base della probabilità statistica, senza alcuna rappresentazione astratta del problema che stanno affrontando. Certo, esistono tecniche per migliorare le capacità di ragionamento dei modelli di IA, ad esempio integrandoli con strumenti esterni (come calcolatrici o motori di ricerca), oppure addestrandoli con esempi più complessi e strutturati. Tuttavia, la loro “comprensione” dei numeri rimane sempre mediata da correlazioni testuali, non da una comprensione effettiva della logica dei numeri.

Verso una migliore comprensione del mondo numerico

La ricerca nel campo dell’Intelligenza Artificiale sta cercando modi per dotare questi sistemi di un “senso” dei numeri più vicino a quello umano. Alcuni approcci tentano di introdurre meccanismi di ragionamento simbolico all’interno delle reti neurali, o di creare architetture ibride che uniscano la statistica testuale con logiche matematiche rigorose. Sono stati fatti passi avanti con le ultime release dei modelli ma non siamo ancora alla perfezione. Solo di recente, ad esempio, altre problematiche simili (correlate per lo stesso tipo di motivo) come contare le occorrenze di una certa lettera in una parola, sono state “risolte” ma fino a pochi mesi fa era praticamente un problema insormontabile.

In futuro, potremmo vedere modelli in grado di manipolare i numeri con la stessa disinvoltura con cui trattano le parole, sviluppando una forma più coerente di comprensione quantitativa in modo da garantire un ragionamento (un pensiero) scientifico articolato e coerente, ma per ora è importante conoscere i limiti dell’IA Generativa in modo da poterla utilizzare in modo corretto. L’Intelligenza Artificiale non “sa” contare nel senso umano del termine perché le attuali tecnologie non ragionano sui numeri come entità astratte e significative, ma operano su di essi come semplici sequenze di simboli.

Questa è la differenza alla base della logica di questi sistemi, la cui forza risiede nell’analisi statistica del linguaggio, non nella comprensione semantica o quantitativa del mondo. Ovviamente questo campo di studi è in rapida evoluzione e, sebbene oggi l’IA non comprenda davvero i numeri, gli sforzi della ricerca puntano a superare queste limitazioni, avvicinando le macchine alla nostra nozione umana di “capire” cosa sia un numero.