Perché ChatGPT non sa contare? Svelato il mistero degli errori matematici

L'intelligenza artificiale, incluso ChatGPT, è in grado di scrivere poesie, comporre musica e tradurre testi. Tuttavia, spesso si blocca sui semplici problemi matematici. Perché un chatbot che gestisce compiti linguistici complessi non riesce con la matematica a livello di scuola elementare?

Tokenizzazione: Quando i numeri si smembrano

Uno dei problemi chiave è la tokenizzazione. Questo processo suddivide i dati in parti più piccole, chiamate token. Immaginate come un puzzle che spezza le parole in sillabe. Il tokenizzatore, il modello di intelligenza artificiale responsabile di questo processo, non comprende il significato dei numeri.

Può succedere che il numero 380 venga percepito come un token, mentre 381 come due (38 e 1). Questo distrugge le relazioni tra le cifre e complica il calcolo.

Macchina statistica che tentenna con i numeri

Un altro motivo delle difficoltà matematiche di ChatGPT è la sua natura statistica. Il chatbot apprende basandosi su una vasta quantità di esempi e cerca schemi. Ad esempio, apprende che la frase “Gentile signore” è spesso seguita dalla frase “ci rivolgiamo a Lei”.

Tuttavia, in matematica questo approccio incontra problemi. ChatGPT riesce a indovinare che il prodotto dei numeri che terminano con 2 termina con 4, ma non riesce con i risultati intermedi. In sintesi, il modello ChatGPT tenta di indovinare il risultato basandosi su schemi appresi piuttosto che eseguire un calcolo preciso.

La sfida della moltiplicazione

Uno studio condotto da Yuntian Deng dell'Università di Waterloo ha dimostrato che ChatGPT ha problemi con la moltiplicazione di numeri con più di quattro cifre. La ragione è che un errore in qualsiasi fase del calcolo si riflette nel risultato finale.

Immaginate un effetto domino - un errore innesca una reazione a catena e il risultato è completamente errato. Tuttavia, c'è speranza che ChatGPT migliori in futuro. Deng e i suoi colleghi hanno anche testato il modello o1 di OpenAI, che si distingue per la capacità di ragionamento logico.

Questo modello ha ottenuto risultati significativamente migliori rispetto al standard GPT-4o e ha risolto correttamente anche la moltiplicazione di numeri a nove cifre. Il modello o1 pensa al problema passo dopo passo, il che gli consente di ottenere risultati più precisi.