Una recente ricerca – dal titolo "Larger and more instructable language models become less reliable" (Modelli linguistici più grandi e istruibili diventano meno affidabili), pubblicata sul Nature Scientific Journal – ha rivelato che i chatbot basati su AI commettono sempre più errori con il passare del tempo, man mano che vengono rilasciati nuovi modelli.
Lexin Zhou, uno degli autori dello studio, ha teorizzato che, poiché i modelli AI sono ottimizzati per fornire sempre risposte credibili, le soluzioni all'apparenza corrette vengono privilegiate e inviate all'utente finale, indipendentemente dalla loro precisione.
Queste "allucinazioni" delle AI si autoalimentano e tendono ad aggravarsi nel tempo: un fenomeno esacerbato dall'uso di Large Language Models più vecchi per addestrare i nuovi modelli. Il risultato è un totale "collasso del modello."
L'editor Mathieu Roy ha consigliato agli utenti di non affidarsi troppo a questi strumenti, e di controllare sempre i risultati generati dall'AI per individuare eventuali incongruenze:
"Sebbene l'intelligenza artificiale possa essere utile per una serie di compiti, è importante che gli utenti verifichino le informazioni ottenute dai modelli AI. Il controllo dei fatti dovrebbe essere una fase chiave del processo quando si utilizzano degli strumenti basati su AI. La questione si complica quando sono coinvolti i chatbot del servizio clienti."
A peggiorare le cose, "spesso non c'è modo di verificare le informazioni se non chiedendo al chatbot stesso," ha affermato Roy.
Il problema delle allucinazioni
La piattaforma AI di Google è stata oggetto di scherno a febbraio di quest'anno, dopo che il modello ha iniziato a produrre immagini storicamente inaccurate. Tra gli esempi vi erano la rappresentazione di persone di colore come ufficiali nazisti, o la creazione di immagini imprecise di noti personaggi storici.
Purtroppo, incidenti come questo sono fin troppo comuni con l'attuale iterazione dei Large Language Models. I dirigenti del settore, tra cui il CEO di Nvidia Jensen Huang, hanno proposto di mitigare le allucinazioni dell'intelligenza artificiale obbligando i modelli a condurre ricerche e a fornire fonti per ogni singola risposta fornita all'utente.
Queste misure sono in realtà già presenti nei modelli AI più diffusi, ma il problema delle allucinazioni persiste.
Di recente Matt Shumer, CEO di HyperWrite AI, ha annunciato che il nuovo modello 70B dell'azienda utilizza un sistema chiamato "Reflection-Tuning": questo consente al bot di imparare dai propri errori e di adattare le sue risposte di conseguenza.