COS’È IL NUOVO MODELLO LINGUISTICO DEEPMIND GOPHER?
I modelli linguistici che imparano attraverso l’intelligenza artificiale (AI) sono sulla bocca di tutti. Di solito, le prestazioni e la qualità di questi modelli linguistici vanno di pari passo con le loro dimensioni. Più grande è il modello, migliore è la performance. Tuttavia, i modelli più grandi sono più opachi. Questo è visto criticamente dagli etici, poiché i modelli diventano sempre più opachi con l’aumentare delle dimensioni del modello e le distorsioni diventano sempre più difficili da rilevare. Questo porta a notevoli preoccupazioni etiche. Gopher è un modello di linguaggio relativamente piccolo che può cercare informazioni in un database e ottenere le sue informazioni da lì. Gopher è stato addestrato ad essere amichevole e a condurre il dialogo in modo simile ad un umano. Gli utenti possono porre domande concrete a Gopher e ricevere risposte concrete, che sono composte da informazioni dal database. Questo permette a Gopher, nonostante le sue dimensioni ridotte, di tenere il passo con i grandi modelli sul mercato pur rimanendo flessibile. La conoscenza di Gopher può anche essere aggiornata aggiornando il database senza la necessità di ri-addestrare Gopher.
La società sviluppatrice di Gopher, Deepmind, non è sconosciuta in questo contesto. L’azienda è stata fondata nel 2010 e acquistata dalla società madre di Google, Alphabet, nel 2014. L’azienda, che ha la sua sede centrale a Londra, ha altri centri in Canada, Francia e Stati Uniti. Con Gopher, Deepmind ha posto una nuova pietra miliare nel campo dei modelli linguistici.
Con 280 miliardi di parametri, Gopher non è il più grande modello di lingua, ma porta con sé un enorme potenziale attraverso il suo collegamento al database. Nel documento pubblicato da Deepmind, che è di oltre 118 pagine, l’azienda spiega tutto ciò che vale la pena sapere sul modello linguistico e fornisce conversazioni di esempio che descrivono le interazioni tra Gopher e l’utente. Gli utenti possono fare domande al modello linguistico su qualsiasi argomento immaginabile. Non importa se gli utenti vogliono conoscere i dinosauri, la teoria della relatività o la capitale della Repubblica Ceca. Gopher ha una risposta per ogni domanda.
Gopher, come tutti i modelli di linguaggio più grandi, è un trasformatore. Questo significa che Gopher impara da solo (apprendimento automatico) e traduce una sequenza di caratteri in un’altra sequenza di caratteri. Il modello è addestrato a fare questo utilizzando dati campione e quindi impara a lavorare. Gopher è stato addestrato su 300 miliardi di caratteri, ma può attingere a quantità molto più grandi di conoscenza grazie al database. In totale, la quantità di dati comprende 2,3 trilioni di caratteri ed è quindi molto più grande della quantità di dati utilizzati per addestrare Gopher.
Gopher può essere usato per diverse aree ed è stato testato e confrontato in 152 compiti da Deepmind dopo il suo sviluppo. I compiti andavano dal fact checking alla modellazione del linguaggio, fino a rispondere a varie domande degli utenti. In circa l’80% dei compiti, Gopher è stato in grado di prevalere sui modelli linguistici concorrenti confrontati, che includevano il noto modello GPT-3.
Il modello Deepmind è risultato migliore, soprattutto nella conversazione, dove ha mostrato un alto grado di coerenza. La conversazione naturale è spesso un problema con i modelli linguistici che si basano sull’intelligenza artificiale. Anche se i modelli sono in grado di formare frasi individuali, grammaticalmente corrette, hanno difficoltà a stabilire un contesto su un’intera sezione o testo. Questo è importante per una conversazione fluente, tuttavia, ed è una delle principali sfide nello sviluppo di modelli di linguaggio artificiale.
Una ragione per le buone prestazioni di Gopher è la sua connessione al database. Qui, il database di Gopher è usato come una sorta di foglio di calcolo o libro di riferimento. Questo database è usato da Gopher per cercare passaggi con un linguaggio simile, il che aumenta la predizione e la precisione del modello. Deepmind chiama la tecnologia del modello “Retro” (Retrieval-Enhanced Transformer). Tradotto in tedesco, questo significa qualcosa come un trasformatore arricchito da capacità di ricerca. Attraverso questa tecnologia, Gopher è in grado di competere con modelli linguistici che sono 25 volte più grandi.
Anche se Gopher è convincente in molte aree e lascia indietro i suoi concorrenti, questa IA, proprio come altri modelli linguistici, deve lottare con simili questioni etiche. Tuttavia, a causa del legame con il database, Gopher deve essere valutato diversamente da un punto di vista etico rispetto a modelli linguistici comparabili senza un database. Gopher rende trasparente quali sezioni del database sono state utilizzate per le previsioni. Questo può aiutare a spiegare i risultati e allo stesso tempo porta al fatto che Gopher non è una pura scatola nera. Inoltre, le influenze distorsive (bias) possono essere cambiate direttamente nel database e quindi eliminate.
Il fatto che il modello di lingua, anche se un modello piuttosto piccolo, di solito supera i suoi concorrenti nei test, solleva la questione di quanto possano essere buoni i modelli di lingua di grandi dimensioni con una connessione a un database. Tuttavia, questi non sono attualmente sul mercato e dovrebbero essere testati da un punto di vista etico, oltre allo sviluppo.
Attualmente, tuttavia, Gopher è il modello linguistico più efficiente, a giudicare dai dati di Deepmind, che può imparare attraverso i cambiamenti nel database senza dover essere completamente addestrato.