VAD ÄR DEN NYA SPRÅKMODELLEN DEEPMIND GOPHER?
Språkmodeller som lär sig med hjälp av artificiell intelligens (AI) är det som gäller i dag. Vanligtvis går dessa språkmodellers prestanda och kvalitet hand i hand med deras storlek. Ju större modell, desto bättre prestanda. Större modeller är dock mer ogenomskinliga. Etiker ser kritiskt på detta, eftersom modellerna blir alltmer ogenomskinliga med ökande modellstorlek och det blir allt svårare att upptäcka fel. Detta leder till betydande etiska problem. Gopher är en relativt liten språkmodell som kan söka information i en databas och hämta information därifrån. Gopher har tränats att vara vänlig och föra en dialog på samma sätt som människor. Användarna kan ställa konkreta frågor till Gopher och få konkreta svar som består av information från databasen. Detta gör att Gopher, trots sin mindre storlek, kan hålla jämna steg med de stora modellerna på marknaden samtidigt som den är flexibel. Gophers kunskaper kan också uppdateras genom att databasen uppdateras utan att Gopher behöver utbildas på nytt.
Deepmind, som utvecklar Gopher, är inte okänt i detta sammanhang. Företaget grundades 2010 och köptes 2014 av Googles moderbolag Alphabet. Företaget, som har sitt huvudkontor i London, har ytterligare centra i Kanada, Frankrike och USA. Med Gopher har Deepmind satt en ny milstolpe på området för språkmodeller.
Med 280 miljarder parametrar är Gopher inte den största språkmodellen, men den har en enorm potential genom sin koppling till databasen. I Deepminds publikation, som är över 118 sidor lång, förklarar företaget allt som är värt att veta om språkmodellen och ger exempel på konversationer som beskriver interaktionen mellan Gopher och användaren. Användarna kan ställa frågor till språkmodellen om vilket ämne som helst. Det spelar ingen roll om användarna vill veta mer om dinosaurier, relativitetsteorin eller Tjeckiens huvudstad. Gopher har ett svar på varje fråga.
Gopher, liksom alla större språkmodeller, är en transformator. Detta innebär att Gopher lär sig själv (maskininlärning) och översätter en sekvens av tecken till en annan sekvens av tecken. Modellen tränas att göra detta med hjälp av exempeluppgifter och lär sig på så sätt hur den ska fungera. Gopher tränades för 300 miljarder tecken, men kan använda sig av mycket större mängder kunskap tack vare databasen. Totalt omfattar datamängden 2,3 biljoner tecken och är därmed många gånger större än den datamängd som användes för att träna Gopher.
Gopher kan användas på olika områden och testades och jämfördes av Deepmind i 152 uppgifter efter att det hade utvecklats. Uppgifterna sträckte sig från faktagranskning till språkmodellering och svar på olika frågor från användarna. I ungefär 80 procent av uppgifterna kunde Gopher vinna över de konkurrerande språkmodellerna, däribland den välkända GPT-3-modellen.
Deepmind-modellen var bäst, särskilt när det gäller konversation, där den visade en hög grad av konsekvens. Naturlig konversation är ofta ett problem med språkmodeller som bygger på artificiell intelligens. Även om modellerna kan bilda enskilda, grammatiskt korrekta meningar har de svårt att skapa ett sammanhang över ett helt avsnitt eller en hel text. Detta är dock viktigt för en flytande konversation och är en av de största utmaningarna i utvecklingen av artificiella språkmodeller.
En anledning till Gophers goda prestanda är anslutningen till databasen. Här används Gophers databas som ett slags fusklapp eller uppslagsbok. Denna databas används av Gopher för att söka efter passager med liknande språk, vilket ökar modellens förutsägbarhet och noggrannhet. Deepmind kallar modellens teknik för ”Retro” (Retrieval-Enhanced Transformer). Översatt till tyska betyder det ungefär som en transformator som utökats med uppslagsfunktioner. Tack vare denna teknik kan Gopher konkurrera med språkmodeller som är 25 gånger större.
Även om Gopher är övertygande på många områden och lämnar sina konkurrenter bakom sig, måste denna AI, precis som andra språkmodeller, kämpa med liknande etiska frågor. På grund av kopplingen till databasen ska Gopher dock utvärderas annorlunda ur etisk synvinkel än jämförbara språkmodeller utan databas. Gopher gör det tydligt vilka delar av databasen som användes för förutsägelserna. Detta kan hjälpa till att förklara resultaten och leder samtidigt till att Gopher inte är en ren svart låda. Dessutom kan snedvridande påverkan (bias) ändras direkt i databasen och därmed elimineras.
Det faktum att språkmodellen, även om den var ganska liten, oftast överträffade sina konkurrenter i testerna väcker frågan om hur bra stora språkmodeller med en anslutning till en databas kan vara. Dessa finns dock inte på marknaden för närvarande och skulle behöva testas ur etisk synvinkel, utöver utvecklingen.
För närvarande är dock Gopher den mest effektiva språkmodellen, enligt uppgifterna från Deepmind, som kan lära sig genom förändringar i databasen utan att behöva omläras helt och hållet.