Was ist das neue DeepMind Sprachmodell Gopher?
Sprachmodelle, welche durch künstlich Intelligenzen (KI) lernen, sind in aller Munde. Meist geht die Leistung und Qualität dieser Sprachmodelle mit ihrer Größe einher. Je größer das Modell, desto besser die Leistung. Größere Modelle weißen jedoch eine höhere Intransparenz auf. Von Ethikern und Ethikerinnen wird dies kritisch gesehen, da Modelle mit steigender Modellgröße immer undurchschaubarer würden und Verzerrungen immer schlechter zu erkennen seien. Dies führt zu erheblichen ethischen Bedenken. Bei Gopher handelt es sich um ein vergleichsweise kleines Sprachmodell, welches Informationen in einer Datenbank nachschlagen kann und dadurch seine Informationen bezieht. Gopher wurde darauf trainiert freundlich zu sein und Dialoge ähnlich zu führen wie ein Mensch. Nutzer können Gopher konkrete Fragen stellen und bekommen darauf konkrete Antworten, die sich aus Informationen aus der Datenbank zusammensetzen. Dadurch kann Gopher, trotz seiner geringeren Größe, mit den großen Modellen am Markt mithalten und bleibt dabei flexibel. Das Wissen von Gopher kann durch eine Aktualisierung der Datenbank ebenfalls aufgefrischt werden, ohne dass es nötig ist, Gopher neu zu trainieren.
Die Entwicklerfirma von Gopher, Deepmind, ist dabei nicht unbekannt. Das Unternehmen wurde im Jahr 2010 gegründet und bereits 2014 von Googles Mutterkonzern, Alphabet, aufgekauft. Die Firma, welche in London ihren Hauptsitz hat, verfügt über weitere Zentren in Kanada, Frankreich und den Vereinigten Staaten. Mit Gopher hat Deepmind einen neuen Meilenstein im Bereich der Sprachmodelle gesetzt.
Mit 280 Milliarden Parametern ist Gopher zwar nicht das größte Sprachmodell, bringt jedoch durch die Verknüpfung mit der Datenbank ein enormes Potential mit sich. Im von Deepmind herausgebrachten Paper, welches über 118 Seiten lang ist, erklärt die Firma alles wissenswerte zum Sprachmodell und gibt Beispiel-Konversationen an, die die Interaktionen zwischen Gopher und dem Nutzer beschreiben. Dabei können Nutzer dem Sprachmodell Fragen zu jedem erdenklichen Thema stellen. Es spielt keine Rolle, ob die Nutzer etwas über Dinosaurier, die Relativitätstheorie oder zur Hauptstadt von Tschechien wissen wollen. Gopher hat für jegliche Fragen eine Antwort parat.
Dabei handelt es sich bei Gopher, wie bei allen größeren Sprachmodellen, um einen Transformer. Das bedeutet, dass Gopher selbst lernt (maschinelles Lernen) und eine Folge von Zeichen in eine andere Folge von Zeichen übersetzt. Das Modell wird dazu anhand von Beispiel-Daten trainiert und lernt so, wie es zu arbeiten hat. Gopher wurde anhand von 300 Milliarden Zeichen trainiert, kann aber aufgrund der Datenbank auf viel größere Mengen an Wissen zurückgreifen. Insgesamt umfasst die Datenmenge 2.3 Billionen Zeichen und ist damit um ein Vielfaches größer als die Datenmenge, die zum Training von Gopher verwendet wurde.
Gopher kann für verschiedene Bereiche eingesetzt werden und wurde insgesamt, nach der Entwicklung, in 152 Aufgaben durch Deepmind getestet und verglichen. Die Aufgaben reichten vom Faktencheck über die Sprachmodellierung bis hin zur Beantwortung diverser Fragen von Nutzern. Bei rund 80 Prozent der Aufgaben konnte sich Gopher gegen die verglichenen Konkurrenz Sprachmodelle durchsetzen, zu denen unter anderem das bekannte Modell GPT-3 zählte.
Besonders in der Gesprächsführung hatte das Modell von Deepmind die Nase vorn und zeigte hier eine hohe Konsistenz. Die natürliche Gesprächsführung ist bei Sprachmodellen, die auf künstliche Intelligenz setzen, oftmals ein Problem. Die Modelle sind zwar in der Lage einzelne, grammatikalisch korrekte Sätze zu bilden, tun sich aber schwer einen Zusammenhang über einen gesamten Abschnitt oder Text herzustellen. Dies ist für einen flüssigen Gesprächsverlauf jedoch wichtig stellt eine der großen Herausforderungen in der Entwicklung von künstlichen Sprachmodellen dar.
Ein Grund für das gute Abschneiden von Gopher liegt in der Verbindung mit der Datenbank. Dabei wird die Datenbank von Gopher wie eine Art Spickzettel oder Nachschlagewerk genutzt. Diese Datenbank wird von Gopher genutzt, um Passagen mit ähnlicher Sprache zu suchen, die damit die Vorhersage und Genauigkeit des Modells erhöhen. Deepmind nennt die Technologie des Models „Retro“ (Retrieval-Enhanced Transformer). In die deutsche Sprache übersetzt bedeutet das so viel wie ein durch Nachschlagemöglichkeiten verbesserter Transformator. Durch diese Technologie ist Gopher in der Lage mit Sprachmodellen zu konkurrieren, die um ein 25-faches größer sind.
Obwohl Gopher in vielen Bereichen überzeugt und seine Konkurrenz hinter sich lässt, hat diese KI, genau wie andere Sprachmodelle, mit den ähnlichen ethischen Problemstellungen zu kämpfen. Durch die Verknüpfung mit der Datenbank ist Gopher aus ethischer Sicht jedoch anders zu bewerten, als vergleichbare Sprachmodelle ohne Datenbank. Gopher macht transparent, welche Abschnitte der Datenbank für die Vorhersagen herangezogen wurden. Dies kann dabei helfen die Ergebnisse zu erklären und führt gleichzeitig dazu, dass es sich bei Gopher um keine reine Blackbox handelt. Weiterhin können verzerrende Einflüsse (Bias), direkt in der Datenbank abgeändert und somit eliminiert werden.
Die Tatsache, dass das Sprachmodell, obwohl es ein eher kleines Modell ist, bei den Tests seine Konkurrenz meist hinter sich gelassen hat, lässt die Frage aufkommen, wie gut große Sprachmodelle mit der Anbindung an eine Datenbank sein könnten. Diese sind aktuell jedoch noch nicht auf dem Markt und müssten, neben der Entwicklung, aus ethischer Perspektive geprüft werden.
Aktuell jedoch stellt Gopher, den Daten von Deepmind nach zu urteilen, das effizienteste Sprachmodell dar, welches durch Änderungen in der Datenbank dazulernen kann, ohne dabei komplett neu trainiert werden zu müssen.