QU’EST-CE QUE LE NOUVEAU MODÈLE LINGUISTIQUE DEEPMIND GOPHER ?
Les modèles linguistiques qui apprennent grâce à des intelligences artificielles (IA) sont sur toutes les lèvres. La plupart du temps, la performance et la qualité de ces modèles linguistiques vont de pair avec leur taille. Plus le modèle est grand, plus il est performant. Toutefois, les modèles plus grands présentent un manque de transparence plus important. Les éthiciens voient cela d’un œil critique, car les modèles deviennent de plus en plus opaques et les distorsions de plus en plus difficiles à détecter à mesure que leur taille augmente. Cela suscite des préoccupations éthiques considérables. Gopher est un modèle linguistique relativement petit qui peut rechercher des informations dans une base de données et obtenir ainsi ses informations. Gopher a été entraîné à être amical et à mener des dialogues similaires à ceux d’un être humain. Les utilisateurs peuvent poser des questions concrètes à Gopher et obtenir des réponses concrètes à partir des informations de la base de données. Ainsi, malgré sa petite taille, Gopher peut rivaliser avec les grands modèles du marché tout en restant flexible. Les connaissances de Gopher peuvent également être rafraîchies par une mise à jour de la base de données, sans qu’il soit nécessaire de former à nouveau Gopher.
La société de développement de Gopher, Deepmind, n’est pas inconnue. L’entreprise a été fondée en 2010 et rachetée dès 2014 par la maison mère de Google, Alphabet. L’entreprise, dont le siège social se trouve à Londres, dispose d’autres centres au Canada, en France et aux États-Unis. Avec Gopher, Deepmind a posé un nouveau jalon dans le domaine des modèles linguistiques.
Avec 280 milliards de paramètres, Gopher n’est certes pas le plus grand modèle linguistique, mais il apporte un énorme potentiel grâce à son lien avec la base de données. Dans le document de 118 pages publié par Deepmind, l’entreprise explique tout ce qu’il faut savoir sur le modèle linguistique et donne des exemples de conversations qui décrivent les interactions entre Gopher et l’utilisateur. Les utilisateurs peuvent poser des questions au modèle linguistique sur tous les sujets possibles et imaginables. Peu importe que les utilisateurs veuillent en savoir plus sur les dinosaures, la théorie de la relativité ou la capitale de la République tchèque. Gopher a une réponse pour chaque question.
Comme tous les grands modèles linguistiques, Gopher est un transformateur. Cela signifie que Gopher apprend lui-même (apprentissage automatique) et traduit une séquence de caractères en une autre séquence de caractères. Pour ce faire, le modèle est entraîné à l’aide de données d’exemple et apprend ainsi comment il doit travailler. Gopher a été entraîné sur la base de 300 milliards de caractères, mais peut recourir à des quantités de connaissances bien plus importantes grâce à sa base de données. Au total, la quantité de données comprend 2,3 billions de caractères et est donc plusieurs fois supérieure à la quantité de données utilisée pour l’entraînement de Gopher.
Gopher peut être utilisé pour différents domaines et a été testé et comparé au total, après son développement, dans 152 tâches par Deepmind. Les tâches allaient de la vérification des faits à la modélisation du langage en passant par les réponses à diverses questions posées par les utilisateurs. Dans près de 80% des tâches, Gopher a réussi à s’imposer face aux modèles linguistiques concurrents comparés, parmi lesquels figurait le modèle bien connu GPT-3.
Le modèle de Deepmind a pris l’avantage en particulier dans la conduite de la conversation, où il a fait preuve d’une grande cohérence. La conduite naturelle de la conversation est souvent un problème pour les modèles linguistiques qui misent sur l’intelligence artificielle. Les modèles sont certes capables de former des phrases individuelles grammaticalement correctes, mais ils ont du mal à établir une cohérence sur l’ensemble d’un paragraphe ou d’un texte. C’est pourtant l’un des grands défis à relever dans le développement de modèles de langage artificiel, car il est essentiel pour la fluidité de la conversation.
L’une des raisons des bons résultats de Gopher réside dans son lien avec la base de données. La base de données de Gopher est utilisée comme une sorte d’antisèche ou d’ouvrage de référence. Cette base de données est utilisée par Gopher pour rechercher des passages avec un langage similaire, ce qui augmente la prédiction et la précision du modèle. Deepmind appelle la technologie du modèle « Retro » (Retrieval-Enhanced Transformer). Traduit en français, cela signifie quelque chose comme un transformateur amélioré par des possibilités de recherche. Grâce à cette technologie, Gopher est en mesure de concurrencer des modèles linguistiques 25 fois plus grands.
Bien que Gopher soit convaincant dans de nombreux domaines et surpasse ses concurrents, cette IA, tout comme d’autres modèles linguistiques, doit faire face à des problèmes éthiques similaires. Grâce à son lien avec la base de données, Gopher doit cependant être évalué différemment, d’un point de vue éthique, des modèles linguistiques comparables sans base de données. Gopher rend transparentes les sections de la base de données qui ont été utilisées pour les prédictions. Cela peut aider à expliquer les résultats et, en même temps, cela signifie que Gopher n’est pas une simple boîte noire. De plus, les influences déformantes (biais) peuvent être modifiées directement dans la base de données et ainsi éliminées.
Le fait que le modèle de langage, bien qu’il soit plutôt petit, ait généralement surpassé ses concurrents lors des tests soulève la question de la qualité des grands modèles de langage reliés à une base de données. Ceux-ci ne sont toutefois pas encore disponibles sur le marché et devraient, outre le développement, être examinés d’un point de vue éthique.
Cependant, à en juger par les données de Deepmind, Gopher est actuellement le modèle de langage le plus efficace, capable d’apprendre par des modifications de la base de données sans devoir être entièrement réentraîné.