¿QUÉ ES EL NUEVO MODELO DE LENGUAJE DE DEEPMIND GOPHER?
Los modelos lingüísticos que aprenden a través de la inteligencia artificial (IA) están en boca de todos. Normalmente, el rendimiento y la calidad de estos modelos lingüísticos van de la mano de su tamaño. Cuanto mayor sea el modelo, mejor será el rendimiento. Sin embargo, los modelos más grandes son más opacos. Los expertos en ética lo ven de forma crítica, ya que los modelos se vuelven cada vez más opacos a medida que aumenta su tamaño y los sesgos son cada vez más difíciles de detectar. Ello plantea considerables problemas éticos. Gopher es un modelo de lenguaje comparativamente pequeño que puede buscar información en una base de datos y obtenerla de ahí. Gopher ha sido entrenado para ser amigable y dialogar de forma similar a un humano. Los usuarios pueden hacer preguntas concretas a Gopher y recibir respuestas concretas, que se componen de información de la base de datos. Esto permite a Gopher, a pesar de su menor tamaño, estar a la altura de los grandes modelos del mercado sin dejar de ser flexible. Los conocimientos de Gopher también pueden renovarse actualizando la base de datos sin necesidad de volver a formar a Gopher.
La empresa desarrolladora de Gopher, Deepmind, no es desconocida en este contexto. La empresa se fundó en 2010 y fue comprada por la empresa matriz de Google, Alphabet, en 2014. La empresa, con sede en Londres, tiene otros centros en Canadá, Francia y Estados Unidos. Con Gopher, Deepmind ha marcado un nuevo hito en el campo de los modelos lingüísticos.
Con 280.000 millones de parámetros, Gopher no es el mayor modelo de lenguaje, pero aporta un enorme potencial gracias a su vinculación con la base de datos. En el documento publicado por Deepmind, de más de 118 páginas, la empresa explica todo lo que vale la pena saber sobre el modelo de lenguaje y da ejemplos de conversaciones que describen las interacciones entre Gopher y el usuario. Los usuarios pueden hacer preguntas al modelo lingüístico sobre cualquier tema imaginable. No importa si los usuarios quieren saber sobre dinosaurios, la teoría de la relatividad o la capital de la República Checa. Gopher tiene una respuesta para cada pregunta.
Gopher, como todos los modelos de lenguaje más grandes, es un transformador. Esto significa que Gopher aprende por sí mismo (machine learning) y traduce una secuencia de caracteres en otra secuencia de caracteres. El modelo se entrena para ello utilizando datos de muestra y así aprende a funcionar. Gopher fue entrenado con 300.000 millones de caracteres, pero puede recurrir a cantidades mucho mayores de conocimiento gracias a la base de datos. En total, la cantidad de datos comprende 2,3 billones de caracteres y, por tanto, es muchas veces mayor que la cantidad de datos utilizada para entrenar a Gopher.
Gopher puede utilizarse para diferentes áreas y fue probado y comparado en 152 tareas por Deepmind después de su desarrollo. Las tareas iban desde la comprobación de hechos hasta la modelización del lenguaje, pasando por la respuesta a diversas preguntas de los usuarios. En aproximadamente el 80% de las tareas, Gopher pudo imponerse a los modelos lingüísticos de la competencia comparados, entre los que se encontraba el conocido modelo GPT-3.
El modelo de Deepmind salió airoso, especialmente en la conversación, donde mostró un alto grado de coherencia. La conversación natural suele ser un problema con los modelos lingüísticos que se basan en la inteligencia artificial. Aunque los modelos son capaces de formar oraciones individuales y gramaticalmente correctas, tienen dificultades para establecer un contexto en toda una sección o texto. Sin embargo, esto es importante para una conversación fluida, y es uno de los principales retos en el desarrollo de modelos de lenguaje artificial.
Una de las razones del buen rendimiento de Gopher es su conexión con la base de datos. En este caso, la base de datos de Gopher se utiliza como una especie de chuleta o libro de referencia. Esta base de datos es utilizada por Gopher para buscar pasajes con un lenguaje similar, lo que aumenta la predicción y la precisión del modelo. Deepmind llama a la tecnología del modelo «Retro» (Retrieval-Enhanced Transformer). Traducido al alemán, significa algo así como un transformador mejorado con capacidades de búsqueda. Gracias a esta tecnología, Gopher es capaz de competir con modelos lingüísticos 25 veces mayores.
Aunque Gopher convence en muchos aspectos y deja atrás a sus competidores, esta IA, al igual que otros modelos lingüísticos, tiene que luchar con los mismos problemas éticos. Sin embargo, debido al vínculo con la base de datos, Gopher debe evaluarse de forma diferente desde el punto de vista ético que los modelos lingüísticos comparables sin base de datos. Gopher hace transparente qué secciones de la base de datos se utilizaron para las predicciones. Esto puede ayudar a explicar los resultados y al mismo tiempo lleva a que Gopher no sea una caja negra pura. Además, las influencias distorsionantes (sesgo) pueden modificarse directamente en la base de datos y, por tanto, eliminarse.
El hecho de que el modelo lingüístico, a pesar de ser un modelo más bien pequeño, suele superar a sus competidores en las pruebas plantea la cuestión de lo buenos que podrían ser los modelos lingüísticos de gran tamaño con conexión a una base de datos. Sin embargo, estos no están actualmente en el mercado y tendrían que ser probados desde una perspectiva ética, además del desarrollo.
Sin embargo, por el momento, Gopher es el modelo lingüístico más eficiente, a juzgar por los datos de Deepmind, que puede aprender a través de los cambios en la base de datos sin tener que ser reentrenado completamente.