O QUE É O NOVO MODELO DE LINGUAGEM PROFUNDA GOPHER?
Os modelos linguísticos que aprendem através da inteligência artificial (IA) são a conversa da cidade. Normalmente, o desempenho e a qualidade destes modelos linguísticos andam de mãos dadas com o seu tamanho. Quanto maior for o modelo, melhor será o seu desempenho. No entanto, os modelos maiores são mais opacos. Isto é visto de forma crítica pelos especialistas em ética, uma vez que os modelos se tornam cada vez mais opacos com o aumento do tamanho do modelo e os preconceitos se tornam cada vez mais difíceis de detectar. Isto leva a consideráveis preocupações éticas. Gopher é um modelo linguístico comparativamente pequeno que pode procurar informação numa base de dados e obter a sua informação a partir daí. Gopher foi treinado para ser amigável e para conduzir o diálogo de uma forma semelhante a um humano. Os utilizadores podem fazer perguntas concretas ao Gopher e receber respostas concretas, que são compostas por informações da base de dados. Isto permite a Gopher, apesar do seu tamanho mais pequeno, acompanhar os grandes modelos no mercado, mantendo-se ao mesmo tempo flexível. Os conhecimentos de Gopher também podem ser actualizados actualizando a base de dados sem a necessidade de voltar a treinar Gopher.
A empresa de desenvolvimento de Gopher, Deepmind, não é desconhecida neste contexto. A empresa foi fundada em 2010 e comprada pela empresa-mãe do Google, a Alphabet, em 2014. A empresa, que tem a sua sede em Londres, tem outros centros no Canadá, em França e nos Estados Unidos. Com Gopher, Deepmind estabeleceu um novo marco no campo dos modelos linguísticos.
Com 280 mil milhões de parâmetros, Gopher não é o maior modelo linguístico, mas traz consigo um enorme potencial através da sua ligação à base de dados. No artigo publicado pela Deepmind, com mais de 118 páginas, a empresa explica tudo o que vale a pena saber sobre o modelo linguístico e dá exemplos de conversas que descrevem as interacções entre Gopher e o utilizador. Os utilizadores podem fazer perguntas ao modelo linguístico sobre qualquer tópico imaginável. Não importa se os utilizadores querem saber sobre os dinossauros, a teoria da relatividade ou a capital da República Checa. Gopher tem uma resposta para cada pergunta.
Gopher, como todos os modelos linguísticos maiores, é um transformador. Isto significa que Gopher aprende a si próprio (aprendizagem mecânica) e traduz uma sequência de caracteres noutra sequência de caracteres. O modelo é treinado para o fazer utilizando dados de amostra e assim aprende a trabalhar. Gopher foi treinado em 300 mil milhões de caracteres, mas pode recorrer a quantidades muito maiores de conhecimentos devido à base de dados. No total, a quantidade de dados compreende 2,3 triliões de caracteres e é assim muitas vezes maior do que a quantidade de dados utilizados para treinar Gopher.
Gopher pode ser utilizado para diferentes áreas e foi testado e comparado em 152 tarefas pela Deepmind após o seu desenvolvimento. As tarefas variavam desde a verificação dos factos até à modelação da linguagem, passando pela resposta a várias perguntas dos utilizadores. Em cerca de 80 por cento das tarefas, Gopher conseguiu prevalecer sobre os modelos linguísticos concorrentes comparados, que incluíam o conhecido modelo GPT-3.
O modelo Deepmind saiu por cima, especialmente na conversa, onde mostrou um elevado grau de consistência. A conversa natural é muitas vezes um problema com modelos linguísticos que dependem da inteligência artificial. Embora os modelos sejam capazes de formar frases individuais e gramaticalmente correctas, têm dificuldade em estabelecer um contexto sobre uma secção ou texto inteiro. Isto é importante para uma conversa fluente, contudo, e é um dos maiores desafios no desenvolvimento de modelos de linguagem artificial.
Uma razão para o bom desempenho de Gopher é a sua ligação à base de dados. Aqui, a base de dados de Gopher é utilizada como uma espécie de folha de consulta ou livro de referência. Esta base de dados é utilizada por Gopher para pesquisar passagens com linguagem semelhante, o que aumenta assim a previsão e a precisão do modelo. Deepmind chama à tecnologia do modelo “Retro” (Retrieval-Enhanced Transformer). Traduzido para alemão, isto significa algo como um transformador melhorado por capacidades de pesquisa. Através desta tecnologia, Gopher é capaz de competir com modelos linguísticos que são 25 vezes maiores.
Embora Gopher seja convincente em muitas áreas e deixe os seus concorrentes para trás, esta IA, tal como outros modelos linguísticos, tem de lutar com as questões éticas semelhantes. No entanto, devido à ligação com a base de dados, Gopher deve ser avaliado de um ponto de vista ético diferente dos modelos linguísticos comparáveis sem uma base de dados. Gopher torna transparentes as secções da base de dados que foram utilizadas para as previsões. Isto pode ajudar a explicar os resultados e ao mesmo tempo leva ao facto de Gopher não ser uma caixa negra pura. Além disso, as influências distorcivas (enviesamento) podem ser alteradas directamente na base de dados e assim eliminadas.
O facto de o modelo linguístico, embora um modelo bastante pequeno, ter geralmente superado os seus concorrentes nos testes, levanta a questão de quão bons modelos linguísticos grandes com uma ligação a uma base de dados poderiam ser. Contudo, estes não estão actualmente no mercado e teriam de ser testados de uma perspectiva ética, para além do desenvolvimento.
Actualmente, no entanto, Gopher é o modelo linguístico mais eficiente, a julgar pelos dados do Deepmind, que pode aprender através de alterações na base de dados sem ter de ser completamente requalificado.