T-NLG significa Geração de Linguagem Natural de Turing. É uma IA que prevê o fluxo natural da linguagem humana. O nome Turing vem de Alan Turing, um matemático britânico famoso por decifrar códigos durante a Segunda Guerra Mundial. Turing desenvolveu a máquina de Turing, o primeiro conceito de computador, e o teste de Turing, uma forma de avaliar a capacidade de um computador de responder como um ser humano.
A Microsoft honrou esse trabalho inicial ao criar a Equipe do Projeto Turing. Esta equipa desenvolveu modelos de linguagem natural em grande escala para resolver problemas para empresas que utilizam aplicações e serviços Microsoft. Algumas dessas pesquisas foram usadas em aplicativos populares do Microsoft Office, como o Word.
Embora você precise de uma GPU poderosa para treinar modelos de IA, um Chromebook bem construído e de baixo custo ou um telefone Android barato podem fazer uso desses avanços, já que muitos são executados na nuvem.
O que é um modelo de linguagem natural?
Os humanos desenvolveram milhares de línguas faladas, mas a maioria das pessoas fala apenas algumas. Falamos em fonemas (os sons produzidos pela sua voz) e escrevemos com letras para formar palavras e frases. Esses conceitos são estranhos aos computadores.
Os computadores dependem de transistores para processar a entrada. Os únicos valores aceitáveis são uns e zeros. Este código binário é a base para linguagens de máquina, como as letras de nossas palavras.
Os computadores são artificiais e os humanos são naturais. É por isso que uma inteligência artificial (IA) projetada para processar a linguagem humana é chamada de modelo de linguagem natural (NLM). Se um NLM for suficientemente grande, ele será chamado de modelo de linguagem grande (LLM).
Um sistema de IA executando um LLM pode criar um resumo de um documento ou responder perguntas sobre o conteúdo com resultados semelhantes aos de um ser humano. Um NLM faz um computador responder naturalmente e executar tarefas que normalmente requerem um ser humano.
O que é T-NLG?
T-NLG é um grande modelo de linguagem criado pela Microsoft como parte de seu programa de pesquisa e desenvolvimento de IA. Ele superou muitos modelos semelhantes quando foi lançado em 2020, incluindo GPT e GPT-2 da OpenAI, BERT do Google e MegatronLM da Nvidia em testes de processamento de linguagem natural (PNL).
Fonte: Microsoft
O T-NLG já foi o maior LLM com 17 bilhões de parâmetros, todos detalhes que afetam a saída gerada por uma IA. Normalmente, modelos maiores são melhores, pois contêm mais dados para ajustar os resultados. Isso nem sempre é verdade. Pesquisas recentes mostram que pequenos LLMs criados com milhões de parâmetros podem, às vezes, superar aqueles com centenas de bilhões de parâmetros.
Como funciona o T-NLG?
O T-NLG, como outras IAs, usa um modelo generativo baseado em Transformer. O Google desenvolveu o conceito Transformer em 2017. É um modelo de aprendizagem profunda que prevê qual palavra deve vir a seguir em uma frase, coletando contexto de uma sequência de palavras.
Assim como o teclado deslizante do seu telefone Android e a previsão de texto do Gmail ao redigir um e-mail, os transformadores usados em LLMs como o T-NLG ajudam a IA a gerar texto usando essa técnica de previsão. O Gboard agora possui um recurso de revisão.
A Microsoft usou 256 GPUs Nvidia V100, dividindo um modelo de 17 bilhões de parâmetros em várias partes paralelas. Este hardware poderoso, com vários refinamentos de software, treinou o T-NLG com uma compreensão impressionante da linguagem natural e a capacidade de prever, analisar e gerar texto.
A Microsoft ainda usa o T-NLG?
Fonte: Microsoft
A Microsoft pesquisa implementações de IA novas e mais poderosas em seu programa de pesquisa Project Turing. Não está claro se a Microsoft ainda usa o modelo de 17 bilhões de parâmetros desenvolvido em 2020.
A empresa usa modelos Turing para SmartFind no Microsoft Word e Question Matching no Xbox. A Microsoft emprega texto generativo na compreensão da linguagem, resposta a perguntas, previsão de texto e resumo em muitos de seus aplicativos e serviços.
Vários novos modelos de PNL foram descritos pela equipe de Turing da Microsoft desde 2020, incluindo Megatron-Turing NLG 530B, um enorme LLM com 530 bilhões de parâmetros, o modelo Turing Universal Language Representation (T-ULRv5 em 2021 e T-ULRv6 em 2022), LLMs multilíngues, Turing Image Super Resolution, uma IA de aprimoramento de imagem, e Turing Bletchley, um modelo de reconhecimento de imagem multilíngue.
IA da Microsoft e OpenAI
Junto com o trabalho interno da Microsoft em LLMs, a empresa investiu US$ 1 bilhão na pesquisa da OpenAI em 2019. A parceria cresceu em 2021 à medida que a Microsoft adicionou mais fundos e se tornou a fornecedora exclusiva de serviços em nuvem para OpenAI.
Em fevereiro de 2023, esta colaboração atingiu um novo nível quando a Microsoft incorporou a tecnologia GPT-4 da OpenAI no motor de busca Bing. Ele adicionou o Bing Chat como uma guia e forneceu texto gerador em uma caixa ao lado de cada pesquisa do Bing. O Bing Chat também está disponível como um aplicativo em telefones Android, uma alternativa ao Google Assistant e ao Bard, o modelo generativo de IA do Google.
A Microsoft também usa o gerador de imagens Dall-E AI da OpenAI para o Bing Create. Com o tempo, a tecnologia OpenAI está sendo integrada a outros aplicativos e serviços da Microsoft.
Isso não significa que a Microsoft parou de trabalhar na IA. A equipe Microsoft Turing ainda está ativa e ocupada pesquisando novos modelos de IA e seus usos.
Mais modelos de IA
O ChatGPT da OpenAI é conhecido como o primeiro LLM a alcançar amplo uso público. O Bard do Google compete bem com o ChatGPT. O Google também atualizou recentemente o Bard com seu modelo Gemini, que aceita entrada multimodal.
Este é apenas o começo e mais avanços em IA são esperados em 2024 e além. A IA generativa e os LLMs multimodais continuarão a melhorar e aprimorar a tecnologia no futuro próximo, à medida que os fabricantes líderes aproveitam esta oportunidade para criar produtos mais úteis e fáceis de usar.
