O que é um NPU e como ele ajuda a mágica da IA ​​a acontecer?

O “cérebro” de qualquer smartphone moderno é o seu SoC (system-on-chip), uma micromáquina incrivelmente complexa. Ele inclui CPU e GPU, processamento de áudio e vídeo, comunicação sem fio e gerenciamento de energia em um pedaço de silício do tamanho de uma unha. Os SoCs estão ficando ainda mais sofisticados. Uma adição recente é o NPU, que facilita as funções de IA.

Seu telefone provavelmente possui um NPU se for um modelo recente. Até mesmo o Samsung Galaxy A25 de baixo custo, um dos telefones Android de melhor orçamento, inclui um em seu chip Exynos 1280. Mas o que faz o NPU e que diferença isso faz? Vamos explorar.

O que é um NPU e quais telefones o possuem?

NPUs existem há mais tempo do que você pensa

NPU significa unidade de processamento neural. É um módulo de computação no SoC de um smartphone, assim como a CPU (unidade central de processamento) e a GPU (unidade de processamento gráfico). Os recentes SoCs Snapdragon, Exynos, Dimensity, modelo da série A da Apple e alguns processadores de desktop e PC móveis da Intel, AMD e Apple têm NPUs.

Os SoCs de telefone já possuem NPUs há algum tempo. A Qualcomm tem seu AI Engine (PDF), uma combinação de hardware e software para tarefas de IA, no Snapdragon 820 desde 2015. A Apple lançou seu Neural Engine NPU em 2017 com o chip A11 Bionic. No entanto, por mais inacabados que estejam, são mais relevantes hoje devido ao entusiasmo em torno da IA ​​e dos recursos que ela traz.

Por que precisamos de NPUs em telefones?

A função de uma NPU é acelerar tarefas relacionadas à inteligência artificial e aplicações de aprendizado de máquina. Exemplos (vários na foto acima) incluem identificação de pessoas e objetos em imagens, geração de texto e imagem, conversão de fala em texto, tradução em tempo real e previsão da próxima palavra que você deseja digitar.

Você não precisa de uma NPU para executar essas funções, mas isso torna o processo mais rápido, mais eficiente em termos energéticos e menos dependente da computação em nuvem. Os cálculos exigidos pelas tarefas de IA são tão específicos que faz sentido otimizar uma unidade de processamento para eles.

Se você é curioso e adora matemática, ACC Coolen, do King’s College London, se aprofunda na matemática das redes neurais. Além disso, Michael Stevens, famoso pelo Vsauce, demonstra uma rede neural funcional em seu vídeo do YouTube abaixo. Observe como operações básicas, mas numerosas, são executadas simultaneamente para que a rede funcione.

CPU vs. NPU: Como eles são diferentes?

A CPU é uma unidade de uso geral que pode realizar uma ou algumas operações matemáticas complexas com rapidez e alta precisão. No entanto, os trabalhos de IA exigem que muitos cálculos sejam executados em paralelo, enquanto a precisão não é tão importante. Uma GPU seria mais adequada para a tarefa do que uma CPU, graças à sua natureza paralela. Ainda assim, uma NPU se destaca graças à sua eficiência, como aponta a IBM. Uma NPU pode fornecer desempenho de IA semelhante enquanto usa uma fração da energia, o que a torna ideal para dispositivos móveis alimentados por bateria.

Os benefícios da IA ​​no dispositivo

Outra vantagem de ter um NPU como parte do SoC é que ele executa algumas operações de IA no dispositivo em vez de na nuvem, o que poderia ser mais lento. Isso faz sentido para cargas mais leves, como conversão de fala em texto. Também é ideal quando a entrada do sensor está envolvida e resultados imediatos são esperados, como a detecção de objetos em uma cena no aplicativo da câmera. O modelo de IA é o código que processa sua entrada e é armazenado localmente. Aplicativos como o gerador de imagens Google Pixel Studio usam uma abordagem híbrida, aproveitando modelos de IA locais e em nuvem.

A IA no dispositivo também é ótima para privacidade. Os dados pessoais que você fornece (em formato de fala, texto ou vídeo) não precisam sair do seu telefone. Isso elimina a chance de pessoas mal-intencionadas acessá-lo em uma violação de dados.

Qual a diferença entre a TPU do Google Pixel?

Se você olhar a página de especificações do Google Pixel 9, um telefone com recursos de IA fortemente promovidos, não encontrará nenhuma menção a um NPU. Isso porque ele usa uma TPU (unidade de processamento de tensores).

Como uma NPU, a TPU acelera os cálculos de IA. A diferença é que os TPUs e os chips TPU são personalizados pelo Google. Você os encontrará apenas no hardware do Google e nos data centers da empresa. As unidades de processamento do Tensor são otimizadas para o TensorFlow, uma biblioteca de software de código aberto desenvolvida pelo Google e feita para aprendizado de máquina e aplicativos de IA.

O que são NPU TOPS?

Como potência, mas para chips NPU

Embora a maioria dos novos telefones tenha um NPU, alguns realizam cálculos de IA mais rapidamente. TOPS (trilhões de operações por segundo) é a medida comum do desempenho do processador de IA. A Qualcomm explica que dois fatores determinam o TOPS de uma NPU: a frequência (velocidade do clock) na qual ela funciona e o número de unidades operacionais MAC à sua disposição.

O recentemente anunciado chip Snapdragon 8 Elite é apontado como tendo desempenho de IA 45% melhor do que seu antecessor, o Snapdragon 8 Gen 3. Quanto a este último, chega a 45 TOPS. Isso não é muito próximo dos mais de 1.300 TOPS fornecidos pela placa gráfica de desktop Nvidia RTX 4090 de última geração. Por outro lado, um telefone não consome 450 watts como a fera da Nvidia.

É difícil contextualizar os números, uma vez que os requisitos TOPS para tarefas de IA raramente são mencionados. No entanto, o chatbot Copilot+ AI da Microsoft requer um mínimo de 40 TOPS.

As NPUs vieram para ficar?

Dada a sua natureza altamente especializada, as unidades de processamento neural não estão no caminho certo para substituir CPUs ou GPUs. Em vez disso, o objetivo é melhorar a eficiência dos SoCs móveis, realizando tarefas de IA e economizando energia da bateria. Com a integração da IA ​​aos smartphones, ouviremos mais sobre NPUs no futuro. Por enquanto, confira nossos recursos favoritos do Samsung Galaxy AI para explorar o que a IA pode fazer por você hoje.