O projeto mais recente do Google permite navegar em aplicativos Android usando gestos faciais

Resumo

  • O Project Gameface do Google, um “mouse” mãos-livres de código aberto que usa reconhecimento facial, agora está disponível para desenvolvedores melhorarem a acessibilidade de seus aplicativos Android.
  • Oferece acessibilidade de baixo custo para jogadores com deficiência, respondendo a movimentos faciais como levantar as sobrancelhas para executar ações.
  • Esta tecnologia personalizável suporta até 52 gestos distintos, permitindo aos usuários definir seus próprios limites de sensibilidade para controlar comandos faciais.



No Google I/O desta semana, embora o foco estivesse nas principais inovações de IA, o Google não deixou de nos atualizar sobre sua tecnologia de reconhecimento facial. Chamado de Projeto “Gameface”, que foi originalmente revelado na conferência Google I/O do ano passado, é essencialmente um “mouse” para jogos com viva-voz que permite mover o cursor do computador usando apenas a cabeça e o rosto. Desta vez, a empresa deu um passo além ao liberar mais código ao público, o que significa que os desenvolvedores agora podem usá-lo para aprimorar aplicativos Android com a mesma tecnologia.


O Project Gameface opera através da câmera do dispositivo e acessa o MediaPipe API de detecção de pontos de referência faciais para rastrear uma série de expressões faciais e mover o cursor de acordo. O objetivo é oferecer uma solução de baixo custo para tornar os jogos mais acessíveis para pessoas com deficiência, conforme postagem no blog do Google. Em sua essência, é um “mouse” de código aberto e viva-voz que responde aos movimentos da cabeça e do rosto. Por exemplo, simplesmente levantando as sobrancelhas, você pode executar ações como clicar e arrastar ou navegar de volta para a tela inicial e assim por diante.

Relacionado

Os cinco maiores anúncios de I/O do Google: Círculo para pesquisa, mudanças na pesquisa e muita IA

Este não é o Google do seu pai


Imagine usar suas expressões faciais como um controle remoto, onde cada contração ou sorriso se traduz em um comando. A empresa adicionou agora uma camada de personalização a esta tecnologia, permitindo suporte para até 52 gestos distintos. Os usuários também podem ajustar o quão expressivos precisam ser para acionar essas ações, definindo seus próprios limites para cada gesto para controlar a sensibilidade de seus comandos faciais.

vários gestos faciais para gameface do projeto

O Projeto Gameface tomou forma a partir das experiências de Lance Carr, um jogador que luta contra a distrofia muscular, uma condição que enfraquece progressivamente os músculos. Anteriormente, Carr dependia de um caro mouse de rastreamento de cabeça para jogar, mas um incêndio devastador em sua casa destruiu todo o seu equipamento de jogo. Em colaboração com o Google, Carr contribuiu para o desenvolvimento do Projeto Gameface, permitindo-lhe mais uma vez participar e transmitir videogames.



Project Gameface não será mais apenas para gamers

Atualmente, o Project Gameface é oferecido apenas como uma ferramenta de desenvolvedor, o que significa que cabe a esta comunidade escolher se colocará esse recurso de acessibilidade em seus jogos mobile para Android.

Embora o Project Gameface seja principalmente uma ferramenta de acessibilidade, seus benefícios potenciais vão muito além disso. Originalmente concebido para a comunidade de jogos, o Google está expandindo seu alcance ao colaborar com a Incluzza, uma empresa social que promove a acessibilidade em toda a Índia. Juntos, eles estão procurando maneiras de utilizar o Gameface em diversos ambientes, como escritórios, instituições educacionais e reuniões sociais.