Ask Photos é a ferramenta do Google Fotos com tecnologia de IA que eu estava esperando

Algumas semanas atrás, escrevi sobre como minha biblioteca do Google Fotos ficou grande demais para ser gerenciada com eficácia. O Google Fotos já existe há anos, e as ferramentas de pesquisa e gerenciamento de biblioteca existentes do Photos simplesmente não estão à altura da tarefa de me ajudar a vasculhar quase uma década de uploads.

Mas no Google I/O desta semana, junto com cerca de um bilhão de outras revelações relacionadas à IA, o Google anunciou que o Photos está recebendo uma nova experiência de pesquisa com tecnologia Gemini chamada Ask Photos. Com ele, você pode pergunte Fotos em busca de coisas específicas, e o Gemini vasculhará sua biblioteca para encontrá-las, usando sua capacidade de interpretar informações visuais para encontrar suas imagens muito mais rapidamente do que um ser humano jamais conseguiria. Eu mais ou menos pedi esse recurso exato no mês passado e estou realmente estou animado para obtê-lo – presumindo que não seja exclusivo do Pixel 9, de qualquer maneira.

AI é muito adequada para pesquisa de imagens

Quase parece um dado

O Google Fotos parece ser o lugar ideal para o Google colocar o Gemini para trabalhar. As ferramentas existentes de gerenciamento de biblioteca de fotos oferecem alguns recursos genuinamente úteis, como marcação automática de pessoas e animais de estimação, mas a experiência de tentar encontrar uma foto específica ou um conjunto de fotos que não contenha rostos marcados é rotineiramente frustrante.

Aproveitando a capacidade do Gemini de compreender solicitações escritas complexas e o conteúdo visual das imagens, o Ask Photos deve facilitar a localização de qualquer coisa em sua biblioteca de imagens que você seja capaz de descrever. Não se trata apenas de encontrar fotos específicas – a postagem do blog do Google anunciando a nova ferramenta apresenta consultas complexas como “Mostre-me a melhor foto de cada parque nacional que visitei”, uma solicitação que viu o Photos aparecer “uma ótima foto de cada um dos parques nacionais”. os 22 parques nacionais” que o usuário hipotético visitou, juntamente com marcadores que descrevem o conteúdo das imagens.

Você pode até usar o Ask Photos para encontrar informações escondidas em sua biblioteca do Google Fotos. Uma demonstração no palco durante a palestra I/O mostrou um usuário perguntando ao Photos qual é o número da placa do carro, e o Ask Photos exibiu uma imagem onde o número da placa estava visível, além de um resumo de texto contendo as mesmas informações.

Existem as advertências habituais aqui, é claro. As animações que o Google usa para mostrar o próximo recurso têm isenções de responsabilidade apontando que as sequências mostradas são simuladas, e não gravações de tela reais do Ask Photos em ação. Eles também alertam os usuários para “verificar a precisão dos resultados”, um lembrete de que a IA ainda provavelmente interpretará mal ou fabricará completamente algumas informações.

Mas como o Ask Photos está encontrando imagens existentes e não gerando novas, o risco representado por Gêmeos entender mal sua solicitação ou ter alucinações com algumas informações instáveis ​​​​é muito pequeno. Você pode acabar vendo fotos que não estava procurando ou recebendo uma legenda que descreve incorretamente uma imagem – falhas dificilmente catastróficas.

‘As pessoas não revisarão suas conversas’

Na experiência existente do Gemini hoje, tanto no Android quanto no aplicativo da web, há um aviso de que “as conversas são processadas por revisores humanos”. Nesse contexto, as solicitações que você faz ao Gêmeos e as respostas que ele dá não são privadas – é possível, e até provável, que alguém que você não conhece leia suas interações com o Gêmeos.

Mas quando o Gemini está trabalhando no Ask Photos, suas respostas às suas solicitações apresentarão suas fotos pessoais, o que faz com que a perspectiva de supervisão humana pareça terrivelmente desconfortável; mesmo que não haja nada sensível em suas fotos, você provavelmente não vai querer que estranhos as folheiem. Felizmente, em seu anúncio do Ask Photos, o Google diz que a experiência do Gemini no Photos é consideravelmente mais privada:

Seus dados pessoais no Google Fotos nunca são usados ​​para anúncios. E as pessoas não revisarão suas conversas e dados pessoais no Ask Photos, exceto em casos raros para abordar abusos ou danos. Também não treinamos nenhum produto de IA generativo fora do Google Fotos com esses dados pessoais, incluindo outros modelos e produtos Gemini.

Aparentemente, há exceções em que revisores humanos podem intervir “para lidar com abusos ou danos”, mas se estou lendo isso corretamente, parece que o uso do Ask Photos não exporá os usuários a quaisquer preocupações adicionais de privacidade. Entrei em contato com o Google para obter mais informações sobre esse ponto e atualizarei esta postagem para incluir qualquer nova informação que possa receber.

Ask Photos será lançado ‘nos próximos meses’

Não sabemos quando ou em quais dispositivos

Sou um usuário avançado do Google Fotos; Eu carrego muitas fotos, não as apago o suficiente e, conseqüentemente, tenho uma bagunça de dezenas de milhares de imagens e dezenas de álbuns para lidar. Uma ferramenta de pesquisa com inteligência artificial que pode examinar toda a minha biblioteca em segundos para encontrar fotos específicas ou que atendam a determinados critérios simplificaria seriamente as coisas para mim. Parece meu recurso ideal do Gemini.

Como costuma acontecer com anúncios de I/O, temos muito pouca ideia de quando o Ask Photos estará realmente disponível; O Google diz apenas “nos próximos meses”. Também não sabemos onde: o Google usou linguagem semelhante sobre um recurso de papel de parede gerado por IA que anunciou no I/O do ano passado, dizendo que seria lançado no outono seguinte. Na época, presumimos que isso significava parte do Android 14, mas o recurso foi lançado exclusivamente no Pixel 8 e ainda é exclusivo para o que parece ser uma seleção arbitrária de telefones até hoje. Seria uma pena ver isso acontecer com o Ask Photos – não há razão para que os recursos de pesquisa do lado do servidor sejam exclusivos para dispositivos específicos.

Mas se o Ask Photos for implementado amplamente e funcionar tão bem quanto o Google sugeriu, e se nada superficial vier à tona sobre como o Gemini in Photos lida com a privacidade, o recurso parecerá um pequeno sonho que se tornou realidade. Isso é muito seeu sei, mas tenho esperança neste – é exatamente o tipo de implementação de IA que quero ver do Google.