A IA tem o potencial de mudar totalmente a forma como trabalhamos. Mais do que qualquer tecnologia emergente anterior, como AR/VR e blockchain, modelos de linguagem generativa como o Google Bard já se tornaram partes vitais da vida profissional de muitas pessoas em dezenas de setores. O Google quer um pedaço desse bolo e está visando salas de aula e pesquisadores com seu experimento NotebookLM.
NotebookLM é uma ferramenta que permite fazer upload de documentos e texto para um espaço dedicado nos servidores do Google e usar um modelo de linguagem para fazer perguntas, resumir e tomar medidas em fontes que, de outra forma, levariam horas para serem pesquisadas. NotebookLM quer ser um assistente de pesquisa virtual que supostamente ajudará você a produzir os primeiros rascunhos mais rápido do que faria de outra forma. O Google afirma que permite a transição perfeita entre fazer anotações e trabalhar com fontes, ao mesmo tempo que deixa a IA instantaneamente pronta para fazer qualquer pergunta sobre o texto que você possa ter.
Sou editor do Google aqui no Android Police, mas também trabalho como leitor de roteiro paralelamente, produzindo avaliações de materiais recebidos para um canal de TV. Com um trabalho tão fortemente focado na criação de uma base de conhecimento em scripts individuais antes mesmo de começar a escrever, fiquei me perguntando o quanto poderia me beneficiar com a ajuda da IA para acelerar determinados processos.
Antes de começar, observe que os roteiros que ainda serão filmados são um assunto delicado que envolve muito sigilo, por isso não alimentei o NotebookLM com nenhum dos roteiros reais que estou avaliando. O Google afirma que “seus dados pessoais não são usados para treinar o NotebookLM, portanto, qualquer informação privada ou sensível que você tenha em suas fontes permanecerá privada, a menos que você opte por compartilhar seus notebooks com colaboradores”.
Em teoria, isso significa que não há problema em alimentar o NotebookLM com quaisquer dados confidenciais. Dado que o material com que trabalho é o sustento de outras pessoas, não quis correr nenhum risco. Decidi experimentar alguns filmes existentes e optei por tratar o sucesso de Christopher Nolan de 2005 Batman começa como um script de amostra.
O que há de bom no NotebookLM?
Começar a usar o NotebookLM é fácil. Depois de fazer login com sua conta do Google, você estará basicamente pronto para começar. Você é recebido com a opção de adicionar um novo bloco de notas, bem como uma seleção de exemplos para lhe dar uma ideia do que você pode fazer com a vasta tela vazia – um grande problema com muitos modelos de linguagem grande baseados em chat. Se você quiser se aprofundar em seus próprios projetos, o Google explica como você pode adicionar arquivos PDF, Google Docs ou texto copiado, e como você pode fazer perguntas ao assistente de IA integrado sobre os materiais adicionados. A interface não é das mais refinadas ou intuitivas, mas dá conta do recado para um experimento. Ele funciona bem até mesmo em navegadores móveis com uma interface responsiva, embora esteja claro que foi projetado primeiro para desktops.
Para testar a ferramenta, carreguei um PDF do Batman começa script para NotebookLM, junto com arquivos PDF de Christopher Nolan e David S. Goyer (o autor) para algumas informações periféricas sobre os artistas por trás do projeto. Geralmente essas são as principais informações com as quais trabalho como leitor de roteiro, além das diretrizes e requisitos para a programação do meu canal de TV (Curiosidade: Batman começa muito provavelmente não teria sido selecionado porque simplesmente não atendeu aos requisitos de gênero, equipe e orçamento).
Com esses dados importados, rapidamente comecei a pedir ao NotebookLM para fazer sua mágica. Em vez de vasculhar o roteiro e construir eu mesmo uma visão geral dos personagens, eu poderia simplesmente pedir à IA uma lista rápida dos personagens mais importantes. A IA também poderia me fornecer um rascunho da estrutura e do resumo do enredo, tornando mais fácil iniciar o processo de escrita do que normalmente seria. Eu também poderia pedir um rápido resumo da experiência de Christopher Nolan, sendo trabalhos anteriores uma consideração importante para a avaliação.
Durante o bate-papo, você pode ativar ou desativar rapidamente fontes individuais com uma caixa de seleção em suas visualizações. Não é a interface mais intuitiva, mas depois de entender isso, você pode orientar rapidamente a IA para usar apenas certas informações, investigando os detalhes muito mais rapidamente do que seria possível.
No geral, NotebookLM oferece uma maneira rápida de extrair informações importantes do script sem ter que tentar pesquisar tudo sozinho no script. No entanto, NotebookLM ainda só é bom quando você conhece de antemão o texto com o qual está trabalhando. Já faz um tempo que não assisti Batman Begins. A vibração geral do resumo e dos personagens parece estar correta, mas ainda não consigo confiar totalmente na IA para acertar. NotebookLM poderia ser uma ótima ferramenta para realizar certas tarefas mais rapidamente, mas eu ainda teria que ler e trabalhar com a fonte sozinho. Isso nos leva direto ao que não gosto no NotebookLM e, cara, o Google precisa trabalhar muito na ferramenta para colocá-la em um estado em que eu possa trabalhar com ela.
O que há de ruim no NotebookLM?
Antes mesmo de mergulhar nas questões de confiança na IA, primeiro preciso falar sobre o fluxo de trabalho geral. Imediatamente, percebi que os arquivos PDF importados são convertidos em arquivos somente texto. Um PDF como um script que depende de recuo e outras formatações complexas para diferenciar diálogos, instruções, cenas e várias páginas não é bom para trabalhar dessa forma, para dizer o mínimo.
Outra primeira impressão é que a IA nem sempre funciona como esperado. Ele prontamente forneceu resumos automatizados para os dois artigos da Wikipédia sobre Christopher Nolan e David S. Goyer que carreguei, mas apenas disse “O sistema não foi capaz de gerar um guia para esta fonte” para o script, onde teria sido mais útil.
Essa noção de um produto que ainda não está pronto continua em toda a interface. É preciso muito tempo para se acostumar com a interface em telas menores, com uma interface de usuário baseada na parte inferior que parece diferente de todos os outros aplicativos do Google, permitindo alternar entre as fontes e as notas. Somente quando você visualiza o NotebookLM em uma largura maior, você obtém uma visualização de duas colunas com as fontes e as notas próximas umas das outras.
Então, você não pode reordenar notas e fontes, que é um dos recursos mais básicos que um caderno digital deve ter. É um descuido ainda maior quando você considera que o próprio aplicativo Keep do Google sempre foi capaz de fazer isso e que o NotebookLM se assemelha muito a uma visão de cima para baixo de uma mesa com notas adesivas espalhadas no lado direito de suas fontes.
Você também não pode editar notas geradas automaticamente, que são adicionadas “fixando” uma resposta de bate-papo a uma nota (um fluxo de trabalho estranho por si só) – para fazer isso, você teria que copiar manualmente o conteúdo para uma nota escrita. Suspeito que o Google fez isso em um esforço para tornar intuitivamente óbvio quais notas são suas próprias ideias e quais são geradas por IA, mas para meu fluxo de trabalho ideal, eu teria que misturar algumas delas. Por exemplo, gostaria de adicionar mais notas à visão geral dos personagens, o que não posso fazer com as restrições atuais.
Para algumas das perguntas, as respostas eram inúteis depois de um pouco de pesquisa. Por exemplo, quando pedi à IA que listasse os personagens mais importantes, pedi que incluísse a idade e quando um personagem foi mencionado pela primeira vez. Para todos os personagens, a IA apenas disse “mencionado pela primeira vez nas fontes”, o que não é nada útil quando você espera uma cena ou um número de página. Também errou algumas informações, como dizer que Rachel Dawes não tem idade especificada quando foi mencionado que ela tinha 10 anos em um dos flashbacks. O mesmo se aplica a Alfred, que teria 50 anos em outro flashback.
Depois, houve também algumas perguntas que o NotebookLM se recusou a responder, a menos que eu as reformulasse ligeiramente. Quando pedi para “Me dar uma visão geral dos personagens principais, dos conflitos e da qualidade do diálogo em dois parágrafos”, ele disse que não poderia responder à pergunta e que eu deveria tentar reformular ou perguntar outra coisa. Um pequeno ajuste na pergunta, essencialmente apenas removendo a “qualidade” no prompt, me deu uma resposta completa (minha pergunta reformulada foi: “Dê-me uma visão geral dos personagens principais, dos conflitos e do (sic! ) caixa de diálogo em dois parágrafos.”)
Alguns recursos anunciados também ainda estão faltando. Nas notas geradas, você pode passar o mouse sobre as notas de rodapé para revelar de onde a IA supostamente extraiu as informações. Na visualização do NotebookLM, clicar nesta nota de rodapé destaca o local na fonte de origem. Isso funciona quando você procura a fonte enquanto conversa com a IA, mas não funciona quando você deseja verificar de onde vieram algumas informações em uma nota salva. O mesmo se aplica à geração de rascunhos. Quando você destaca seis ou mais notas, um botão deve aparecer que permite criar um esboço ou rascunho que você pode enviar diretamente para o Google Docs para trabalhos futuros. Esse recurso principal está totalmente ausente para mim.
Outro problema com o NotebookLM é que não confio na IA para esclarecer todos os fatos. Observei acima que alguns detalhes importantes estavam errados à primeira vista, como alegar que alguns personagens não tinham a idade especificada, embora fosse esse o caso. Se eu mesmo tiver que voltar ao texto para verificar tudo o que a IA me diz, eu poderia simplesmente trabalhar totalmente com o texto sozinho. Este problema existe para todos os LLMs no momento, mas eu esperava que isso fosse menos problemático quando você limitasse as fontes do LLM a apenas um ou dois textos.
O NotebookLM vale a pena hoje?
Certamente é divertido usar o NotebookLM, explorando suas capacidades e limitações. Eu não diria que a ferramenta está pronta para o horário nobre ainda, mesmo que a empresa a tenha aberto para todos nos EUA em dezembro. Porém, tem muito potencial e pode mudar a forma como trabalharemos com fontes e documentos no futuro. No momento, as limitações da interface e as alucinações da IA atrapalham demais, mas com os ajustes certos, isso pode chegar lá mais cedo do que imaginamos. Isso é particularmente verdade quando (ou melhor, se) tivermos uma versão NotebookLM com tecnologia Gemini Ultra, a IA mais avançada do Google.
Ao mesmo tempo, não esperaria que o Google continuasse com o NotebookLM em sua forma atual. A ferramenta é comercializada como um experimento e está claro que é mais um playground do que qualquer outra coisa. Dado o histórico do Google como uma empresa que mata produtos por capricho, você definitivamente não deveria usá-lo para projetos de longo prazo, como seus trabalhos de pesquisa, onde uma ferramenta como essa poderia brilhar. Com isso em mente, fiquei impressionado e desiludido – o NotebookLM nos mostra aonde o futuro da IA pode nos levar, mas, no momento, é apenas uma promessa de algo excelente, mais do que uma ferramenta viável que pode ajudá-lo em seu trabalho.
