O físico Stephen Hawking dizia que “O desenvolvimento da inteligência artificial completa pode significar o fim da raça humana”. Recentemente, o diretor do programa de mestrado de IA da Universidade de Hull, Rameez Kureshi, propôs que essa “capacidade de pensar e agir como um humano” permite que o computador faça o trabalho, tomando decisões por nós.
No entanto, um novo estudo publicado na revista Transactions on Machine Learning afirma que ambos os conceitos podem ser exagerados. Após examinar grandes modelos linguagem (LLMs), como GPT-4, os pesquisadores da Universidade de Amsterdã e do Instituto Santa Fé afirmam que, embora esses softwares consigam resolver vários tipos de problemas de analogia, o seu desempenho cai quando essas questões são modificados de alguma forma.
Isso reforça a ideia de que a IA não pode pensar da mesma maneira que uma pessoa e, mesmo gerando respostas coerentes, ela pode não ter um entendimento profundo o bastante para adaptar seu raciocínio a variações dos problemas. E essa dificuldade em lidar com mudanças sutis nos desafios de forma flexível pode ser uma fraqueza fundamental da IA.
Comparando IA com a inteligência humana
Os autores testaram, inicialmente, problemas em que a tarefa consistia em completar uma matriz, identificando o dígito ausente, nos quais os humanos tiveram um bom desempenho. Chamado de raciocínio analógico, esse processo cognitivo compara duas coisas diferentes para identificar aspectos similares. Como exemplo, podemos propor: xícara está para café assim como sopa está para ??? A resposta é: tigela.
Ao aplicar testes parecidos com esse em programas de computador baseados em redes neurais profundas, a coautora do estudo, Martha Lewis, professora de IA neurossimbólica na Universidade de Amsterdã, comprovou que a IA não consegue realizar raciocínio analógico tão bem quanto os humanos, com problemas de sequência de letras.
“As analogias da sequência de letras têm a forma de “se abcd vai para abce, para onde ijkl vai?” A maioria dos humanos responderá “ijkm”, e [a IA]tende a dar essa resposta também”, explicou ela à Live Science. Porém, quando propôs “se abbcd vai para abcd, para onde ijkkl vai?”, os humanos responderam corretamente “ijkl” (apenas removendo o elemento repetido). Já o GPT-4 cometeu erros ao tentar solucionar analogias desse tipo.
Os riscos da IA usar dados para solução de conflitos reais
Para testar se os modelos GPT conseguem manter a robustez, os autores os testaram tanto em problemas analógicos originais, como em versões ligeiramente modificadas. Diferentemente dos humanos, os modelos de IA foram eficazes em testes padrão, mas falharam nas adaptações. Isso quer dizer que a inteligência artificial prioriza a correspondência de padrões, mas falha em sua compreensão abstrata, limitando sua flexibilidade cognitiva.
No caso de matrizes de dígitos, as IAs tiveram mau desempenho quando a posição do número ausente mudou, ao contrário dos humanos. Já em analogias de histórias, a tendência do GPT-4 foi sempre escolher a primeira resposta. Quando os pesquisadores reformulavam os elementos-chave as IAs se basearam mais em características aparentes do que nas relações de causa e efeito.
Para os autores, essa capacidade reduzida de fazer analogias pode representar um sério problema em setores críticos como a análise de jurisprudência e recomendações de sentenças. Essa falta de robustez pode servir como alerta quando se trata de abstrair de padrões específicos para regras mais gerais. “É menos sobre o que está nos dados e mais sobre como os dados são usados”, conclui Lewis.
O que você achou de descobrir que até a IA tem lá suas limitações? Comente o assunto em nossas redes sociais e aproveite para compartilhar a matéria com os seus amigos. Leia também as críticas do ChatGPT-4 às opiniões do seu próprio criador, que falou mal de superinteligência artificial.