Quais são os riscos ‘catastróficos’ da IA apontados pela empresa que pode fazer maior IPO do mundo

Por Estadão · Categoria: Geral ·

O prospecto para a abertura de capital ( IPO ) da Anthropic na Nasdaq apresentou uma análise detalhada dos riscos associados ao desenvolvimento e à implantação de inteligência artificial (IA) de fronteira, dividindo suas preocupações em várias frentes cruciais. Em cerca de 100 páginas, a criadora do

O prospecto para a abertura de capital ( IPO ) da Anthropic na Nasdaq apresentou uma análise detalhada dos riscos associados ao desenvolvimento e à implantação de inteligência artificial (IA) de fronteira, dividindo suas preocupações em várias frentes cruciais. Em cerca de 100 páginas, a criadora do Claude citou diferentes riscos associados ao seu modelo de inteligência artificial. Entre os principais pontos estão a perda de controle dos modelos de IA (senciência e comportamentos de autopreservação), ataques virtuais a empresas e governos em grande escala, criação de armas químicas e biológicas, além da propagação de falhas em sistemas de IA que são criados agora pelos atuais sistemas de IA. “Em particular, nossos modelos mais capazes demonstraram — e espera-se que modelos futuros também demonstrem — capacidades que poderiam oferecer um auxílio significativo a agentes mal-intencionados que buscam desenvolver armas químicas, biológicas ou outros tipos de armas perigosas”, segundo o documento. Além disso, destaca o relatório, foram implementadas salvaguardas técnicas, incluindo classificadores automatizados, especificamente voltadas para detectar e bloquear essas categorias de uso indevido. “Contudo, tais salvaguardas são incompletas, podem tornar-se obsoletas diante da evolução dos modelos de ameaça, já foram — e poderão, futuramente, voltar a ser — contornadas, ou podem falhar ao operar conforme o esperado.” No material, os chamados riscos agênticos destacam que ferramentas que executam fluxos de trabalho contínuos podem causar danos irreversíveis em cascata, como exclusão de dados ou falhas em código de produção, em uma velocidade e volume que superam a capacidade humana de supervisão. “Utilizar IA para ajudar a desenvolver uma IA mais capaz também pode representar um risco considerável à segurança, especialmente se isso acelerar drasticamente o ritmo do progresso. Essa é uma das áreas abordadas pela nossa Política de Escalonamento Responsável, que estabelece nossos planos para monitorar e mitigar os riscos à medida que nos aproximamos do que tem sido chamado de ‘autoaprimoramento recursivo’”, de acordo com o prospecto. A Anthropic alerta ainda no documento que a escala potencial de danos de um incidente catastrófico pode ser tão grande que nenhuma seguradora sozinha ou mesmo toda a indústria em conjunto teria capacidade de cobrir as perdas. O professor da FIA Business School André Gaio afirma que o risco de não compreender o que foi feito por uma IA que se aperfeiçoa por conta própria é real. “Em redes neurais artificiais, existe o conceito de deep learning (aprendizado profundo) . É como uma caixinha que tem a sua entrada e a sua saída. Você entra com determinado dado e uma saída, dentro de um processo lógico e determinístico. Você tem como dizer: a partir disso, obtive aquilo. Nesses modelos de IA, você perde essa capacidade porque são muitas etapas de decisão”, explica. Exagero ajuda na autopromoção de empresas de IA Gaio diz, entretanto, que, mesmo que haja um risco real da perda de controle de sistemas de IA que fazem melhorias no próprio código, as empresas por trás desses modelos também aproveitam esse temor como uma ferramenta de marketing para promover seus produtos. “O pessoal aproveita um pouquinho a carona do medo, porque ele é um grande impulsionador, um grande marqueteiro. Quando uma empresa diz que vai lançar o modelo mais poderoso até o momento, o mercado fica na expectativa de que seja um modelo senciente (uma espécie de consciência própria) . E estamos chegando perto desse modelo que tem uma personalidade própria”, afirma Gaio. Segundo especialistas ouvidos pelo Estadão , as alegações que ganharam manchetes na mídia internacional nos últimos meses sobre o risco de a IA destruir a humanidade foram motivadas, em boa parte, por interesses comerciais. Os principais pontos são o uso do medo coletivo como um instrumento para buscar uma regulação favorável para fazer frente ao avanço das IAs abertas e mais baratas da China e para a geração de demanda para produtos voltados à segurança digital para grandes empresas. Para José Medeiros, sócio da firma de investimentos São Pedro Capital, parte desse temor da IA é uma falácia e, depois do alarde feito com o ex-funcionário Jacob Coxon, seria estranho o prospecto de IPO não dedicar um bom trecho para descrever os riscos da tecnologia. “Se você está desenvolvendo a tecnologia que pode acabar com a humanidade, então pare. Restrinja-se, tenha cuidado, vá mais devagar. Ninguém está fazendo isso”, afirma. Medeiros diz ainda que a busca pelo IPO, mesmo diante do risco apresentado pela IA, é uma forma de aproveitar o melhor momento para abrir o capital da empresa. “O mercado está quente, a Anthropic não precisa desse dinheiro agora, mas tem compromissos grandes chegando. Então, se alguém consegue te dar um dinheiro agora, com um valuation muito bom, então tem de levantar agora. No histórico de muitos desses IPOs de tecnologia, um ano mais tarde, a maioria deles não está performando como no lançamento. O mercado começa a cair na real, sai um pouco desse otimismo todo, mas até lá a empresa já levantou o dinheiro, botou no caixa e isso dá mais fôlego para esse mundo de incertezas que está vindo pela frente”, diz. A bolha da IA é real ou não? Gabriela Moraes, também sócia da São Pedro Capital, diz que o resultado da Anthropic deixou o mercado aliviado porque a empresa não estava preparando um IPO por não ter dinheiro para sobreviver mais um ano. Em vez disso, demonstrou ter dinheiro em caixa, crescimento expressivo da receita, clientes corporativos e perspectivas de crescimento, ainda que tenha centenas de bilhões de dólares em contratos futuros com empresas que fornecem infraestrutura e processamento de cargas de IA. “Só vamos conseguir atender à demanda atual da IA por volta de 2030. Tudo pode mudar no caminho, mas as estimativas hoje vão nessa linha e a demanda deve aumentar com agentes de IA e tudo mais. Isso não quer dizer que todo mundo que está ganhando dinheiro agora vai seguir se dando bem pelos próximos anos”, afirma Gabriela. Nas últimas semanas, ações de empresas de tecnologia que apostam bilhões de dólares em IA tiveram queda de preços tanto nos EUA quanto na China. Medeiros acredita que a bolha que pode existir é diferente daquela do começo dos anos 2000, que ficou conhecida como bolha da internet. Naquela época, diz, as empresas fizeram investimentos em infraestrutura de internet que levariam anos para se pagar e os valuations (avaliações de empresas dadas por investidores) estavam em um patamar fora da realidade. “Hoje, se existir uma bolha, ela é de lucro. As pessoas estão lucrando demais por causa dos semicondutores, que não têm capacidade de produção. Então as margens estão muito elevadas. Isso pode ser. Essa é a bolha mais provável que ocorra nos próximos”, afirma. Empresas como a TSMC e a Samsung devem ter novas fábricas em operação até 2030.