As empresas estão mergulhando de cabeça na onda dos agentes de IA, mas estão se esquecendo de cuidar da segurança. Com eles, novos riscos estão surgindo, como sequestro de agentes, esquecimento forçado e envenenamento de contexto. O alerta parte de Bruno Teixeira, CTO da Sofist, em conversa com o Mobile Time.

“A maioria das empresas está em um estágio de botar agentes no ar. Querem acelerar para publicar os seus agentes. A história se repete, mas com nome diferente. Não são mais os apps, agora são os agentes”, comenta o executivo.

Com a autonomia concedida aos agentes de IA e a sua integração com sistemas críticos, os riscos se tornam ainda mais elevados e precisam ser acompanhados de perto. Abaixo, uma breve descrição das novas ameaças:

  • Sequestro de agente – O agente é sequestrado por meio de instruções enviadas pelo atacante durante uma conversa. Pode ser um pedido para ele esquecer tudo o que foi pedido até então e focar em algo que não deveria fazer.

  • Permissão indevida – Para atender a uma solicitação, o agente encontra um caminho para acessar informações às quais não teria autorização de acessar.

  • Esquecimento forçado – O atacante estressa o agente, alongando de propósito uma conversa, para esgotar a memória de curto prazo e conseguir com que ele execute alguma ação cuja proibição constava da memória de curto prazo.

  • Envenenamento de contexto – Atacante consegue aos poucos, ao longo de várias conversas, alterar a base vetorial de informações de contexto contidas no RAG. É uma das ameaças mais difíceis de serem detectadas.

Agentes de IA demandam segurança preemptiva

Na opinião de Teixeira, as empresas devem adotar uma estratégia de segurança preemptiva no que concerne aos agentes de IA. Isso significa analisar e se antecipar aos ataques, consertando eventuais vulnerabilidades. Preferencialmente, isso deveria ser um trabalho contínuo, e não feito ocasionalmente.

“A segurança tradicional detecta um ataque e responde a ele. Mas essa abordagem tradicional não consegue acompanhar a velocidade com que os códigos estão sendo construídos. Fica uma lacuna entre a construção de coisas novas e a espera de um alerta aparecer. Na segurança preemptiva, a detecção é feita proativamente com crash tests, pentests. Você procura os problemas antes de chegarem os alertas”, descreve o CTO da Sofist. “Quanto mais você demorar para reagir, mais você fica exposto. Enquanto isso, o agente executa ações e conversa com aplicações críticas. O tempo de máquina não é o tempo humano”.

A Sofist desenvolveu uma solução de segurança preemptiva para detectar e consertar vulnerabilidades de agentes de IA. É um módulo chamado “Agent resilience observability”, que roda dentro da sua plataforma R/Pulse. Lançada há dois meses, já foi utilizada em três agentes diferentes.

Eficiência e segurança de agentes de IA em debate no Super Bots Experience

Os desafios na construção de agentes de IA que sejam, ao mesmo tempo, seguros e eficientes serão tema de um painel de debate no Super Bots Experience 2026, evento que acontecerá nos dias 18 e 19 de agosto, no WTC, em São Paulo. Estão confirmados nesse painel:

Caio Borges, country manager Brasil da Infobip José Caodaglio, CEO da Colmeia Nicola Sanchez, CEO da Matrix Go Rafael Souza, CEO da Ubots

A agenda atualizada e mais informações estão disponíveis em www.botsexperience.com.br.

 

*********************************

Receba gratuitamente a newsletter do Mobile Time e fique bem informado sobre tecnologia móvel e negócios. Cadastre-se aqui!

Siga o canal do Mobile Time no WhatsApp!

As ilustrações das matérias são produzidas por Mobile Time com IA