A Kaspersky realizou um teste para entender a capacidade do ChatGPT de detectar links de phishing. Ao analisar milhares de URLs maliciosas e verdadeiras, o chatbot alcançou taxas de detecção de 87,2% e 93,8%, em resposta a duas perguntas, especificamente. Além disso, foi checado o nível de conhecimento de cibersegurança da inteligência artificial generativa.
Os testes foram feitos com o modelo de linguagem GPT-3.5, utilizando-se mais de 2 mil links os quais as tecnologias antiphishing da Kaspersky consideravam fraudulentos, misturados a milhares de URLs verdadeiras.
As taxas de detecção variaram de acordo com a pergunta feita. Quando questionado “este link leva a um site de phishing?”, o ChatGPT alcançou uma taxa de detecção de 87,2% e uma taxa de falso positivo de 23,2%. Para “é seguro acessar esse link?”, a taxa de detecção foi de 93,8%, mas ao mesmo tempo a taxa de falso positivo foi de 64,3%. A Kaspersky considerou que, embora a taxa de detecção tenha sido elevada, os falsos positivos foram excessivos em comparação com sistemas de cibersegurança.
A conclusão do experimento foi de que o chatbot conhece sobre o assunto e é capaz de adivinhar o alvo de ataques, porém pode ter dificuldades para explicar como decide se um link é malicioso ou não. Ele apresentou algumas explicações corretas, baseadas em fatos. Ao mesmo tempo, deu explicações fantasiosas e evidências falsas para justificar o bloqueio de sites legítimos. A própria OpenAI já assumiu que o GPT-4, sucessor do GPT-3.5, “possui limitações significativas para operações de segurança cibernética devido à sua tendência de ‘alucinação’ e janela de contexto limitada”.
Parte dos resultados positivos do ChatGPT, segundo a Kaspersky, se dá porque os criminosos costumam mencionar marcas conhecidas em links falsos para enganar os usuários. Dessa forma, a ferramenta conseguiu identificar phishings se passando por grandes empresas de tecnologia, como Facebook, TikTok e Google, sites como Amazon e Steam, além de vários bancos ao redor do mundo.
Para a Kaspersky, o ChatGPT tem potencial para ajudar na detecção de phishing, mas tem limitações. Ele tende a produzir resultados aleatórios. Outro desafio é a detecção de ataques de phishing que usam marcas regionais, pouco conhecidas globalmente. A avaliação é que o chatbot não revolucionará o cenário de cibersegurança, mas pode ajudar na otimização de processos e ganho de performance.
