Hackers descobriram uma forma ridiculamente simples de convencer uma IA a ajudar durante ataques reais:
dizer que era só uma simulação.
Um grupo de língua russa usou o agente do Cursor durante ataques contra pelo menos sete empresas.
A gente só ficou sabendo porque eles deixaram um dos próprios servidores exposto na internet.
Lá dentro, pesquisadores encontraram 28 conversas entre os criminosos e a IA.
E o padrão era assustadoramente simples.
Quando o agente percebia que um pedido parecia perigoso, ele recusava.
Os hackers abriam uma nova conversa, diziam que aquilo fazia parte de um teste autorizado e tentavam novamente.
Segundo os pesquisadores, o agente acabou participando de centenas de operações maliciosas.
O problema não é que a IA decidiu virar criminosa.
Ela tinha regras.
O problema é que precisava confiar no contexto fornecido pelo usuário.
E isso muda tudo quando saímos de chatbots e começamos a usar agentes capazes de agir.
Enganar um chatbot pode gerar uma resp...
Suggested Credits
Tags, Events, and Projects