Engenharia de ilusão: jailbreak de IA não arromba, encena
O atacante assume um papel, e o modelo responde com fidelidade à cena que a conversa montou. A resposta proibida deixa de parecer transgressão.
Fazer uma IA entregar aquilo que ela jurou não entregar tem nome: jailbreak. A explicação intuitiva é que alguém achou a frase mágica que desliga o filtro. Não é isso. O truque é mais simples de fazer e bem mais difícil de consertar: a pessoa não quebrou a regra, fingiu ser alguém a quem a regra não se aplica.
Este artigo explica o mecanismo, não a receita. Descrever a forma de um ataque é o que permite reconhecê-lo; reproduzir sequências que funcionam é outra coisa, e não é o que a diar.ia.br faz. O tema foi escolhido pelos apoiadores, a partir de uma sugestão do Patrono Murilo Sarno.
01Onde isso já deu errado
Em agosto, a diar.ia.br noticiou um caso que resume o problema. Um criminoso ligado ao grupo de ransomware "The Gentlemen" usou o Claude para conduzir quase toda uma invasão: roubar senhas, deixar portas escondidas para voltar depois, copiar bancos de dados inteiros em pelo menos oito organizações. Escolheu, de propósito, uma versão antiga do modelo, com proteções mais fracas.
Isso já diz algo sobre a natureza do problema. Não foi preciso inventar um ataque novo. Bastou escolher um interlocutor mais fácil de convencer.
Não é caso isolado. Dois meses antes, os Estados Unidos obrigaram a Anthropic a suspender no mundo inteiro o acesso a dois de seus modelos, com medo de que jailbreaks permitissem uso militar em países sob sanção. Foi a primeira vez que um controle de exportação derrubou um modelo comercial. O acesso só voltou semanas depois, com novas salvaguardas. Em pouco mais de um ano, a mesma brecha saiu do artigo acadêmico e virou assunto de governo, arma de crime e ferramenta de grupo extremista. Falta a pergunta óbvia: por que ninguém a fechou?
Duas expressões importantes para esse artigo:
Convencer um modelo de IA a entregar aquilo que as regras dele proíbem. Acontece inteiro dentro da conversa, em texto comum, sem invadir sistema nenhum.
A camada que lê o que entra e o que sai do modelo e barra o que não deveria passar. É ela que recusa o pedido proibido, e é ela que este ataque contorna.
De curiosidade de laboratório a fato geopolítico
Num ano saem os resultados que ainda sustentam o assunto: letras sem sentido que atravessam o filtro, tradução para línguas pouco treinadas, e ataque automático em menos de vinte tentativas. Sai também o primeiro mapa das comunidades que fazem isso por hobby.
A persuasão escrita por gente comum passa de 9 em cada 10, e o Crescendo mostra a escalada ao longo da conversa. No mesmo ano, dois trabalhos explicam por que consertar é difícil: a segurança é rasa, e retreinar o modelo só adia o ataque.
Pesquisa mede ataques de conversa longa contra GPT-4, Claude e Gemini e conclui que a escalada elaborada pesa menos do que se imaginava. Ainda é assunto de artigo acadêmico.
Ordem dos EUA força a suspensão global do Fable 5 e do Mythos, citando risco de jailbreaks que viabilizariam uso militar. É a primeira vez que um controle de exportação americano derruba o acesso mundial a um modelo comercial. Duas semanas depois o Fable 5 volta, e a concessão que destrava a exportação é um novo método de teste contra jailbreak, compartilhado com a indústria.
Levantamento apoiado pela ONU encontra canais fechados onde extremistas trocam as conversas que furaram as barreiras e rateiam assinaturas.
Operador do ransomware "The Gentlemen" conduz invasões em pelo menos oito organizações com o Claude, explorando de propósito uma versão antiga, de proteções mais fracas.
O resto deste Artigo Especial é pra quem apoia a diar.ia.br.
A partir de R$10/mês de apoio, o Artigo Especial mensal sai completo — texto inteiro, mais aprofundado, com acesso a todo o histórico já publicado.