Evasion-Attacks auf LLMs –Gegenmaßnahmen in der Praxis
Evasion Attacks em LLMs: o guia do BSI para blindar sistemas de IA contra prompt injections, jailbreaks e ataques adversariais
Um documento técnico do Escritório Federal de Segurança da Informação da Alemanha (BSI) transforma um dos temas mais escorregadios da segurança de IA em um roteiro prático — e cronológico — de endurecimento de sistemas baseados em grandes modelos de linguagem.
Pouco mais de dois anos depois de os grandes modelos de linguagem (LLMs) saírem dos laboratórios de pesquisa para o centro das operações corporativas, o problema deixou de ser "o que a IA pode fazer" e passou a ser "o que alguém pode fazer com a IA da sua empresa". A resposta mais estruturada vinda do setor público até agora tem endereço em Bonn: o Bundesamt für Sicherheit in der Informationstechnik (BSI), a autoridade federal alemã de segurança da informação, publicou o guia "Evasion Attacks on LLMs – Countermeasures in Practice", com uma versão em alemão intitulada "Evasion-Attacks auf LLMs – Gegenmaßnahmen in der Praxis", registrada na versão 1.0.
O material não é um artigo acadêmico sobre as fragilidades teóricas de redes neurais. É um manual de operações: um guia para lidar com injeção de prompt, jailbreaks e ataques adversariais, complementado por uma checklist de endurecimento do sistema de LLM, organizada em três blocos e pensada para ser percorrida em ordem cronológica — do entendimento conceitual à operação contínua.
O que são, afinal, evasion attacks contra LLMs
O termo "evasão" vem do vocabulário clássico de segurança de machine learning: trata-se de manipular a entrada de um sistema para que ele produza uma saída que o operador não pretendia — sem necessariamente invadir a infraestrutura. No caso dos LLMs, o vetor é a própria linguagem. O guia do BSI trabalha com três famílias principais de ataque, que na prática se combinam.
Prompt Injection
A injeção de prompt explora uma característica estrutural dos LLMs: eles processam instruções e dados no mesmo canal de texto. Não existe, no nível do modelo, uma fronteira rígida entre "isto é uma ordem do desenvolvedor" e "isto é conteúdo que o usuário colou".
- Injeção direta: o próprio usuário insere instruções que subvertem o comportamento pretendido — por exemplo, pedindo ao assistente que ignore suas regras de escopo e revele o conteúdo do system prompt.
- Injeção indireta: a instrução maliciosa chega por uma fonte que o modelo consome automaticamente — uma página web que o agente visita, um PDF anexado, um e-mail resumido, um ticket de suporte, um resultado de busca. É a variante mais perigosa em arquiteturas com retrieval-augmented generation (RAG) e em agentes com acesso a ferramentas.
A injeção indireta é o que faz a escalada de impacto: se o modelo tem permissão de executar ações — enviar e-mails, chamar APIs internas, consultar bancos de dados —, um texto malicioso plantado em um documento aparentemente inofensivo pode se converter em um comando.
Jailbreaks
Jailbreak é a busca por contornar as salvaguardas de conteúdo do modelo: role-play elaborado, cenários hipotéticos, fragmentação da solicitação em etapas aparentemente inocentes, trocas de idioma, codificações alternativas, pressão conversacional. Diferente da injeção de prompt clássica, o objetivo aqui é fazer o modelo abandonar suas próprias políticas — e, em contextos corporativos, isso costuma ser o passo inicial para extrair informação sensível ou produzir material que a organização não pode se permitir gerar.
Ataques adversariais
A terceira família opera em um nível mais próximo do modelo: perturbações cuidadosamente construídas — inclusive sequências de caracteres aparentemente sem sentido — desenhadas para desviar a classificação ou o comportamento do sistema. Em pipelines com filtros automáticos, classificadores de segurança ou detecção de toxicidade, o ataque adversarial pode servir tanto para derrubar o filtro quanto para fazer o modelo real interpretar algo diferente do que o filtro viu.
Por que a arquitetura torna o problema persistente
O guia parte de uma constatação desconfortável: não existe "patch" definitivo. Modelos de linguagem são sistemas probabilísticos, treinados para seguir instruções e ser úteis — duas propriedades que são, elas mesmas, a superfície de ataque. Enquanto a entrada for linguagem natural e o modelo não distinguir formalmente origem e confiança de cada trecho recebido, a injeção de prompt permanece uma possibilidade estrutural, não um bug pontual.
Some-se a isso a realidade dos deployments corporativos: LLMs raramente operam sozinhos. Eles são cercados por orquestradores, conectores, bases vetoriais, plugins e agentes com permissões. Cada componente adiciona um caminho possível entre "texto controlado por terceiros" e "ação executada com credenciais da empresa".
A checklist do BSI: três blocos, uma sequência
A contribuição mais útil do documento é metodológica. Em vez de uma lista solta de recomendações, o BSI propõe uma checklist estruturada, dividida em três áreas e pensada para ser percorrida em ordem. A lógica é explícita: primeiro, construir entendimento; depois, agir sobre o sistema; por fim, sustentar o resultado ao longo do tempo.
- Entendimento e fundamentos. Compreender o que é um LLM, o que são evasion attacks e quais contramedidas existem — apoiado em exemplos práticos e reais. Sem esse passo, as medidas técnicas viram rituais sem critério de eficácia.
- Härtung — o endurecimento do sistema. A aplicação concreta das medidas sobre a arquitetura: limites de confiança, isolamento de contexto, controle de ferramentas e permissões, filtragem de entrada e de saída.
- Operação contínua. Monitoramento, testes adversariais periódicos, resposta a incidentes e atualização do processo — porque o modelo, os conectores e as técnicas de ataque mudam.
Contramedidas na prática: defesa em profundidade
Nenhuma medida isolada resolve o problema — e o guia é enfático quanto a isso. O caminho é a sobreposição de camadas, de modo que a falha de uma não signifique o comprometimento total.
1. Trate toda entrada como não confiável
Conteúdo de usuários, documentos recuperados por RAG, resultados de ferramentas, páginas web e e-mails devem ser tratados como dados — nunca como instruções. Na prática, isso significa separar explicitamente, na construção do prompt, o bloco de instruções do sistema e o bloco de conteúdo externo, com delimitadores claros, e reforçar no system prompt que o material delimitado não contém comandos legítimos.
2. Princípio do menor privilégio para agentes e ferramentas
Se o modelo não precisa de acesso de escrita ao CRM, ele não deve tê-lo. Permissões devem ser concedidas por ferramenta, por escopo e por sessão, com credenciais de curta duração. Ações irreversíveis — enviar, apagar, transferir, executar — merecem confirmação humana explícita. O BSI enquadra o human-in-the-loop não como muleta, mas como controle de segurança projetado.
3. Filtragem de entrada e validação de saída
Classificadores de entrada podem sinalizar padrões conhecidos de injeção e jailbreak; validação de saída pode detectar vazamento de dados sensíveis, conteúdo fora de política ou chamadas de ferramenta inconsistentes com o contexto. A ressalva é importante: filtros são contornáveis por ataques adversariais e por reformulações criativas. Eles reduzem volume e elevam o custo do ataque — não substituem as demais camadas.
4. Isolamento e sandboxing
Execução de código gerado pelo modelo, navegação web e processamento de arquivos devem ocorrer em ambientes isolados, com rede e sistema de arquivos restritos. A separação de contextos entre sessões, usuários e tenants evita que um conteúdo injetado em um fluxo contamine outro.
5. Proteção do system prompt e das instruções internas
Assuma que o conteúdo do system prompt pode vazar e não coloque ali segredos, chaves ou regras de negócio críticas que não sobreviveriam à exposição. A autorização real deve estar no código e na infraestrutura, não em uma frase de instrução que o modelo pode ser convencido a ignorar.
6. Observabilidade e registro
Log de prompts, respostas, chamadas de ferramentas e decisões de filtro é o que permite detectar comportamento anômalo, reconstruir incidentes e provar conformidade. Sem telemetria, um ataque bem-sucedido tende a parecer uso normal do sistema.
7. Testes adversariais contínuos
Red teaming de LLM — incluindo exercícios de injeção indireta em documentos, e-mails e bases de conhecimento — deve entrar no ciclo de vida do produto, e não apenas no lançamento. Cada novo conector, cada nova ferramenta e cada atualização de modelo altera a superfície de ataque.
Do técnico ao organizacional
O guia do BSI não se limita a controles de engenharia. A checklist pressupõe governança: papéis e responsabilidades definidos para o sistema de IA, inventário de modelos e integrações, política de uso aceitável, treinamento de desenvolvedores e de usuários, e um processo de resposta a incidentes que contemple a especificidade de um vazamento via prompt.
Esse enquadramento dialoga com o que já se consolidou no mercado — o OWASP Top 10 for LLM Applications, com a injeção de prompt no topo da lista, e frameworks como o MITRE ATLAS — e com o avanço regulatório. Na União Europeia, o AI Act e as obrigações de segurança de produtos digitais tornam a documentação de medidas de mitigação não apenas boa prática, mas exigência demonstrável.
Conclusão: segurança de LLM é processo, não configuração
A mensagem central do documento é desconfortável e, por isso mesmo, valiosa: não existe estado final de "LLM seguro". Existe um sistema cuja exposição é gerenciada continuamente, com camadas sobrepostas, privilégios mínimos, confirmação humana onde o erro é caro e vigilância permanente sobre o que entra e o que sai do modelo.
Para as organizações que já colocaram LLMs em produção — ou estão a ponto de —, a checklist do BSI oferece algo raro: uma sequência defensável de trabalho, com começo, meio e manutenção. Entender os ataques, endurecer o sistema, operar com monitoramento. Nessa ordem. E, depois, recomeçar, porque o próximo documento anexado à base de conhecimento pode não ser tão inofensivo quanto parece.
Referência: Bundesamt für Sicherheit in der Informationstechnik (BSI) — Evasion-Attacks auf LLMs – Gegenmaßnahmen in der Praxis / Evasion Attacks on LLMs – Countermeasures in Practice, versão 1.0 (editor T 25). Bonn, Alemanha. Contato: ki-kontakt@bsi.bund.de — https://www.bsi.bund.de