Your agent re-reads its own manual on every call | Chanl Blog | Chanl
Seu agente relê o próprio manual a cada chamada: o desperdício invisível de tokens na era dos LLMs
Um relatório da Datadog revela que 69% dos tokens de entrada vão para system prompts — mas apenas 28% das chamadas usam cache. O diagnóstico de um problema que corrói custos, latência e escalabilidade dos agentes de IA.
Introdução: o manual que ninguém memoriza
Imagine um funcionário exemplar que, a cada nova tarefa, para tudo e relê do zero o manual de conduta da empresa. Ele conhece as regras, mas insiste em reconstruí-las mentalmente antes de cada pequena decisão. Parece irracional? Pois é exatamente isso que a maioria dos agentes de IA baseados em LLMs fazem hoje — e o custo disso é astronômico.
O alerta vem do State of AI Engineering Report 2026, da Datadog, que trouxe um dado perturbador: 69% de todos os tokens de entrada consumidos por aplicações com LLM são gastos em system prompts. Ou seja: mais de dois terços do "combustível" dos agentes é consumido para dizer à mesma máquina, repetidas vezes, quem ela é e como deve se comportar. Para piorar, apenas 28% das chamadas de LLM usam prompt caching — a técnica que permitiria reaproveitar esse conteúdo estático entre requisições.
O quadro foi analisado por Dean Grover, cofundador da Chanl, em artigo publicado em maio de 2026, sob um título cirúrgico: "Your agent re-reads its own manual on every call". A metáfora resume não apenas um desperdício financeiro, mas uma falha de arquitetura que afeta latência, consistência e escalabilidade de produtos inteiros. Neste artigo, exploramos as causas do problema, o funcionamento do prompt caching, a tendência de modularização dos system prompts e o caminho para diagnosticar e corrigir o desperdício — sem reescrever seu agente do zero.
O que são, afinal, esses 69% de tokens?
Para entender o problema, é preciso olhar para dentro de um system prompt moderno. Ele não é apenas a frase singela "You are a helpful assistant". Nos agentes atuais, o system prompt acumulou uma série de responsabilidades:
- Identidade e persona do agente ("Você é um analista financeiro sênior da empresa X...");
- Regras de negócio e restrições rígidas ("Nunca mencione concorrentes"; "Sempre cite fontes");
- Descrições de ferramentas (tools) disponíveis ao modelo, com esquemas JSON extensos;
- Exemplos few-shot, que podem ocupar páginas inteiras;
- Contexto de RAG e diretrizes de formatação;
- Instruções de segurança e conformidade.
Não é de se estranhar que artigos como o do desenvolvedor chinês 敖正炀, publicado em maio de 2026 no portal 掘金, classifiquem o system prompt como a "especificação de software" da aplicação de LLM — o contrato que conecta os requisitos de negócio à capacidade bruta do modelo. É um documento essencial, mas que, na maioria das implementações, é enviado integralmente em todas e cada uma das chamadas à API.
Cada pergunta do usuário, cada passo intermediário de raciocínio, cada chamada a uma ferramenta: tudo carrega, de novo, o manual completo. O resultado é uma conta alta, uma latência maior e um uso ineficiente de janelas de contexto que, ironicamente, poderiam estar sendo dedicadas ao conteúdo que realmente importa — a pergunta do usuário.
Por que os system prompts cresceram até virar monólitos
A explicação é quase darwiniana. No início de qualquer projeto de IA, existe um arquivo inofensivo chamado system_prompt.txt. Ele começa com uma instrução simples. Depois, alguém adiciona uma regra de tom de voz. Em seguida, a equipe jurídica pede uma cláusula de conformidade. Depois, o time de produto solicita um exemplo de resposta. Meses depois, ninguém sabe exatamente o que está lá dentro, mas todos têm medo de remover qualquer linha — porque "pode quebrar o comportamento".
O desenvolvedor Mehmet Erturk, em artigo de março de 2026, descreve esse padrão com precisão: os system prompts simplesmente não escalam. À medida que o agente ganha ferramentas, casos de uso e exigências regulatórias, o arquivo monolítico se transforma em um Frankenstein textual — difícil de versionar, impossível de testar isoladamente, e custoso de enviar repetidamente.
Erturk propõe uma alternativa: a "Arquitetura de Habilidades" (Skills Architecture), na qual as instruções do agente são estruturadas como nós modulares e versionados de um grafo, armazenados em banco de dados. Em vez de um único texto gigante, cada "habilidade" (responder dúvidas de faturamento, executar cálculos, redigir e-mails) tem seu próprio bloco de instruções, carregado apenas quando necessário.
Essa mudança tem três consequências diretas:
- Redução de tokens por chamada — só entra no contexto o que aquela tarefa exige;
- Manutenibilidade — cada bloco pode ser editado, testado e versionado independentemente;
- Personalização dinâmica — diferentes usuários ou fluxos recebem diferentes combinações de habilidades.
O mesmo raciocínio aparece no texto chinês sobre engenharia de prompt: tratar o system prompt como "software spec" implica aplicar a ele práticas de engenharia de software — modularização, versionamento, testes e revisão contínua. Não é à toa que a expressão "monolithic system prompt" virou praticamente um antídoto a ser combatido.
Como o prompt caching muda o jogo
Aqui entra o dado mais revelador da pesquisa da Datadog: apenas 28% das chamadas usam prompt caching. Historicamente disponibilizado por provedores como Anthropic (com seu prompt caching) e, de forma semelhante, pelos mecanismos de cache automático de outros provedores, esse recurso permite que trechos estáticos do prompt — como o próprio system prompt — sejam processados uma vez e reutilizados em chamadas subsequentes.
O mecanismo, em linhas gerais, funciona assim: o provedor armazena o estado interno (o KV cache, no jargão técnico) correspondente aos tokens iniciais do prompt. Se a próxima requisição começar com o mesmo prefixo, o modelo pula a fase de "releitura" e retoma o processamento a partir do novo conteúdo. O efeito prático é triplo:
- Redução de custo — tokens em cache costumam ter preço significativamente menor que tokens processados do zero;
- Redução de latência — a resposta começa a ser gerada mais cedo, o que é crucial em agentes que fazem múltiplas chamadas em cadeia;
- Estabilidade — prompts longos e complexos deixam de ser um gargalo para escalar o produto.
O problema é que o cache exige disciplina de design. Para funcionar bem, o conteúdo estático deve vir sempre no início do prompt, sem variações que invalidem o prefixo — como timestamps, IDs aleatórios ou instruções personalizadas intercaladas ao longo do texto. Um único token diferente no começo derruba o cache inteiro. E é justamente essa fragilidade que explica por que tantas equipes desistem ou nunca chegam a implementar o recurso.
Diagnóstico: como saber se você tem esse problema
Antes de complexas refatorações, é possível diagnosticar o desperdício com relativa simplicidade. Grover sugere um roteiro que pode ser resumido em quatro passos:
-
Meça a proporção de tokens de system prompt por chamada. Ferramentas de observabilidade de LLM (como LangSmith, Helicone, Phoenix e a própria Datadog) permitem visualizar, por requisição, quanto do input é instrução fixa e quanto é conteúdo dinâmico. Se essa fatia passar de 40%, acenda o alerta.
-
Verifique a taxa de acerto de cache. Se o provedor expõe métricas de
cache_read_input_tokensou similares, compare com o total de tokens de entrada. Uma taxa baixa indica que o prefixo está sendo invalidado com frequência. -
Audite o prompt em busca de "ruído dinâmico". Procure por data/hora no início, IDs de sessão, nomes de usuário intercalados, exemplos few-shot aleatorizados por chamada. Qualquer elemento volátil antes do conteúdo estável destrói o cache.
-
Mapeie o ciclo de vida do prompt. Quem edita, quando e com qual frequência? Prompts versionados manualmente em arquivos
.txtcostumam acumular instruções redundantes e contraditórias — sintoma clássico do monólito.
Como corrigir sem reescrever o agente
A boa notícia é que, na maioria dos casos, não é necessário reescrever o agente. O caminho da correção passa por mudanças cirúrgicas que preservam a lógica de negócio.
1. Reorganize o prompt em camadas de volatilidade
A regra de ouro do prompt caching é: do mais estável para o mais volátil. Comece com o system prompt fixo, depois as descrições de ferramentas, depois o contexto recuperado por RAG e, por fim, a pergunta do usuário. Nunca insira dados dinâmicos no meio das instruções fixas.
2. Adote a arquitetura de habilidades
Em vez de um único bloco monolítico, decompose as instruções em módulos carregados condicionalmente. Se o agente vai responder uma dúvida sobre faturas, ele não precisa carregar as regras de redação de e-mails de marketing. Cada módulo é um nó versionado, com escopo claro e ciclo de vida próprio — exatamente como propõe a Skills Architecture.
3. Versione e teste o prompt como código
Trate o system prompt como um artefato de software: armazene em repositório, submeta a code review, escreva testes de regressão comportamental e monitore métricas de qualidade após cada alteração. A analogia da "especificação de software" só faz sentido se for levada a sério.
4. Ative o cache de forma consciente
Habilite o prompt caching no provedor, defina um TTL adequado ao seu padrão de tráfego e monitore regularmente a taxa de acerto. Lembre-se: cache não é um interruptor "ligar e esquecer" — é uma propriedade emergente do design do prompt.
5. Meça o antes e o depois
Instrumente o agente com métricas de tokens por chamada, custo por sessão, latência p50/p95 e taxa de acerto de cache. Só assim é possível provar o ganho e justificar a manutenção da disciplina arquitetural no longo prazo.
O que está em jogo (e por que isso importa agora)
A leitura superficial do dado da Datadog pode levar à conclusão de que se trata apenas de economia de centavos. Mas o problema é mais profundo. Em primeiro lugar, custo escala com uso: um agente que atende dez usuários pode tolerar ineficiência; um que atende dez mil, não. Em segundo, latência compõe: agentes fazem múltiplas chamadas por tarefa, e cada releitura do manual adiciona segundos que se acumulam na experiência final. Em terceiro, contexto é finito: cada token gasto repetindo instruções é um token a menos para o conteúdo que realmente importa.
Há ainda uma dimensão estratégica. À medida que agentes se tornam infraestrutura crítica — atendendo clientes, executando transações, tomando decisões —, a qualidade arquitetural dos prompts deixa de ser um detalhe de engenharia e passa a ser um fator de confiabilidade e governança. Prompts monolíticos, não versionados e sem cache são, nesse cenário, o equivalente a código de produção sem testes, sem CI/CD e sem monitoramento.
A convergência de três fontes independentes — o relatório da Datadog, a análise da Chanl sobre caching e as propostas de modularização vindas de comunidades de engenharia na China e no Ocidente — aponta para a mesma direção: o system prompt precisa deixar de ser um arquivo e passar a ser um sistema. Modular, versionado, cacheável e observável.
Conclusão: pare de reler o manual
A imagem do funcionário que relê o manual a cada tarefa é cômica justamente porque é absurda. Nenhuma empresa séria operaria assim. No entanto, é exatamente esse o padrão que domina a engenharia de agentes de IA em 2026: 69% dos tokens de entrada dedicados a instruções fixas, e apenas 28% das chamadas aproveitando cache.
A correção não exige reescrever o agente. Exige disciplina de arquitetura: reorganizar o prompt em camadas de volatilidade, decompor instruções em habilidades modulares, versionar o que hoje vive em arquivos soltos, ativar o cache com critério e medir obsessivamente o antes e o depois. As ferramentas existem, os padrões estão documentados e os dados — cortesia da Datadog — são claros o suficiente para tirar qualquer equipe da inércia.
O próximo salto de eficiência dos agentes não virá de um modelo maior ou mais caro, mas da decisão engenheira de parar de reler o próprio manual a cada chamada. Quem internalizar essa lição primeiro terá agentes mais rápidos, mais baratos e — acima de tudo — mais confiáveis. Quem não internalizar continuará pagando, token a token, pela releitura infinita de um manual que o modelo já conhece de cor.