Comparar contexto longo, RAG e compactação antes de escolher o RLM
Comparar contexto longo, RAG e compactação antes de escolher o RLM
Três alternativas mais simples resolvem boa parte das perguntas de negócio. A decisão fica clara quando se sabe onde cada uma quebra — e quanto custa, em dinheiro e em latência, cada resposta entregue.
Há um padrão que se repete em times de engenharia de IA: a pergunta "como fazer o modelo responder sobre documentos enormes?" é respondida antes de ser feita. Alguém lê sobre uma arquitetura recursiva, se empolga com a promessa de raciocínio em várias camadas e parte direto para o protótipo mais complexo possível. Meses depois, o time descobre que o gargalo não era capacidade de raciocínio, e sim custo por consulta, latência de minutos e variância alta entre execuções.
A ordem correta é a inversa. Antes de adotar um RLM — a arquitetura recursiva que dá nome ao curso RLM 2027 —, vale comparar três alternativas mais simples: contexto longo, RAG (Retrieval-Augmented Generation) e compactação de contexto. Cada uma resolve uma classe diferente de problema, e cada uma tem um ponto de ruptura bem documentado.
O problema real: a conta chega por consulta
Quase toda decisão de arquitetura em sistemas com LLM se reduz a três variáveis que competem entre si:
- Qualidade — a resposta está correta e completa?
- Custo — quanto de contexto (tokens) o modelo precisa processar a cada pergunta?
- Latência — quanto tempo o usuário espera até ver a resposta?
A armadilha é avaliar essas variáveis uma única vez, num teste de laboratório com dez documentos. Em produção, o acervo cresce, é atualizado com frequência e o mesmo sistema é consultado milhares de vezes. É nessa escala que contexto longo, RAG e compactação se separam.
Contexto longo: mandar tudo funciona — até não funcionar
Contexto longo é a estratégia mais direta: coloque os documentos inteiros na janela do modelo e deixe que ele encontre o que importa. Com janelas de centenas de milhares de tokens, isso deixou de ser inviável do ponto de vista técnico.
E há casos em que é genuinamente superior. Como aponta a análise editorial da QUASA sobre RAG versus contexto longo, "enviar documentos inteiros pode melhorar a resposta quando a pergunta depende de relações entre passagens distantes e o conteúdo relevante cabe na janela do modelo". Perguntas do tipo "compare a cláusula 4.2 do contrato A com a cláusula 9 do aditivo B" ou "resuma as divergências entre estes cinco relatórios" são exemplos clássicos: o RAG precisaria recuperar exatamente os trechos certos nas duas pontas, e qualquer erro de recuperação destrói a resposta. Com contexto longo, o material está todo ali.
Onde quebra:
- Custo linear e implacável. Cada consulta reprocessa a mesma massa de tokens. Dez perguntas sobre o mesmo acervo significam dez vezes o custo de entrada.
- Acervo maior que a janela. Quando o corpus não cabe, contexto longo deixa de ser uma opção — vira uma decisão sobre o que colocar dentro.
- Degradação no meio do contexto. Modelos tendem a prestar menos atenção a informações posicionadas no centro de contextos muito longos — o efeito conhecido como "lost in the middle".
- Dados que mudam toda semana. Se o acervo é atualizado com frequência, o reprocessamento integral se torna proibitivo.
RAG: o índice que impede o modelo de se perder
RAG inverte a lógica: em vez de entregar tudo, ele recupera os trechos mais relevantes para aquela pergunta específica e envia apenas eles. O acervo pode ser gigantesco; o que chega ao modelo é pequeno.
A vantagem estrutural é econômica. Para um acervo grande, atualizado com frequência ou consultado muitas vezes, "RAG tende a reduzir o volume enviado por pergunta" — e essa redução se multiplica por todas as consultas do sistema. Um índice bem construído também permite atualizações incrementais: adicionar um documento novo não exige reprocessar nada além dele.
Onde quebra:
- Erro de recuperação é fatal. Se o trecho certo não está no top-k, o modelo não tem como responder. Nenhuma capacidade de raciocínio compensa um índice ruim.
- Perguntas multi-hop. Perguntas que exigem encadear informações de passagens distantes exigem múltiplas rodadas de busca — e cada rodada adiciona latência e pontos de falha.
- Chunking é um compromisso. Trechos pequenos melhoram a precisão da busca e pioram a coesão; trechos grandes fazem o oposto. Não existe tamanho ideal universal.
- Baixo desempenho em consultas que pedem visão global. "Resuma todo o acervo" é uma pergunta para a qual nenhum top-k é suficiente.
Compactação: transformar histórico em memória
A compactação ocupa um espaço diferente das duas anteriores. Ela não decide o que recuperar de um acervo externo, mas o que preservar do que já aconteceu — histórico de conversa, resultados intermediários, conclusões parciais.
Na prática, funciona como uma escada: à medida que o contexto enche, o sistema resume ou extrai os pontos essenciais das etapas antigas, descarta o texto bruto e segue adiante com uma representação mais densa. É a técnica que torna possível uma sessão longa sem estourar a janela e sem custo crescente a cada turno.
Onde quebra:
- Perda irreversível. O que foi descartado não volta. Se a pergunta de hoje depende de um detalhe que o resumo de ontem considerou irrelevante, a informação simplesmente não existe mais.
- Erros se acumulam. Cada compactação é uma nova inferência, sujeita a imprecisões. Resumos de resumos degradam.
- Sem garantia de fidelidade. O modelo pode "suavizar" uma contradição ou omitir uma ressalva que era justamente o ponto crítico.
Comparação lado a lado
| Critério | Contexto longo | RAG | Compactação |
|---|---|---|---|
| Melhor para | Relações entre passagens distantes, acervo que cabe na janela | Acervo grande, atualizado, consultado muitas vezes | Sessões longas, histórico de agente, contexto acumulado |
| Custo por consulta | Alto e constante | Baixo e previsível | Cresce com a sessão, mas desacelera |
| Atualização do acervo | Reenvio integral | Incremental | Não se aplica |
| Modo de falha típico | Distração no meio do contexto | Recuperação errada | Perda de detalhe |
| Latência | Alta, mas em um único passo | Baixa por passo, podendo virar várias rodadas | Adiciona um passo por compactação |
O cálculo que decide: um exemplo ilustrativo
Suponha um acervo hipotético de 2 milhões de tokens e um sistema que recebe 5 mil consultas por dia. Valores concretos variam por provedor e por modelo, mas a estrutura da conta é sempre a mesma:
- Contexto longo puro: cada consulta carrega uma fração do acervo — digamos, 200 mil tokens de entrada. O custo diário é 5.000 × 200 mil tokens, todos os dias, mesmo que 90% do conteúdo seja idêntico entre consultas.
- RAG: cada consulta carrega cerca de 4 mil tokens de trechos recuperados, mais o índice. O volume por pergunta cai em ordens de magnitude — mas o sistema assume o custo fixo de manter o índice e o risco de recuperar o trecho errado.
- Compactação: não reduz o acervo; reduz o histórico. Em um agente que roda 40 passos, ela é a diferença entre estourar a janela no passo 15 e chegar ao fim.
A pergunta que resolve o impasse raramente é "qual dá a melhor resposta no caso mais difícil?". É: "quantas vezes por dia eu pago esse custo?" Se a resposta é "uma vez, num relatório semanal", contexto longo costuma ganhar. Se é "milhares de vezes, com acervo que muda toda semana", RAG ganha por aritmética, não por elegância.
Onde a decisão deixa de ser binária
Na prática, os sistemas maduros combinam as três. O padrão mais comum hoje é:
- RAG como filtro de primeira camada — reduz o universo de documentos de milhões de tokens para alguns milhares.
- Contexto longo como camada de raciocínio — permite que o modelo cruze os trechos recuperados sem perder as relações entre eles.
- Compactação como camada de memória — preserva o fio da conversa ou da execução ao longo de muitos turnos.
Essa composição resolve o grosso dos casos. É também, não por acaso, o desenho que a literatura acadêmica vem descrevendo. O estudo Long Context vs. RAG: Strategies for Processing Long Documents in LLMs, assinado por pesquisadores da Nanyang Technological University, Tsinghua University, University of Illinois Urbana-Champaign e National University of Singapore, entre outros, trata justamente dessa comparação como um problema de estratégia — não de preferência tecnológica. A conclusão implícita é a mesma que a prática sugere: não existe vencedor universal, existe adequação ao formato do acervo e ao padrão de consulta.
Quando o RLM se justifica
Só depois de esgotar essa composição é que a arquitetura recursiva passa a fazer sentido. O RLM — com sua capacidade de decompor um problema em subproblemas, resolvê-los e compor o resultado em camadas — brilha em cenários muito específicos:
- Tarefas genuinamente decomponíveis, em que o resultado de uma etapa é entrada de outra e não há como saber a estrutura completa de antemão.
- Problemas que exigem exploração, em que o caminho até a resposta não é uma recuperação, mas uma busca iterativa com ramificações.
- Verificação multi-etapa, em que cada passo precisa ser auditado antes do seguinte.
Fora desses casos, o custo é conhecido e alto: como o próprio material do curso RLM 2027 reconhece, a divisão por condicionante pode funcionar bem em ambiente controlado, mas "um protótipo recursivo cobra engenharia, latência de minutos e variância alta" — e "antes de adotá-lo", vale perguntar se uma alternativa mais simples não resolve o mesmo problema. Latência de minutos raramente é aceitável em produto. Variância alta significa que a mesma pergunta pode produzir respostas diferentes, o que complica testes, suporte e confiança do usuário.
Checklist antes de escrever a primeira linha de código
- O acervo cabe na janela? Se sim e a pergunta exige cruzamento de passagens, comece por contexto longo.
- Quantas consultas por dia o sistema recebe? Volume alto favorece RAG.
- Com que frequência o acervo muda? Atualizações frequentes favorecem indexação incremental.
- A pergunta exige visão global ou recuperação pontual? Global pede contexto longo ou sumarização hierárquica; pontual pede RAG.
- Há sessão longa ou agente com muitos passos? Então a compactação entra no desenho, independentemente da escolha anterior.
- Só depois de responder tudo isso: a tarefa é realmente decomponível e iterativa a ponto de justificar um RLM?
Conclusão
A escolha entre contexto longo, RAG e compactação não é uma disputa sobre qual técnica é mais avançada. É uma decisão de engenharia sobre forma do dado, padrão de consulta e orçamento. Contexto longo compra qualidade com custo recorrente; RAG compra escala com risco de recuperação; compactação compra continuidade com perda de detalhe. Nenhuma delas é gratuita e todas são previsíveis — o que é uma vantagem enorme em relação a um protótipo recursivo, cujo comportamento é justamente o mais difícil de prever.
O RLM tem seu lugar. Mas esse lugar vem depois, não antes. Times que começam pela arquitetura mais elaborada costumam gastar o orçamento de engenharia resolvendo problemas que um índice bem construído teria evitado. Times que começam pelo mais simples descobrem, com dados reais em mãos, exatamente onde a fronteira está — e aí sim sabem se precisam de recursão ou apenas de um chunking melhor.
Comparar antes de escolher não é conservadorismo. É o que separa um sistema que escala de um protótipo que impressiona na demonstração.