RAG na Prática: Como Deixei as Respostas do VirguIA Muito Melhores

Destaques

• Pipeline de conhecimento do VirguIA: todas as aulas do Beer and Code foram transcritas localmente com Whisper (RTX 4080 Ti) em segmentos JSON, depois quebradas em chunks de 800 caracteres com overlap de 400 caracteres antes de virarem embeddings — a estratégia que Claudião chamou de padrão de mercado para cerca de 95% dos casos.
• A primeira versão do VirguIA (n8n + Postgres/pgvector) alucinava porque a busca vetorial simples, sem reranking, trazia 10 a 30 chunks ruidosos para o agente raciocinar em cima — exemplo citado: uma pergunta sobre GitHub Actions retornava aulas de deploy genéricas.
• Migração da base de embeddings para o Vector Store da OpenAI com a tool file search: reduziu o tempo de resposta de 2-3 minutos para segundos porque a OpenAI já resolve enriquecimento de query, busca vetorial e reranking dentro da própria ferramenta hospedada (o que os participantes chamaram de programmatic tool calling).
• Reranking foi tema recorrente: Cohere (citado como "Correre") funciona mal com queries cruas do usuário e funciona melhor quando uma LLM primeiro reescreve a query; Jina foi apontado por Luciano como alternativa superior em qualidade e janela de contexto.
• Observabilidade com Openlayer (usada na Creditas) permite rastrear passo a passo cada chamada do agente, medir de 0 a 1 se os documentos recuperados de fato respondiam à pergunta do usuário, e identificar a origem exata de uma alucinação (caso citado: prazo de empréstimo inventado em 45 meses).
• VirguIA passou a usar "skills" (chamadas de ferramenta que retornam prompts especializados por intenção, ao estilo Claude Code) em vez de empurrar tudo para o prompt principal, o que enxugou o prompt e gerou salto de qualidade mensurável.
• Guardrails de saída e regras de transbordo (escalonamento para humano) foram discutidos como necessários em domínios regulados: revalidar contra o banco antes de responder custa latência e dinheiro, mas evita respostas inventadas em contexto financeiro.
• Para agentes de venda/pedido (SKU, estoque), a recomendação foi busca híbrida: tentar busca determinística (LIKE, BM25/Elasticsearch) primeiro para termos exatos e cair para busca semântica só quando a query é vaga, além de usar uma LLM pequena para normalizar pedidos ruidosos (abreviações como "FD" e "GL") em JSON estruturado antes da busca.

Profundidade técnica

O fio condutor da aula foi mostrar que a qualidade de um RAG nasce na construção da base de conhecimento, não na query: chunks de 800 caracteres com overlap de 400 foram apresentados como a estratégia mais robusta e barata frente a alternativas mais sofisticadas, como compactação semântica via LLM (barata só quando o conteúdo é estático, como aulas gravadas) e bases em grafo de embeddings (mais úteis quando documentos se referenciam e se invalidam entre si, como legislação). A virada de qualidade do VirguIA veio da recuperação, não do armazenamento: trocar uma busca vetorial simples por uma pipeline com reranking (Cohere vs Jina) e, principalmente, migrar para o Vector Store + file search da OpenAI, que já embute enriquecimento de query e reranking hospedados, cortando latência de minutos para segundos a um custo baixo (cerca de US$0,30/dia dado o volume de uso do VirguIA, mas estimado em milhares de dólares/mês se fosse linha de frente com clientes). Do lado da confiabilidade, o grupo debateu trade-offs de custo x qualidade em memória de conversa (soluções de mercado como Mem0/Zep fazem memória semântica por sessão, mas a Creditas optou por compactação própria em JSON por restrição de compliance), reforço de raciocínio em modelos recentes (GPT-5.5, Claude 4.6/4.7) com passos de autocrítica antes de responder, e a dificuldade ainda em aberto de cache para RAG, já que inputs de usuário raramente se repetem de forma cacheável.

Faça parte do Clã

Esse nível de troca técnica — com gente rodando IA em produção puxando exemplos reais de Creditas, e-commerce e consórcio — é exclusivo dos encontros ao vivo do Clã. Participe: Beer and Code Clã Nível 1