O Que Aprendi em 1 Mês Liderando um Time de IA

Destaques

• Vibe coding (usar bem Claude, Codex etc.) já é obrigação básica de mercado; engenharia de IA — criar soluções que usam LLM além de uma frente conversacional — é o que realmente diferencia o desenvolvedor.
• Erro mais comum ao começar: montar arquitetura multiagente antes da hora. A recomendação é começar com um agente só e só desmembrar quando o prompt começar a alucinar por excesso de tokens de contexto. Casos citados: Clube (consórcio de carros) e Fluence (ensino de inglês) começaram multiagente, deu errado, resetaram para um agente único e só depois voltaram a multiagente.
• Nunca colocar dado sensível (como CPF) no prompt nem expor esse dado numa tool de MCP: aconteceu um caso interno em que um time expôs CPF e uma rota de bureau de crédito via MCP, risco grave de vazamento de score de crédito de cliente.
• Prefira chamar API diretamente como ferramenta do próprio agente em vez de subir um servidor MCP, quando só o seu agente vai se conectar; MCP só compensa quando outros agentes ou ferramentas externas também precisam acessar o mesmo catálogo de funções.
• Métrica de qualidade desde a primeira mensagem trocada: tempo de resposta, se cada chamada de ferramenta e de base de conhecimento (RAG) era realmente necessária, aderência ao tom de voz da marca, e custo por resposta (na casa de US$ 0,001) comparado ao retorno gerado.
• Governança via LiteLLM em vez de conectar direto na OpenAI, para rastrear custo por time, ferramenta e modelo; Langflow como camada low-code para que pessoas não técnicas do time (comercial, copywriter) ajustassem prompt e base de conhecimento sem depender de programador.
• Técnica de "memória de fatos": além do histórico bruto da conversa, um mini-agente gera e atualiza, mensagem a mensagem, um resumo das decisões já tomadas (valor pedido pelo cliente, objeções levantadas). Isso fez o agente parar de repetir perguntas e conduzir a negociação de forma mais natural.
• Resultado real do agente Ana em produção, no recorte de clientes de "tripla isenção" (só CNH e biometria, sem vistoria completa do carro): 2.302 clientes atendidos, 634 convencidos — 27% de conversão, contra 38% a 40% do consultor humano —, dos quais 82% seguiram para formalização e 290 fecharam efetivamente o empréstimo.