O Que Aprendi em 1 Mês Liderando um Time de IA

Destaques

• Vibe coding (usar bem Claude, Codex etc.) já é obrigação básica de mercado; engenharia de IA — criar soluções que usam LLM além de uma frente conversacional — é o que realmente diferencia o desenvolvedor.
• Erro mais comum ao começar: montar arquitetura multiagente antes da hora. A recomendação é começar com um agente só e só desmembrar quando o prompt começar a alucinar por excesso de tokens de contexto. Casos citados: Clube (consórcio de carros) e Fluence (ensino de inglês) começaram multiagente, deu errado, resetaram para um agente único e só depois voltaram a multiagente.
• Nunca colocar dado sensível (como CPF) no prompt nem expor esse dado numa tool de MCP: aconteceu um caso interno em que um time expôs CPF e uma rota de bureau de crédito via MCP, risco grave de vazamento de score de crédito de cliente.
• Prefira chamar API diretamente como ferramenta do próprio agente em vez de subir um servidor MCP, quando só o seu agente vai se conectar; MCP só compensa quando outros agentes ou ferramentas externas também precisam acessar o mesmo catálogo de funções.
• Métrica de qualidade desde a primeira mensagem trocada: tempo de resposta, se cada chamada de ferramenta e de base de conhecimento (RAG) era realmente necessária, aderência ao tom de voz da marca, e custo por resposta (na casa de US$ 0,001) comparado ao retorno gerado.
• Governança via LiteLLM em vez de conectar direto na OpenAI, para rastrear custo por time, ferramenta e modelo; Langflow como camada low-code para que pessoas não técnicas do time (comercial, copywriter) ajustassem prompt e base de conhecimento sem depender de programador.
• Técnica de "memória de fatos": além do histórico bruto da conversa, um mini-agente gera e atualiza, mensagem a mensagem, um resumo das decisões já tomadas (valor pedido pelo cliente, objeções levantadas). Isso fez o agente parar de repetir perguntas e conduzir a negociação de forma mais natural.
• Resultado real do agente Ana em produção, no recorte de clientes de "tripla isenção" (só CNH e biometria, sem vistoria completa do carro): 2.302 clientes atendidos, 634 convencidos — 27% de conversão, contra 38% a 40% do consultor humano —, dos quais 82% seguiram para formalização e 290 fecharam efetivamente o empréstimo.

Profundidade técnica

O recado técnico central foi o mesmo para gestão e para arquitetura: simplicidade que vai para produção rápido vence complexidade especulativa. Ao montar dois times multidisciplinares de IA, o maior ganho não veio de multiagentes, roteamento sofisticado ou infraestrutura de MCP, mas de reduzir a burocracia interna — chamados que levavam três ou quatro dias passaram a levar horas — para poder testar hipóteses, errar e corrigir na velocidade de uma startup. No nível de produto, a decisão de deixar a IA conversar sem pressa com o cliente, ao contrário do consultor humano que cortava o atendimento no primeiro dado divergente para não perder tempo, trocou custo por conversão, e só foi validada porque a equipe media qualidade e custo por resposta desde a primeira interação. A escolha de atacar um recorte estreito do funil (tripla isenção) antes de abrir a IA para toda a base de clientes evitou que uma falha de escala virasse um incêndio incontrolável, e a decisão de arquitetura — um agente único, com ferramentas restritas e nunca com dados sensíveis no prompt — eliminou uma classe inteira de risco de segurança sem precisar de guardrails sofisticados. Liderar um time de IA, na prática, se pareceu menos com desenhar uma arquitetura perfeita e mais com aplicar a mesma disciplina de entrega incremental do desenvolvimento tradicional, agora com métricas de qualidade e custo por resposta no centro de cada decisão.

Faça parte do Clã

Esse relato completo — a arquitetura da Ana, os bastidores da métrica de conversão e as perguntas ao vivo sobre MCP, n8n e segurança — ficou gravado só para quem é do Clã. Entre no Beer and Code Clã Nível 1 e acompanhe os próximos encontros ao vivo.