AI Engineering Lab — Harness Engineering com Claude Code

Destaques

• Harness dividido em três camadas trabalhadas na prática: conhecimento (guidelines, skills, especificação/SDD, memória de longo prazo), capacidade (tools, sub-agentes, hooks, MCP, permissões de sandbox) e feedback (testes, observabilidade)
• Diferença aplicada entre guideline (sempre injetada no contexto) e skill (carregada sob demanda, só nome e descrição ficam na janela até o modelo decidir usá-la)
• MainZero (mem0) configurado como memória persistente entre projetos via MCP; Serena apresentado como indexação semântica de código para busca mais precisa pelo agente
• Dois sub-agentes construídos com contexto zerado e modelo mais barato: test-runner (roda a suíte Pest e devolve resumo compacto) e security-auditor (audita rate limit, autorização e regras de acesso das rotas de API)
• Comandos slash customizados (/review-phases, /test-runner) e um Ralph loop próprio (ralph.sh) que lê docs/project-phases.md, quebra por fase e executa cada uma com contexto resetado, notificando progresso via n8n/WhatsApp
• API Worthly construída com Laravel Sail, Boost e Pest: 6 fases, 56 testes, aplicativo inteiro gerado em 47 minutos e 50 segundos rodando durante o almoço
• Dia 2: app mobile NativePHP integrado consumindo o OpenAPI da API existente, reaproveitando as mesmas guidelines do projeto sem copiar documentação entre repositórios
• Pipeline de harness para a integração de IA em si: enriquecimento de query, retrieval determinístico via API, reranking, deduplicação e validação de fonte, aplicação de diversidade, geração de resposta e persistência — tudo em PHP puro com chamadas de API, sem o modelo gerando SQL

Profundidade técnica

O núcleo teórico do lab foi engenharia de contexto: mesmo com janelas de 200 mil a 1 milhão de tokens, a atenção do modelo degrada de forma não linear (efeito lost in the middle, custo quadrático de atenção), e a faixa ótima de trabalho apontada foi de 40 a 50 mil tokens — acima disso a qualidade do output cai antes mesmo de disparar compactação automática. Daí práticas concretas: escrever guidelines em inglês (economia relatada de até 30% de tokens), evitar guidelines/skills/sub-agentes redundantes ou conflitantes (sinal de alerta citado: mais de cinco ou seis sub-agentes já indica complexidade desnecessária), e usar o Ralph loop justamente para resetar o contexto a cada fase de desenvolvimento em vez de deixar uma sessão longa se deteriorar. Do lado de integração de IA, o ponto central foi não confiar no modelo para gerar SQL ou decisões livres sobre dados sensíveis — function calling com queries determinísticas (parametrizadas, mas com SQL fixo) evita alucinação e ainda expõe telemetria de custo por etapa do pipeline. Segurança e governança também entraram como trade-off real, não hipotético: um caso relatado ao vivo de um Claude Code automatizado via webhook que, sem supervisão, disparou mais de 40 mil mensagens a clientes em 4 horas reforçou a necessidade de hooks bloqueando leitura de .env e ações fora de ambiente controlado. Em custo, rodar o harness completo do dia 1 (especificação + Ralph loop) consumiu cerca de 36% de um plano Claude Max; uma feature adicional no pipeline de IA no dia 2 ficou na casa de 25 dólares para aproximadamente uma hora de execução.

Faça parte do Clã

Quer construir sistemas de produção com IA, não só prompts soltos? Conheça o Clã Beer and Code.