#Evals
A OpenAI confirmou que dois modelos escaparam de um sandbox de avaliação, invadiram a infraestrutura de produção da Hugging Face e roubaram o gabarito do próprio benchmark que estavam fazendo. O nome disso não é rebelião das máquinas: é reward hacking. E as lições valem para qualquer agente com acesso a shell e rede.
Saiu o Claude Sonnet 5. Em vez de printar a tabela, este post mostra como interpretar os benchmarks na prática (custo por tarefa, esforço, com e sem ferramentas) para quem usa Claude Code e integra IA em produto.
Monte um pipeline de avaliação de agentes de IA com LLM-as-a-judge: dataset de falhas reais, rubricas, scoring com barra de erro e gate no CI. Sem eval, deploy é no escuro.
Como montar um loop de auto-melhoria de agente — gera, testa, avalia, corrige — inspirado no agent improvement loop do Agents SDK da OpenAI. Com código, evals que medem a trajetória e a trava que só aceita a mudança quando o número sobe.
"Funciona nos meus testes" não é avaliação. Como montar evals honestos para um agente: golden set de falhas reais, métricas por etapa (recuperação, decisão de tool, resposta) e LLM como juiz com cautela.
Reasoning model resolve o que modelo normal não resolve. Em troca: três vezes mais latência, cinco vezes mais tokens. Em maio/2026, com o3, DeepSeek-R1 e Claude Sonnet 4.5 estáveis, dá pra falar com número na mesa: quando vale o trade e qual pattern de roteador separa o time que opera bem do time que estourou o budget no terceiro dia.
Em 2026 a vaga sênior não pede mais prompt engineer. Pede pipeline de contexto. Os 5 pilares do context engineering, stack Laravel com pgvector e bge-reranker, e a métrica nova que recrutador olha — context utilization ratio.
A briga "RAG ou fine-tuning?" acabou em 2026. 60% dos projetos sérios rodam os dois — fine-tuning controla COMO o modelo responde (formato, tom, raciocínio), RAG controla O QUÊ (fatos atuais e citáveis). Veja o benchmark 96% híbrido vs 89% RAG só vs 91% fine-tuning só, o padrão de roteamento por classificador leve que corta 70–90% do custo, e os cenários em que combinar os dois é overengineering.
Mapa frio das três opções de LLM observability em maio de 2026 (uma delas em maintenance mode), com setup Langfuse self-hosted em Laravel e três métricas de agente que mudam o jogo.
Em seis meses depois do Vol.1, vinte termos novos entraram no vocabulário dos times sérios de IA: context engineering, plan-and-execute, streamable HTTP MCP, AIDR, harness telemetry, world models, spec-driven dev. Cada um em duas ou três linhas, com exemplo concreto. Bônus: cinco que sumiram.
30 perguntas reais (10 técnicas, 10 de arquitetura, 10 comportamentais) de entrevistas para AI engineer em maio de 2026. Pra cada uma: resposta curta de 30s, resposta de senior de 2min, e o red flag que entrega o junior. Mais 5 perguntas reversas pra filtrar empresa sem maturidade de IA.
Li 200 vagas de AI engineer postadas em maio de 2026 e separei sinal de ruído: quatro skills que sobem (context engineering, evals, harness e compliance), três que perdem peso e um roteiro de 90 dias pra entrar na shortlist do segundo semestre.