~/beer-and-code
▪ próximo evento AI Engineering Lab 3ª Edição — Da Arquitetura à Produção · 19—20 Set · 19 e 20 de setembro, das 09h às 13h — ao vivo via Google Meet garantir vaga
~ / tag / #benchmark $ grep

#Benchmark

25 posts
13 #ia · #google
Gemini 3.5 Pro: rastreador de lançamento, vazamentos e o que já dá pra confirmar

O Gemini 3.5 Pro ainda não saiu, e a cada semana tem uma data nova circulando. Separei o que o Google confirmou por escrito do que é só vazamento sem dado reproduzível, com a linha do tempo dos atrasos desde o I/O de maio. E montei um watcher de 20 linhas no endpoint de modelos da Gemini API que avisa no minuto em que o gemini-3.5-pro aparecer, mais um fallback de modelo em Laravel pra troca virar uma linha de .env.

08 Ago · 6 min
14 #llm · #custos
DeepSeek V4 Flash 0731: pesos novos, 82,7 no Terminal Bench e a conta que dói na OpenAI

A DeepSeek republicou os pesos do V4-Flash em 31/07 sem mudar o nome do modelo na API: quem chama deepseek-v4-flash acordou rodando outro modelo, sem changelog. Os números reais do 0731 (82,7 no Terminal Bench, mas 79% na medição independente), onde ele ganha do GPT-5.6 Luna e onde perde, os 169 GB pra rodar local e o que fazer se seu agente aponta pra um nome de modelo que virou alvo móvel.

31 Jul · 12 min
15 #ai-agents · #guardrails
Claude Opus 5 na vending machine: recorde de US$ 11.182 mentindo e 11 acordos quebrados

O Claude Opus 5 fechou um ano simulado de operação com saldo médio de US$ 11.182, o maior número já registrado no Vending-Bench. Chegou lá propondo trégua de preço com os concorrentes, quebrando essas tréguas onze vezes e ignorando reclamações de clientes. O contraste com as rodadas anteriores do estudo, desde o Claudius que perdeu US$ 200 em 2025, mostra que a falha mudou de natureza.

30 Jul · 10 min
16 #claude · #anthropic
Claude Opus 5 chegou: quase um Fable 5 pela metade do preço

A Anthropic lançou hoje o Claude Opus 5: desempenho que encosta no Fable 5 pela metade do preço, mesmo custo do Opus 4.8 ($5/$25 por milhão de tokens). Veja os benchmarks com fonte, como migrar com uma linha de código e o fallback silencioso pro Opus 4.8 que você precisa monitorar antes de apontar produção pro modelo novo.

24 Jul · 8 min
17 #llm · #modelos-open-source
Laguna S 2.1: o open-weight de 118B que custa 10x menos (e onde ele apanha)

A poolside lançou o Laguna S 2.1: um Mixture-of-Experts de 118B parâmetros totais com 8B ativados, 1M de contexto e pesos abertos no Hugging Face. Fui olhar os benchmarks reais em vez da manchete: onde ele ganha, onde apanha feio, e por que a história de verdade é o preço, não a performance.

22 Jul · 7 min
18 #ia · #google
Gemini 3.6 Flash chegou: benchmarks, preço e por que o Google lançou o Flash antes do Pro

O Google lançou o Gemini 3.6 Flash prometendo qualidade de Pro com preço de Flash. Testei o anúncio contra os números: benchmarks oficiais, preço por token, o tier Flash-Lite — e o que é fato e o que é rumor na história do Pro que não chega.

21 Jul · 9 min
19 #ia · #llm
Qwen 3.8 Max chegou: a Alibaba lançou um "Fable open source"? Benchmarks e primeiro teste

A Alibaba soltou o Qwen 3.8 Max, modelo de 2.4 trilhões de parâmetros que ela diz ser o segundo do mundo, atrás só do Fable 5. Sem benchmark público. Testamos os dois lados da briga: quem grita "melhor que Sonnet" e quem chama de tropeço.

20 Jul · 8 min
20 #ia · #llm
Kimi K3 chegou: o "Fable 5 chinês" que bate o Opus 4.8 — o que é real nos benchmarks

A Moonshot AI lançou o Kimi K3: 2,8 trilhões de parâmetros, pesos abertos e 3º lugar na Artificial Analysis, acima do Claude Opus 4.8. Separamos o benchmark verificável do hype — incluindo o "5x mais barato" que não fecha na conta.

17 Jul · 10 min
21 #produto-ia · #llm
Claude Sonnet 5: como interpretar os benchmarks na prática

Saiu o Claude Sonnet 5. Em vez de printar a tabela, este post mostra como interpretar os benchmarks na prática (custo por tarefa, esforço, com e sem ferramentas) para quem usa Claude Code e integra IA em produto.

30 Jun · 9 min
22 #ia · #llm
GLM 5.2: o melhor modelo de código open source é chinês, MIT e 6x mais barato

A Z.ai (ex-Zhipu) lançou o GLM 5.2, modelo open-weight de 753B sob licença MIT que fica a 0,7 ponto do Claude Opus 4.8 em código e custa um sexto do preço por token. O que muda pra quem programa com IA no Brasil — incluindo rodar self-host.

22 Jun · 8 min
23 #openai · #ia
Claude Code ou Codex: o Codex ganha o terminal por 13 pontos, o Claude ganha o repo difícil por 10

Claude Code ou Codex? A resposta tem número: o Codex abre 13 pontos no Terminal-Bench (82,7% contra 69,4%) e o Claude Code abre 10 no SWE-bench Pro (69,2% contra 58,6%), que é o benchmark do problema multi-arquivo de verdade. No SWE-bench Verified empatam. Aqui está o veredito por cenário, o custo real por dev e o critério que importa mais que qualidade: quanto controle você quer durante a tarefa.

19 Jun · 10 min
24 #ia · #llm
Fable 5 bloqueado: o OpenRouter Fusion prova que painel de modelos já supera qualquer frontier

O Claude Fable 5 durou três dias disponível antes de ser bloqueado pelo governo dos EUA. Enquanto isso, o OpenRouter publicou dados que mudam a pergunta: e se painel de modelos baratos já superar qualquer frontier solo em deep research?

15 Jun · 7 min
Conheça o Clã Beer and Code
tocando