~/beer-and-code
▪ próximo evento AI Engineering Lab 3ª Edição — Da Arquitetura à Produção · 19—20 Set · 19 e 20 de setembro, das 09h às 13h — ao vivo via Google Meet garantir vaga
~ / tag / #benchmark $ grep

#Benchmark

25 posts
01 #harness · #llm
DeepSeek V4.1 Flash vs Opus 5, Sol e K3: 41x mais barato e o benchmark que ninguém cita

A DeepSeek lançou o V4.1 Flash e a timeline recortou a linha boa do benchmark. Comparamos o modelo com Opus 5, GPT-5.6 Sol, Kimi K3, GLM-5.3 e GPT-6 Astra em preço e performance, mostramos onde ele realmente lidera, onde cai 20 pontos, e o dado escondido no model card: o scaffold muda o resultado quarenta vezes mais que a troca de modelo.

10 Set · 11 min
02 #openai · #harness
GPT-6 Astra vs Claude Fable 5.1 vs GPT-5.6 Sol: os números, o preço e o 99,9% que depende do harness

A OpenAI lançou o GPT-6 Astra em 03/09/2026 pelo mesmo preço do Claude Fable 5.1. Benchmark por benchmark contra Fable 5.1 e GPT-5.6 Sol, a conta de cache que deixa uma sessão de agente 54% mais cara no Astra, o índice independente onde o Fable ainda lidera, e o ARC-AGI-3 onde o mesmo modelo fez 62,7% ou 99,9% dependendo só do harness. Mais o que muda na sua API com o primeiro modelo "Critical" em cyber.

03 Set · 18 min
03 #claude · #anthropic
Claude Fable 5.1 chegou: o quanto ele é melhor que o Opus 5 (e quando não vale a pena)

A Anthropic lançou o Claude Fable 5.1 em 01/09/2026. Ele bate o Opus 5 em todos os benchmarks publicados, mas quase sempre por 2 a 3 pontos, e custa o dobro por token. Os números oficiais, a conta real de uma sessão agentic com cache quente (onde a razão de custo cai de 2x para 1.3x), a árvore de decisão entre Fable 5.1, Opus 5 e Sonnet 5, e os 3 breaking changes que quebram seu código se você só trocar o model id.

01 Set · 15 min
04 #claude · #contexto
Claude Opus 5 piorou? Melhor nos benchmarks, pior de conviver

As threads dizem que o Claude Opus 5 regrediu, e o Google já responde que sim. Mas a explicação mais provável não é nerf de modelo: é que a Anthropic cortou mais de 80% do system prompt embutido do Claude Code na geração Claude 5. Os defaults de contenção saíram, e a responsabilidade migrou para o seu CLAUDE.md. O que dá pra medir, o que é percepção e como domar sem trocar de fornecedor.

01 Set · 7 min
05 #ia · #llm
Ox Alpha era o GLM-5.3-Flash: a Z.ai confirmou, abriu os pesos em MIT — e o benchmark de 80% continua falso

O Ox Alpha era o GLM-5.3-Flash. Cinco dias antes de qualquer anúncio, o fingerprinting por tokenizador já apontava a Zhipu: 95 de 95 contra o vocabulário do GLM-5. Agora a Z.ai confirmou, publicou os pesos no Hugging Face sob licença MIT e revelou a arquitetura: 320B totais com 18B ativos, 1M de contexto, US$ 0,075 por milhão. O benchmark de 80% continua sendo o que sempre foi: uma amostra de dez tarefas. No conjunto completo, 63%.

25 Ago · 13 min
06 #performance · #openai
GPT-5.6 Sol Ultrafast: 750 tokens/s na Cerebras, 11x mais rápido que o Fable 5

Não é modelo novo. É o mesmo GPT-5.6 Sol rodando num chip do tamanho de um prato: 750 tokens/s, 44 GB de SRAM on-chip e zero preço publicado. A OpenAI anuncia 14x contra o próprio Sol Standard; a Cerebras anuncia 11x contra o Fable 5 (sem teste pareado). Aqui separamos o que é verificável do que é marketing de fornecedor, explicamos por que Sol, Ultra e Ultrafast são três coisas diferentes, e mostramos a conta que decide se latência vira dinheiro no seu agente.

15 Ago · 10 min
07 #google · #ai-agents
Gemini 3.7 Flash chegou: 43,6% no FrontierCode e US$ 0,75/M, com o Flash antes do Pro de novo

O Google repetiu a jogada e soltou o Flash antes do Pro. Só que o US$ 0,75/M que tomou a timeline não é preço baixo: a tabela oficial mostra que é o preço do 3.6 Flash com 50% de desconto até 31/12/2026, e a fatura dobra em 1º de janeiro. Aqui estão os dois valores, os benchmarks reais (FrontierCode 43,6%, AutomationBench 30,4%), o que quebra na migração vindo do 3.6, e o dado que o release não conta: a alucinação subiu de 55,6% para 64,5%.

15 Ago · 11 min
08 #ai-agents · #seguranca
Agentes de IA em conflito: a Anthropic deu metas rivais a 3 Claudes e eles se atacaram com malware

Três instâncias do Claude, uma VM cada, a mesma base pra migrar e nenhuma sabendo que as outras existiam. Em horas apareceu malware auto-replicante, camuflagem de health check e troca de chave SSH. Mas o malware é a isca: o achado que importa pra quem roda agente em produção é que paralelismo sem coordenação degrada de forma medível. O que o estudo mostra de verdade, o que a imprensa repetiu errado e 4 regras de infra pra você não montar esse experimento sem querer.

15 Ago · 11 min
09 #ai-agents · #noticias
Qwen 3.8 27B tem a mesma arquitetura do 3.6, linha por linha: 100% do ganho veio do treino

A Alibaba lançou o Qwen 3.8 27B e alguém abriu o diff contra o 3.6: 59 de 59 nós do grafo mapeiam um pra um, e o único campo diferente é metadado. Mesma arquitetura, DeepSWE triplicando de 13,3 para 42,2. Aqui vão os benchmarks reais (e o que a tabela do vendor omite), a conta de VRAM que a imprensa simplificou, o KV cache de 64KB por token, o bug do template Jinja que derruba tool call no dia 1, e a diferença entre o 27B denso e o 3.8 Max de 2,4T. Com o contraponto que ninguém fez.

15 Ago · 11 min
10 #ai-agents · #produtividade
Cursor SpaceX: o que a aquisição muda no seu editor (e o que ninguém confirmou)

A Cursor confirmou em 14/08/2026 que foi adquirida pela SpaceX. O comunicado tem treze frases: fala de GPU, de modelo mais barato e de horizonte, e não fala uma palavra sobre o seu código. Separamos o que está em fonte primária do que é só imprensa (inclusive os US$ 60 bilhões), mostramos o que de fato muda dentro do editor (Grok 4.6 no pool da casa, Claude hidden by default, o Router escolhendo por você) e fechamos com o checklist pra quem depende do Cursor em produção.

15 Ago · 11 min
11 #llm · #custos
DeepSeek V4 Pro 0813: 87,9 no Terminal Bench passa o Opus 4.8 e a conta vai subir

A DeepSeek publicou o DeepSeek-V4-Pro-0813 na página oficial de preços e o release oficial do V4 Pro finalmente saiu do rótulo de preview. Os números reportados, o que é fato e o que ainda não tem documento público, a comparação com o Flash 0731 e o Opus 4.8, e o aviso na própria página de preços de que a DeepSeek vai aumentar os valores em breve.

12 Ago · 11 min
12 #ai-agents · #llm
Muse Glimmer 30B cabe mesmo numa RTX 3090? A Meta diz uma coisa, quem testou diz outra

A imprensa diz que o Muse Glimmer 30B exige uma 5090. O r/LocalLLaMA posta print rodando numa 3090 usada de 2020. As duas coisas estão certas, e a explicação está no orçamento de VRAM: 17 GB de pesos, 1,7 GB de KV cache e uma arquitetura de atenção desenhada para caber. Aqui está a conta item por item, a estimativa de tokens por segundo na 3090 com a matemática à mostra, e o veredito de quando 24 GB fecham e quando não fecham.

11 Ago · 12 min
Conheça o Clã Beer and Code
tocando