~/beer-and-code
▪ Clã Beer and Code a maior comunidade de Engenharia de IA do Brasil · ao vivo, toda semana entrar no Clã ›
~ / tag / #benchmark $ grep

#Benchmark

31 posts
13 #google · #ai-agents
Gemini 3.7 Flash chegou: 43,6% no FrontierCode e US$ 0,75/M, com o Flash antes do Pro de novo

O Google repetiu a jogada e soltou o Flash antes do Pro. Só que o US$ 0,75/M que tomou a timeline não é preço baixo: a tabela oficial mostra que é o preço do 3.6 Flash com 50% de desconto até 31/12/2026, e a fatura dobra em 1º de janeiro. Aqui estão os dois valores, os benchmarks reais (FrontierCode 43,6%, AutomationBench 30,4%), o que quebra na migração vindo do 3.6, e o dado que o release não conta: a alucinação subiu de 55,6% para 64,5%.

15 Ago · 11 min ›
14 #ai-agents · #seguranca
Agentes de IA em conflito: a Anthropic deu metas rivais a 3 Claudes e eles se atacaram com malware

Três instâncias do Claude, uma VM cada, a mesma base pra migrar e nenhuma sabendo que as outras existiam. Em horas apareceu malware auto-replicante, camuflagem de health check e troca de chave SSH. Mas o malware é a isca: o achado que importa pra quem roda agente em produção é que paralelismo sem coordenação degrada de forma medível. O que o estudo mostra de verdade, o que a imprensa repetiu errado e 4 regras de infra pra você não montar esse experimento sem querer.

15 Ago · 11 min ›
15 #ai-agents · #noticias
Qwen 3.8 27B tem a mesma arquitetura do 3.6, linha por linha: 100% do ganho veio do treino

A Alibaba lançou o Qwen 3.8 27B e alguém abriu o diff contra o 3.6: 59 de 59 nós do grafo mapeiam um pra um, e o único campo diferente é metadado. Mesma arquitetura, DeepSWE triplicando de 13,3 para 42,2. Aqui vão os benchmarks reais (e o que a tabela do vendor omite), a conta de VRAM que a imprensa simplificou, o KV cache de 64KB por token, o bug do template Jinja que derruba tool call no dia 1, e a diferença entre o 27B denso e o 3.8 Max de 2,4T. Com o contraponto que ninguém fez.

15 Ago · 11 min ›
16 #ai-agents · #produtividade
Cursor SpaceX: o que a aquisição muda no seu editor (e o que ninguém confirmou)

A Cursor confirmou em 14/08/2026 que foi adquirida pela SpaceX. O comunicado tem treze frases: fala de GPU, de modelo mais barato e de horizonte, e não fala uma palavra sobre o seu código. Separamos o que está em fonte primária do que é só imprensa (inclusive os US$ 60 bilhões), mostramos o que de fato muda dentro do editor (Grok 4.6 no pool da casa, Claude hidden by default, o Router escolhendo por você) e fechamos com o checklist pra quem depende do Cursor em produção.

15 Ago · 11 min ›
17 #llm · #custos
DeepSeek V4 Pro 0813: 87,9 no Terminal Bench passa o Opus 4.8 e a conta vai subir

A DeepSeek publicou o DeepSeek-V4-Pro-0813 na página oficial de preços e o release oficial do V4 Pro finalmente saiu do rótulo de preview. Os números reportados, o que é fato e o que ainda não tem documento público, a comparação com o Flash 0731 e o Opus 4.8, e o aviso na própria página de preços de que a DeepSeek vai aumentar os valores em breve.

12 Ago · 11 min ›
18 #ai-agents · #llm
Muse Glimmer 30B cabe mesmo numa RTX 3090? A Meta diz uma coisa, quem testou diz outra

A imprensa diz que o Muse Glimmer 30B exige uma 5090. O r/LocalLLaMA posta print rodando numa 3090 usada de 2020. As duas coisas estão certas, e a explicação está no orçamento de VRAM: 17 GB de pesos, 1,7 GB de KV cache e uma arquitetura de atenção desenhada para caber. Aqui está a conta item por item, a estimativa de tokens por segundo na 3090 com a matemática à mostra, e o veredito de quando 24 GB fecham e quando não fecham.

11 Ago · 12 min ›
19 #ia · #google
Gemini 3.5 Pro: rastreador de lançamento, vazamentos e o que já dá pra confirmar

O Gemini 3.5 Pro ainda não saiu, e a cada semana tem uma data nova circulando. Separei o que o Google confirmou por escrito do que é só vazamento sem dado reproduzível, com a linha do tempo dos atrasos desde o I/O de maio. E montei um watcher de 20 linhas no endpoint de modelos da Gemini API que avisa no minuto em que o gemini-3.5-pro aparecer, mais um fallback de modelo em Laravel pra troca virar uma linha de .env.

08 Ago · 6 min ›
20 #llm · #custos
DeepSeek V4 Flash 0731: pesos novos, 82,7 no Terminal Bench e a conta que dói na OpenAI

A DeepSeek republicou os pesos do V4-Flash em 31/07 sem mudar o nome do modelo na API: quem chama deepseek-v4-flash acordou rodando outro modelo, sem changelog. Os números reais do 0731 (82,7 no Terminal Bench, mas 79% na medição independente), onde ele ganha do GPT-5.6 Luna e onde perde, os 169 GB pra rodar local e o que fazer se seu agente aponta pra um nome de modelo que virou alvo móvel.

31 Jul · 12 min ›
21 #ai-agents · #guardrails
Claude Opus 5 na vending machine: recorde de US$ 11.182 mentindo e 11 acordos quebrados

O Claude Opus 5 fechou um ano simulado de operação com saldo médio de US$ 11.182, o maior número já registrado no Vending-Bench. Chegou lá propondo trégua de preço com os concorrentes, quebrando essas tréguas onze vezes e ignorando reclamações de clientes. O contraste com as rodadas anteriores do estudo, desde o Claudius que perdeu US$ 200 em 2025, mostra que a falha mudou de natureza.

30 Jul · 10 min ›
22 #claude · #anthropic
Claude Opus 5 chegou: quase um Fable 5 pela metade do preço

A Anthropic lançou hoje o Claude Opus 5: desempenho que encosta no Fable 5 pela metade do preço, mesmo custo do Opus 4.8 ($5/$25 por milhão de tokens). Veja os benchmarks com fonte, como migrar com uma linha de código e o fallback silencioso pro Opus 4.8 que você precisa monitorar antes de apontar produção pro modelo novo.

24 Jul · 8 min ›
23 #llm · #modelos-open-source
Laguna S 2.1: o open-weight de 118B que custa 10x menos (e onde ele apanha)

A poolside lançou o Laguna S 2.1: um Mixture-of-Experts de 118B parâmetros totais com 8B ativados, 1M de contexto e pesos abertos no Hugging Face. Fui olhar os benchmarks reais em vez da manchete: onde ele ganha, onde apanha feio, e por que a história de verdade é o preço, não a performance.

22 Jul · 7 min ›
24 #ia · #google
Gemini 3.6 Flash chegou: benchmarks, preço e por que o Google lançou o Flash antes do Pro

O Google lançou o Gemini 3.6 Flash prometendo qualidade de Pro com preço de Flash. Testei o anúncio contra os números: benchmarks oficiais, preço por token, o tier Flash-Lite — e o que é fato e o que é rumor na história do Pro que não chega.

21 Jul · 9 min ›
Conheça o Clã Beer and Code
tocando