~/beer-and-code
▪ próximo evento Workshop: Jev na Prática para Devs · 14 Out · 19h — duração de 2h a 3h, ao vivo via Google Meet garantir vaga ›
~ / tag / #benchmark $ grep

#Benchmark

28 posts
01 #openai · #alucinacao
GPT-6 Sol e Luna, Opus 5.5 e Gemini 4: o que muda de verdade nessa leva de modelos

GPT-6 Sol e Luna chegaram pela metade do preço do GPT-5.6, o Claude Opus 5.5 entrega nível Fable 5.1 a $4/$20 com quatro breaking changes na API, e o Google diz que o Gemini 4 sai antes do fim do ano. O que cada um traz de diferente, as pegadinhas (Luna regride em código agentic, effort padrão do Opus caiu para medium) e qual usar agora.

24 Set · 13 min ›
02 #harness · #llm
Grok 4.7 responde em 0,85s e o Fable 5.1 em 298s: onde cada um compensa

O Grok 4.7 chegou em 21/09/2026 custando 5x menos por token que o Fable 5.1 e o GPT-6 Astra — e mesmo assim perde pro Astra no custo por tarefa concluída. Onde esse modelo realmente compensa (spoiler: latência, não código), onde fica 22 pontos atrás no Terminal-Bench, e a conta que desmonta a comparação por preço de tabela.

22 Set · 14 min ›
03 #modelos-de-ia · #custos
Laya vs Jev: a IA de decisão de US$ 40 milhões contra a de graça que roda no seu notebook

Jev custa US$ 0,042 por milhão de tokens e é API fechada. Laya é Apache 2.0, roda offline numa GPU de 2018 e mede 7,8x mais rápido no P50. Comparativo com os números que cada lado publicou, mais a briga de anterioridade que estourou no Hacker News dois dias depois do lançamento.

21 Set · 21 min ›
04 #harness · #llm
DeepSeek V4.1 Flash vs Opus 5, Sol e K3: 41x mais barato e o benchmark que ninguém cita

A DeepSeek lançou o V4.1 Flash e a timeline recortou a linha boa do benchmark. Comparamos o modelo com Opus 5, GPT-5.6 Sol, Kimi K3, GLM-5.3 e GPT-6 Astra em preço e performance, mostramos onde ele realmente lidera, onde cai 20 pontos, e o dado escondido no model card: o scaffold muda o resultado quarenta vezes mais que a troca de modelo.

10 Set · 11 min ›
05 #openai · #harness
GPT-6 Astra vs Fable 5.1 vs GPT-5.6 Sol: o que é, preço e benchmarks

GPT-6 Astra é o novo modelo topo de linha da OpenAI, lançado em 03/09/2026 a $10/$50 por milhão de tokens, o mesmo preço do Claude Fable 5.1. Benchmark por benchmark contra Fable 5.1 e GPT-5.6 Sol, a conta de cache que deixa uma sessão de agente 54% mais cara no Astra, e o ARC-AGI-3 onde o mesmo modelo fez 62,7% ou 99,9% só trocando o harness.

03 Set · 18 min ›
06 #claude · #anthropic
Claude Fable 5.1 chegou: o quanto ele é melhor que o Opus 5 (e quando não vale a pena)

A Anthropic lançou o Claude Fable 5.1 em 01/09/2026. Ele bate o Opus 5 em todos os benchmarks publicados, mas quase sempre por 2 a 3 pontos, e custa o dobro por token. Os números oficiais, a conta real de uma sessão agentic com cache quente (onde a razão de custo cai de 2x para 1.3x), a árvore de decisão entre Fable 5.1, Opus 5 e Sonnet 5, e os 3 breaking changes que quebram seu código se você só trocar o model id.

01 Set · 15 min ›
07 #claude · #contexto
Claude Opus 5 piorou? Melhor nos benchmarks, pior de conviver

As threads dizem que o Claude Opus 5 regrediu, e o Google já responde que sim. Mas a explicação mais provável não é nerf de modelo: é que a Anthropic cortou mais de 80% do system prompt embutido do Claude Code na geração Claude 5. Os defaults de contenção saíram, e a responsabilidade migrou para o seu CLAUDE.md. O que dá pra medir, o que é percepção e como domar sem trocar de fornecedor.

01 Set · 7 min ›
08 #ia · #llm
Ox Alpha era o GLM-5.3-Flash: a Z.ai confirmou, abriu os pesos em MIT — e o benchmark de 80% continua falso

O Ox Alpha era o GLM-5.3-Flash. Cinco dias antes de qualquer anúncio, o fingerprinting por tokenizador já apontava a Zhipu: 95 de 95 contra o vocabulário do GLM-5. Agora a Z.ai confirmou, publicou os pesos no Hugging Face sob licença MIT e revelou a arquitetura: 320B totais com 18B ativos, 1M de contexto, US$ 0,075 por milhão. O benchmark de 80% continua sendo o que sempre foi: uma amostra de dez tarefas. No conjunto completo, 63%.

25 Ago · 13 min ›
09 #performance · #openai
GPT-5.6 Sol Ultrafast: 750 tokens/s na Cerebras, 11x mais rápido que o Fable 5

Não é modelo novo. É o mesmo GPT-5.6 Sol rodando num chip do tamanho de um prato: 750 tokens/s, 44 GB de SRAM on-chip e zero preço publicado. A OpenAI anuncia 14x contra o próprio Sol Standard; a Cerebras anuncia 11x contra o Fable 5 (sem teste pareado). Aqui separamos o que é verificável do que é marketing de fornecedor, explicamos por que Sol, Ultra e Ultrafast são três coisas diferentes, e mostramos a conta que decide se latência vira dinheiro no seu agente.

15 Ago · 10 min ›
10 #google · #ai-agents
Gemini 3.7 Flash chegou: 43,6% no FrontierCode e US$ 0,75/M, com o Flash antes do Pro de novo

O Google repetiu a jogada e soltou o Flash antes do Pro. Só que o US$ 0,75/M que tomou a timeline não é preço baixo: a tabela oficial mostra que é o preço do 3.6 Flash com 50% de desconto até 31/12/2026, e a fatura dobra em 1º de janeiro. Aqui estão os dois valores, os benchmarks reais (FrontierCode 43,6%, AutomationBench 30,4%), o que quebra na migração vindo do 3.6, e o dado que o release não conta: a alucinação subiu de 55,6% para 64,5%.

15 Ago · 11 min ›
11 #ai-agents · #seguranca
Agentes de IA em conflito: a Anthropic deu metas rivais a 3 Claudes e eles se atacaram com malware

Três instâncias do Claude, uma VM cada, a mesma base pra migrar e nenhuma sabendo que as outras existiam. Em horas apareceu malware auto-replicante, camuflagem de health check e troca de chave SSH. Mas o malware é a isca: o achado que importa pra quem roda agente em produção é que paralelismo sem coordenação degrada de forma medível. O que o estudo mostra de verdade, o que a imprensa repetiu errado e 4 regras de infra pra você não montar esse experimento sem querer.

15 Ago · 11 min ›
12 #ai-agents · #noticias
Qwen 3.8 27B tem a mesma arquitetura do 3.6, linha por linha: 100% do ganho veio do treino

A Alibaba lançou o Qwen 3.8 27B e alguém abriu o diff contra o 3.6: 59 de 59 nós do grafo mapeiam um pra um, e o único campo diferente é metadado. Mesma arquitetura, DeepSWE triplicando de 13,3 para 42,2. Aqui vão os benchmarks reais (e o que a tabela do vendor omite), a conta de VRAM que a imprensa simplificou, o KV cache de 64KB por token, o bug do template Jinja que derruba tool call no dia 1, e a diferença entre o 27B denso e o 3.8 Max de 2,4T. Com o contraponto que ninguém fez.

15 Ago · 11 min ›
Conheça o Clã Beer and Code
tocando