~/beer-and-code
▪ Clã Beer and Code a maior comunidade de Engenharia de IA do Brasil · ao vivo, toda semana entrar no Clã ›
~ / tag / #benchmark $ grep

#Benchmark

31 posts
01 #llm · #claude
Kimi K3.1 Pro vs Claude Opus 5.5: metade do preço, 0,7 ponto atrás

O Kimi K3.1 Pro chega a 0,7 ponto do Claude Opus 5.5 no Terminal-Bench 4.0 cobrando metade: US$ 2/10 contra US$ 4/20. Separamos o verificado do autodeclarado pela Moonshot, fizemos a conta de custo por tarefa (a verbosidade come parte da vantagem), mostramos a cota queimando e os pesos prometidos para 04/11, e como testar os dois no seu workload.

26 Out · 14 min ›
02 #ia · #llm
Elorian Glimpse: o VLM que olha a imagem de novo antes de responder

O Elorian Glimpse é um VLM que revisita a imagem durante o raciocínio: recorta, reassiste frames e mede com código. Veja benchmarks, preço (US$ 0,60/M) e onde testar.

19 Out · 14 min ›
03 #laravel · #google
Gemini 4 Argon vs Claude Opus 5.5: metade do preço até 30/nov, mas vale trocar?

O Gemini 4 Argon vence o Claude Opus 5.5 em 14 de 18 benchmarks do Google e custa metade do preço. Mas perde justamente no Terminal-Bench, onde vive o agente de código, e em 1º de dezembro o preço empata. Os números lado a lado (do Google e independentes), quanto custa uma sessão agentic nos três com o GPT-6.1 Sol de régua, o que quebra na migração e um fallback em Laravel trocando por .env.

16 Out · 12 min ›
04 #openai · #alucinacao
GPT-6 Sol e Luna, Opus 5.5 e Gemini 4: o que muda de verdade nessa leva de modelos

GPT-6 Sol e Luna chegaram pela metade do preço do GPT-5.6, o Claude Opus 5.5 entrega nível Fable 5.1 a $4/$20 com quatro breaking changes na API, e o Google diz que o Gemini 4 sai antes do fim do ano. O que cada um traz de diferente, as pegadinhas (Luna regride em código agentic, effort padrão do Opus caiu para medium) e qual usar agora.

24 Set · 13 min ›
05 #harness · #llm
Grok 4.7 responde em 0,85s e o Fable 5.1 em 298s: onde cada um compensa

O Grok 4.7 chegou em 21/09/2026 custando 5x menos por token que o Fable 5.1 e o GPT-6 Astra — e mesmo assim perde pro Astra no custo por tarefa concluída. Onde esse modelo realmente compensa (spoiler: latência, não código), onde fica 22 pontos atrás no Terminal-Bench, e a conta que desmonta a comparação por preço de tabela.

22 Set · 14 min ›
06 #modelos-de-ia · #custos
Laya vs Jev: a IA de decisão de US$ 40 milhões contra a de graça que roda no seu notebook

Jev custa US$ 0,042 por milhão de tokens e é API fechada. Laya é Apache 2.0, roda offline numa GPU de 2018 e mede 7,8x mais rápido no P50. Comparativo com os números que cada lado publicou, mais a briga de anterioridade que estourou no Hacker News dois dias depois do lançamento.

21 Set · 21 min ›
07 #harness · #llm
DeepSeek V4.1 Flash vs Opus 5, Sol e K3: 41x mais barato e o benchmark que ninguém cita

A DeepSeek lançou o V4.1 Flash e a timeline recortou a linha boa do benchmark. Comparamos o modelo com Opus 5, GPT-5.6 Sol, Kimi K3, GLM-5.3 e GPT-6 Astra em preço e performance, mostramos onde ele realmente lidera, onde cai 20 pontos, e o dado escondido no model card: o scaffold muda o resultado quarenta vezes mais que a troca de modelo.

10 Set · 11 min ›
08 #openai · #harness
GPT-6 Astra vs Fable 5.1 vs GPT-5.6 Sol: o que é, preço e benchmarks

GPT-6 Astra é o novo modelo topo de linha da OpenAI, lançado em 03/09/2026 a $10/$50 por milhão de tokens, o mesmo preço do Claude Fable 5.1. Benchmark por benchmark contra Fable 5.1 e GPT-5.6 Sol, a conta de cache que deixa uma sessão de agente 54% mais cara no Astra, e o ARC-AGI-3 onde o mesmo modelo fez 62,7% ou 99,9% só trocando o harness.

03 Set · 18 min ›
09 #claude · #anthropic
Claude Fable 5.1 chegou: o quanto ele é melhor que o Opus 5 (e quando não vale a pena)

A Anthropic lançou o Claude Fable 5.1 em 01/09/2026. Ele bate o Opus 5 em todos os benchmarks publicados, mas quase sempre por 2 a 3 pontos, e custa o dobro por token. Os números oficiais, a conta real de uma sessão agentic com cache quente (onde a razão de custo cai de 2x para 1.3x), a árvore de decisão entre Fable 5.1, Opus 5 e Sonnet 5, e os 3 breaking changes que quebram seu código se você só trocar o model id.

01 Set · 15 min ›
10 #claude · #contexto
Claude Opus 5 piorou? Melhor nos benchmarks, pior de conviver

As threads dizem que o Claude Opus 5 regrediu, e o Google já responde que sim. Mas a explicação mais provável não é nerf de modelo: é que a Anthropic cortou mais de 80% do system prompt embutido do Claude Code na geração Claude 5. Os defaults de contenção saíram, e a responsabilidade migrou para o seu CLAUDE.md. O que dá pra medir, o que é percepção e como domar sem trocar de fornecedor.

01 Set · 7 min ›
11 #ia · #llm
Ox Alpha era o GLM-5.3-Flash: a Z.ai confirmou, abriu os pesos em MIT — e o benchmark de 80% continua falso

O Ox Alpha era o GLM-5.3-Flash. Cinco dias antes de qualquer anúncio, o fingerprinting por tokenizador já apontava a Zhipu: 95 de 95 contra o vocabulário do GLM-5. Agora a Z.ai confirmou, publicou os pesos no Hugging Face sob licença MIT e revelou a arquitetura: 320B totais com 18B ativos, 1M de contexto, US$ 0,075 por milhão. O benchmark de 80% continua sendo o que sempre foi: uma amostra de dez tarefas. No conjunto completo, 63%.

25 Ago · 13 min ›
12 #performance · #openai
GPT-5.6 Sol Ultrafast: 750 tokens/s na Cerebras, 11x mais rápido que o Fable 5

Não é modelo novo. É o mesmo GPT-5.6 Sol rodando num chip do tamanho de um prato: 750 tokens/s, 44 GB de SRAM on-chip e zero preço publicado. A OpenAI anuncia 14x contra o próprio Sol Standard; a Cerebras anuncia 11x contra o Fable 5 (sem teste pareado). Aqui separamos o que é verificável do que é marketing de fornecedor, explicamos por que Sol, Ultra e Ultrafast são três coisas diferentes, e mostramos a conta que decide se latência vira dinheiro no seu agente.

15 Ago · 10 min ›
Conheça o Clã Beer and Code
tocando