~/beer-and-code
▪ Clã Beer and Code a maior comunidade de Engenharia de IA do Brasil · ao vivo, toda semana entrar no Clã ›
~ / tag / #benchmark $ grep

#Benchmark

31 posts
25 #ia · #llm
Qwen 3.8 Max (2.4T): benchmark vs Kimi K3, preço e pesos abertos

A Alibaba soltou o Qwen 3.8 Max, MoE de 2.4 trilhões de parâmetros que ela diz ser o segundo do mundo, atrás só do Fable 5. Sem benchmark público no lançamento, o único teste independente deu 80/100 contra 83 do Kimi K3. Aqui: o que ele é, quanto custa (Token Plan de US$ 6 a 68), como acessar via API e onde cada modelo da família Qwen 3.8 se encaixa.

20 Jul · 9 min ›
26 #ia · #llm
Kimi K3 preço: US$ 3/15 por milhão, tem grátis? Benchmarks vs Claude

Kimi K3 custa US$ 3 de entrada e US$ 15 de saída por milhão de tokens na API (chat grátis no kimi.com), 1,7x mais barato que o Claude Opus 4.8, não os "5x" da timeline. Fizemos a conta honesta do preço, separamos o benchmark verificável do hype e mostramos onde ele bate (e onde não bate) o Claude.

17 Jul · 10 min ›
27 #produto-ia · #llm
Claude Sonnet 5: como interpretar os benchmarks na prática

Saiu o Claude Sonnet 5. Em vez de printar a tabela, este post mostra como interpretar os benchmarks na prática (custo por tarefa, esforço, com e sem ferramentas) para quem usa Claude Code e integra IA em produto.

30 Jun · 9 min ›
28 #ia · #llm
GLM 5.2: o melhor modelo de código open source é chinês, MIT e 6x mais barato

A Z.ai (ex-Zhipu) lançou o GLM 5.2, modelo open-weight de 753B sob licença MIT que fica a 0,7 ponto do Claude Opus 4.8 em código e custa um sexto do preço por token. O que muda pra quem programa com IA no Brasil — incluindo rodar self-host.

22 Jun · 8 min ›
29 #openai · #ia
Claude Code ou Codex: o Codex ganha o terminal por 13 pontos, o Claude ganha o repo difícil por 10

Claude Code ou Codex? A resposta tem número: o Codex abre 13 pontos no Terminal-Bench (82,7% contra 69,4%) e o Claude Code abre 10 no SWE-bench Pro (69,2% contra 58,6%), que é o benchmark do problema multi-arquivo de verdade. No SWE-bench Verified empatam. Aqui está o veredito por cenário, o custo real por dev e o critério que importa mais que qualidade: quanto controle você quer durante a tarefa.

19 Jun · 10 min ›
30 #ia · #llm
Fable 5 bloqueado: o OpenRouter Fusion prova que painel de modelos já supera qualquer frontier

O Claude Fable 5 durou três dias disponível antes de ser bloqueado pelo governo dos EUA. Enquanto isso, o OpenRouter publicou dados que mudam a pergunta: e se painel de modelos baratos já superar qualquer frontier solo em deep research?

15 Jun · 7 min ›
31 #ia · #ai-agents
Fable 5 ou Opus 4.8: qual usar (e as 10 tarefas onde a diferença aparece)

Fable 5 ou Opus 4.8, qual usar? Veredito direto por tipo de tarefa, com as 10 situações concretas em que o Fable resolve e o Opus 4.8 fazia mal ou não fazia: migração em escala, código a partir de print, agente de longa duração e raciocínio sobre documento. Mais o custo de cada um e os casos em que o Opus 4.8 continua sendo a escolha certa.

09 Jun · 11 min ›
Conheça o Clã Beer and Code
tocando