Laguna S 2.1: benchmarks reais do open-weight da poolside

A poolside soltou o Laguna S 2.1 ontem, 21 de julho, e a manchete que circulou foi "modelo open-weight que bate rivais dez vezes maiores".

Eu fui olhar os benchmarks. A história é mais interessante que a manchete — e mais honesta também.

Neste post você vai ver os números reais do Laguna S 2.1, onde ele ganha, onde ele apanha feio, quanto custa rodar e como colocar ele pra funcionar hoje: OpenRouter, vLLM ou GGUF na sua máquina.

TL;DR

O que é: modelo open-weight de coding agêntico da poolside, 118B parâmetros totais com 8B ativados por token (Mixture-of-Experts).
Contexto: até 1M de tokens, com e sem modo thinking.
Licença: OpenMDW-1.1, pesos abertos no Hugging Face.
Custo/Acesso: endpoint gratuito no OpenRouter com 256K de contexto. Pago: US$ 0,10 por 1M de tokens de entrada e US$ 0,20 de saída.
Link útil: anúncio oficial da poolside

O contexto — por que um MoE de 8B ativados importa

O número que interessa aqui não é 118B. É 8B.

Laguna S 2.1 é um Mixture-of-Experts: tem 117,6B de parâmetros no total, mas ativa só cerca de 8,5B por token. Na prática isso significa que o custo de inferência se parece com o de um modelo pequeno, enquanto a capacidade armazenada se parece com a de um modelo grande.

Isso não é novidade conceitual — Qwen, DeepSeek e GLM já jogam esse jogo. O que chama atenção é o prazo: a poolside afirma ter treinado o modelo do início ao lançamento em menos de 9 semanas.

E tem um detalhe de engenharia que vale mais que o benchmark. Nas palavras de Pengming Wang, co-head of Applied Research da poolside, o foco do modelo "não é apenas adicionar mais inteligência, mas melhorar comportamentos".

Comportamento, em coding agêntico, é o que separa um modelo que resolve a task de um modelo que roda 40 tool calls e entrega lixo.

Os números reais do Laguna S 2.1 (e por que a manchete engana)

Aqui é onde você precisa prestar atenção, porque a leitura preguiçosa desses benchmarks vai te fazer trocar de modelo por engano.

Benchmark	Laguna S 2.1	Melhor concorrente
Terminal-Bench 2.1	70,2%	Kimi K3 — 88,3%
SWE-Bench Multilingual	78,5%	Qwen 3.7 Max — 78,3%
SWE-Bench Pro	59,4%	Claude Fable 5 — 80,3%
DeepSWE v1.1	40,4%	GPT-5.6 Sol — 73,0%
SWE Atlas (Codebase QnA)	46,2%	Muse Spark 1.1 — 75,6%

Leu a tabela?

O Laguna S 2.1 não é o melhor modelo de coding do mercado. Ele perde feio em três dos cinco benchmarks. No DeepSWE v1.1 ele faz 40,4% contra 73,0% do GPT-5.6 Sol — isso é uma distância de outro campeonato. No SWE Atlas, que mede perguntas sobre codebase, ele faz menos de dois terços do líder.

Onde ele realmente entrega: SWE-Bench Multilingual, com 78,5%, encostando no Qwen 3.7 Max (78,3%). E o Terminal-Bench 2.1 com 70,2% é um número respeitável para um modelo que você pode baixar e rodar.

Então qual é a história real?

A história é preço. Um modelo com 8B ativados custando US$ 0,10 de entrada entregando 78,5% em SWE-Bench Multilingual muda a conta de qualquer pipeline que roda em volume. Não é "o melhor modelo". É o melhor modelo por real gasto numa faixa específica de tarefa.

Isso é uma decisão de arquitetura, não de hype. É a mesma lógica que discutimos em como reduzir o custo da API de IA.

O modo thinking não é opcional

Esse é o ponto que ninguém comentou e que vai te queimar.

Desligue o thinking e o modelo desaba:

Terminal-Bench 2.1: de 70,2% cai para 60,4%
DeepSWE v1.1: de 40,4% cai para 16,5%

Dezesseis e meio por cento. O modelo praticamente para de funcionar em tarefas de engenharia de software sem o raciocínio ligado.

Só que thinking tem preço. A poolside reporta média de 80k a 249k tokens de conclusão por tarefa com o modo ligado.

Faça a conta antes de comemorar o US$ 0,20 de saída. Uma tarefa que consome 200k tokens de saída custa US$ 0,04. Parece pouco — até você multiplicar por dez mil execuções por dia.

Mão na massa

Opção 1: OpenRouter (mais rápido pra testar)

Tem endpoint gratuito com 256K de contexto. Serve pra sentir o modelo antes de investir em infra.

curl https://openrouter.ai/api/v1/chat/completions \
  -H "Authorization: Bearer $OPENROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "poolside/laguna-s-2.1",
    "messages": [
      {"role": "user", "content": "Refatore esta função para eliminar o N+1 e explique a mudança."}
    ]
  }'

Para produção, o endpoint pago libera o contexto completo de 1M: US$ 0,10 entrada, US$ 0,20 saída, US$ 0,01 de cache-read por 1M de tokens.

Esse cache-read barato é relevante para agente: se você mantém um system prompt grande e estável, a leitura de cache derruba o custo real bem abaixo do preço de tabela.

Opção 2: vLLM (produção séria)

O time do vLLM já publicou receita oficial. Os pesos vêm em BF16, FP8, INT4 e NVFP4.

vllm serve poolside/Laguna-S-2.1-NVFP4 \
  --max-model-len 262144 \
  --tensor-parallel-size 2

NVFP4 é o formato que faz o modelo caber em hardware realista. Com 8,5B ativados, a inferência é bem mais leve do que os 118B totais sugerem — mas você ainda precisa dos pesos inteiros em memória.

Opção 3: GGUF local

Tem GGUF e MLX oficiais. Se você já roda Ollama, o caminho é o de sempre — e se essa parte for nova pra você, o passo a passo está em como rodar um LLM local.

Só uma expectativa realista: 118B de pesos totais não roda numa 4060. Nem quantizado.

Limitações e pontos de atenção

O relato da comunidade não é unânime. No r/LocalLLaMA, o feedback recorrente nas primeiras 24h foi que o modelo "parece estar subpensando — responde rápido e prolixo, perde partes grandes das instruções". Se a sua task depende de seguir instrução longa com precisão, teste antes de migrar.

Benchmark não é o seu código. Terminal-Bench e SWE-Bench medem tarefas curadas. Seu monorepo com 12 anos de dívida técnica não está lá. Monte um eval com 20 a 50 casos do seu domínio antes de decidir qualquer coisa — é o que defendemos em evals para agentes de IA.

Licença OpenMDW-1.1. É uma licença de pesos abertos, mas "aberto" não é sinônimo de "faça o que quiser". Leia os termos antes de embutir o modelo num produto que você vende.

O modelo é de ontem. Suporte em runtime, quantizações da comunidade e correções de tokenizer ainda vão amadurecer nas próximas semanas.

FAQ rápido

Dá pra usar comercialmente? A licença é OpenMDW-1.1 e os pesos estão públicos no Hugging Face. Para uso comercial, leia o texto da licença — não confie em resumo de blog, incluindo este.

Preciso de quanto de VRAM? Depende da quantização. NVFP4 e INT4 são os caminhos viáveis para hardware de mercado. BF16 com 118B de pesos é território de datacenter.

Vale trocar o Claude ou o GPT-5.6 Sol por ele? Para tarefa de raciocínio pesado, os números dizem que não. Para volume alto de tarefa média com custo apertado, vale testar. Não é substituição — é uma peça a mais no roteador de modelos.

Roda no Ollama? Sim, tem GGUF e MLX oficiais, além de vLLM e SGLang.

Conclusão

O Laguna S 2.1 não destrona ninguém. O que ele faz é mais útil que isso: empurra pra baixo o preço de uma faixa inteira de tarefa de coding agêntico, com pesos que você pode baixar e rodar onde quiser.

E é isso que importa quando você está construindo produto de verdade. A pergunta nunca é "qual o modelo mais forte". É "qual o modelo mais barato que resolve esse caso com qualidade aceitável" — e essa resposta muda a cada duas semanas.

Se quiser comparar com as outras opções open-weight que apareceram nos últimos meses, vale olhar o que já escrevemos sobre o Qwen 3.8 Max e o GLM 5.2.

O próximo movimento óbvio é a poolside soltar a versão maior. Quando soltar, a conta muda de novo.