Benchmarks

Opus 5 empata com Sol, Terra iguala Fable por um quarto

Sol, Terra, Opus 5 e Fable 5 no mesmo agente: empate no topo, a mesma pontuação por um quarto do custo e níveis de esforço que podem prejudicar.

Nesta página
  1. O alinhamento: preços, janelas e níveis de esforço
  2. O que é que mais esforço compra realmente?
  3. Quem ganha quando o agente é idêntico?
  4. Um maintainer faria mesmo o merge?
  5. Os quadros dos especialistas: compreensão, testes, refactoring
  6. Terminais, VMs e a cauda difícil
  7. Como ler uma leaderboard de 2026?
  8. Que modelo fica com que trabalho?

Nenhum modelo ganha o desenvolvimento de software em julho de 2026. No DeepSWE da Datacurve, o único grande quadro que faz passar todos os modelos pelo mesmo agente, o Claude Opus 5 marca 74% e o GPT-5.6 Sol 73%, com barras de erro sobrepostas [1]. O GPT-5.6 Terra iguala os 70% do Claude Fable 5 por menos de um quarto do custo [1]. O que separa os quatro é o perfil, não a posição.

Ponho os modelos Claude e o Sol a trabalhar em repositórios reais todas as semanas; o Terra só o conheço pelos quadros abaixo. Esta é, portanto, a comparação que gostava que alguém tivesse escrito para mim: os dois ChatGPT mais fortes contra os dois Claude mais fortes, benchmark a benchmark, incluindo a parte que as threads de lançamento saltam, ou seja, o que cada número pode de facto significar.

O alinhamento: preços, janelas e níveis de esforço

Os quatro modelos dividem-se de forma limpa por papel. A OpenAI encaminha o alias simples gpt-5.6 para o Sol, “o modelo para a capacidade de topo”, e posiciona o Terra como o modelo que “equilibra inteligência e custo” [2] [3]. Os docs da Anthropic apontam o Opus 5 à programação agêntica complexa e ao trabalho empresarial, e o Fable 5, o topo da gama, aos agentes de longa duração [4].

Os preços de tabela contam a mesma história. O Sol custa 5 $ por milhão de tokens de entrada e 30 $ pela saída; o Terra exatamente metade, 2,50 $ e 15 $ [2]. O Opus 5 está a 5 $ e 25 $, o Fable 5 a 10 $ e 50 $ [5]. E o prémio da Anthropic continua a subir a partir daí: a página de preços lista um fast mode para o Opus 5, em pré-visualização de investigação, exatamente às tarifas do Fable [5].

Especificação SolTerraOpus 5Fable 5
Entrada, $/MTok 5,00 2,50 (Melhor valor da linha) 5,00 10,00
Saída, $/MTok 30 15 (Melhor valor da linha) 25 50
Leitura de cache, $/MTok 0,50 0,25 (Melhor valor da linha) 0,50 1,00
Janela de contexto 1,05M 1,05M 1M 1M
Níveis de esforço 6, de none a max 6, de none a max 5, de low a max 5, de low a max
Figura 1. Preços de tabela e especificações dos quatro modelos. Docs de programador da OpenAI e da Anthropic, julho de 2026.

A tabela numa linha: o Terra é o único desconto na sala, e as janelas de contexto estão tão próximas que deixam de diferenciar [2] [4].

Os botões de esforço merecem mais atenção do que os preços. O GPT-5.6 aceita seis valores, de none a max, e o guia da OpenAI chama a medium o ponto de partida equilibrado [3]. Os modelos Claude aceitam cinco, de low a max, vêm com high por omissão, e a Anthropic diz-lhe para subir o Opus 5 a xhigh em programação e trabalho agêntico exigentes, e para reservar max para tarefas que justifiquem um gasto de tokens sem restrições [6]. Nada garante que o high da OpenAI e o high da Anthropic comprem computação comparável. Os nomes de esforço são botões de cada fornecedor, não unidades.

O que é que mais esforço compra realmente?

Dez a quinze pontos de inteligência medida, por oito a dezasseis vezes os tokens. A Artificial Analysis pontua o Opus 5 de 51 em esforço low até 61 em max, o Sol de 49 a 59 e o Terra de 40 a 55 no seu Intelligence Index [9] [10] [11].

Esse índice, v4.1, mistura nove avaliações, do trabalho agêntico no terminal e das tarefas profissionais reais até ao GPQA Diamond e ao raciocínio de contexto longo, ponderadas em 34% agentes, 24% programação, 24% raciocínio científico e 18% geral [12]. É a melhor fotografia pública da curva de esforço, porque a mesma bateria correu em todos os níveis.

  • Opus 5
  • Sol
  • Terra
Intelligence Index por nível de esforço para Opus 5, Sol e Terra O Opus 5 lidera em todos os níveis, o Sol segue a dois pontos, o Terra fica atrás mas é quem mais sobe, de 40 para 55. 30 40 50 60 70 low medium high xhigh max
Ver os dados em tabela
Esforço Opus 5SolTerra
low 514940
medium 565446
high 595649
xhigh 605852
max 615955
Figura 2. Intelligence Index v4.1 por nível de esforço. Artificial Analysis, consultado a 30 de julho de 2026.

Duas coisas saltam à vista na figura 2. As curvas quase não se cruzam, por isso a hierarquia sobrevive a qualquer nível. E o topo é plano: o degrau impresso do Opus 5 de 60 para 61 vale 0,62 pontos de índice sem arredondamento, comprados ao subir a fatura de saída da bateria de 76 para 100 milhões de tokens [9].

As faturas de tokens são a curva verdadeira. O Opus 5 gastou 12 milhões de tokens de saída na bateria em low e 100 milhões em max; o Sol foi de 6,6 para 70 milhões; o Terra de 5,9 para 96 [9] [10] [11]. O último degrau do Terra é o caro: de xhigh para max quase triplica os tokens por três pontos de índice [11].

O Fable 5 não tem varrimento público de esforço. A Artificial Analysis lista exatamente uma configuração, max, com 60, um ponto arredondado abaixo do Opus 5, gerada com 87 milhões de tokens [13]. Os dois topos de gama da Anthropic correram com fallback do lado do servidor para o Opus 4.8 nos prompts que a sua camada de segurança trava [13] [14]. O veredicto de lançamento da AA sobre o Opus 5 resume esta secção: inteligência de nível Fable a 2,03 $ por tarefa do índice contra os 2,75 $ do Fable [14].

Quem ganha quando o agente é idêntico?

Ninguém, e é essa a conclusão. O DeepSWE faz passar os 18 modelos pelo mesmo mini-swe-agent, e em esforço máximo o Opus 5 resolve 74% ± 4 das tarefas e o Sol 73% ± 3 [1]. Os intervalos sobrepõem-se largamente. O Fable 5 e o Terra ficam empatados nos 70% [1].

O DeepSWE é a comparação em que mais confio porque elimina a variável do harness. As suas 113 tarefas cobrem 91 repositórios e cinco linguagens, foram escritas de raiz para que nenhum modelo tivesse visto uma solução no treino, e são avaliadas por verificadores escritos à mão que testam comportamento em vez de detalhes de implementação [1]. Os prompts têm cerca de metade do comprimento dos do SWE-bench Pro e as soluções exigem 5,5 vezes mais código [1].

Medição Opus 5SolFable 5Terra
Tarefas resolvidas, % 74 73 70 70
Custo por tarefa, $ 11,84 8,39 21,63 4,95 (Melhor valor da linha)
Tokens de saída, K 118 60 (Melhor valor da linha) 119 72
Passos do agente 99 61 (Melhor valor da linha) 88 76
Figura 3. DeepSWE v1.1 em esforço máximo, o mesmo mini-swe-agent para todos os modelos. Datacurve, atualizado a 25 de julho de 2026.

A linha das resolvidas na figura 3 está por marcar de propósito: 74 ± 4 contra 73 ± 3 é um empate, e a própria Datacurve avisa que as configurações de topo “sobrepõem-se frequentemente nos intervalos de confiança” [1]. As outras linhas separam com nitidez. O Sol chegou ao mesmo resultado com metade dos tokens de saída, em 61 passos contra os 99 do Opus 5, a 8,39 $ por tarefa contra 11,84 $ [1]. O Opus investiga mais tempo. O Sol entrega mais cedo.

O Terra é a linha que reprecifica o mercado: os mesmos 70% do Fable 5 a 4,95 $ por tarefa tentada contra 21,63 $ [1]. Divida o custo por tentativa pela taxa de resolução, o piso otimista que usei nos números do Kimi K3, e uma tarefa resolvida custa 7,07 $ no Terra e 30,90 $ no Fable.

tarefas resolvidas em esforço máximo
70%
a par do Fable 5 max
medido, por tarefa tentada
4,95 $
Fable 5 max: 21,63 $
derivado, por tarefa resolvida
7,07 $
o mais barato dos quatro em max
Figura 4. O que a linha do Terra no DeepSWE significa em dinheiro. Custos medidos pela Datacurve; o valor por tarefa resolvida é aritmética minha.

De qualquer forma, max raramente é o nível racional neste quadro. O Opus 5 em esforço high mantém 73% ± 2 a 6,08 $, igualando o Sol max por menos dinheiro; o Sol em xhigh mantém 71% ± 1 a 4,70 $, o intervalo mais apertado perto do topo [1]. O Fable nunca bate aqui a sua versão mais barata: xhigh faz os mesmos 70% de max a 13,41 $ em vez de 21,63 $ [1]. A própria fronteira custo-pontuação da Datacurve marca como configurações eficientes o Opus 5 em max, o Fable 5 em high e o Sol em medium [1].

Um maintainer faria mesmo o merge?

O FrontierCode da Cognition faz exatamente essa pergunta, e reordena o campo. As tarefas são escritas por maintainers dos repositórios em teste, as execuções que consultam fontes com a solução recebem zero, e a avaliação cobre correção, qualidade dos testes, âmbito e convenções da base de código [15]. As melhores configurações: Fable 5 xhigh com 53,5, Opus 5 medium com 53,4, Sol max com 47,5, Terra max com 41,3 [15].

Releia essa lista. A melhor qualidade de patch do Opus 5 sai do seu segundo nível de esforço mais baixo.

  • Fable 5
  • Opus 5
  • Sol
Pontuação FrontierCode por nível de esforço para Fable 5, Opus 5 e Sol O Sol sobe a cada degrau até 47,5, o Fable 5 atinge o pico em xhigh com 53,5, o Opus 5 atinge o pico em medium com 53,4 e cai para 43,6 em xhigh. 30 40 50 60 low medium high xhigh max
Ver os dados em tabela
Esforço Fable 5Opus 5Sol
low 48,041,935,4
medium 49,853,439,9
high 52,748,045,1
xhigh 53,543,646,8
max 51,648,047,5
Figura 5. FrontierCode 1.1, conjunto principal, por nível de esforço. Dados da leaderboard da Cognition, julho de 2026.

A figura 5 é o gráfico mais útil que encontrei em toda a semana. O Sol sobe a cada passo do botão, de 35,4 para 47,5, portanto mais esforço compra ao Sol um patch melhor, de forma fiável [15]. O Fable atinge o pico em xhigh e devolve 1,9 pontos em max [15]. O Opus 5 atinge o pico em medium com 53,4, cai para 43,6 em xhigh e só recupera parcialmente em max [15]. A system card da Anthropic imprime a mesma curva e declara ela própria a âncora: melhor pontuação do conjunto principal em medium [16].

O mecanismo vê-se na avaliação. O FrontierCode pontua a disciplina de âmbito [15] e verifica padrões de implementação proibidos [16], e mais esforço faz um modelo explorar mais, tocar em mais, alargar mais. Numa bancada de investigação aberta, é essa a graça. Dentro de um pull request delimitado, lê-se como alargamento de âmbito. É a versão em benchmark do que escrevi quando o Opus 5 geriu a minha semana: um ótimo funcionário cujo chefe não para de se atribuir trabalho extra.

Duas notas de rodapé antes de coroarem o Fable. A vantagem de 0,1 pontos sobre o Opus 5 medium estende-se por cinco execuções por configuração e taxas de aprovação idênticas de 58,9%, por isso é ruído; os custos não são, com 13,09 $ por rollout para o Fable xhigh contra 4,30 $ para o Opus medium [15]. E até o melhor Sol fica abaixo do pior Fable: 47,5 contra 48,0 em low [15]. Na avaliação de qualidade de merge, a pilha Claude lidera sem discussão, com a ressalva habitual: o Claude correu no Claude Code e o GPT-5.6 no Codex [15].

Os quadros dos especialistas: compreensão, testes, refactoring

A família SWE Atlas da Scale mede o que uma taxa de resolução esconde, e é onde os quatro perfis mais se separam.

O Codebase QnA entrega ao agente um repositório real num contentor e 124 perguntas que exigem executar o software e seguir a execução, com peso para a arquitetura (35%) e a análise de causa raiz (30%) [17]. A Scale Labs pontua o Sol em xhigh no Codex com 46,0 ± 5,0, o Fable 5 com 39,0 ± 5,0 no Claude Code, e anota que ambos os modelos recusaram perguntas inofensivas que acionaram filtros de segurança, com as recusas contadas como zero [17]. Nem o Opus 5 nem o Terra têm linha. O quadro inteiro é liderado pela geração anterior: o Opus 4.8 com 57,26 [17].

Executadas por outro laboratório, as mesmas 124 perguntas invertem-se. Dentro do Coding Agent Index da Artificial Analysis, o Opus 5 xhigh assina a melhor componente SWE-Atlas-QnA com 54,8, à frente dos 48,9 do Fable, com o Sol max em 43,3 [18]. O mesmo conjunto de tarefas, execuções diferentes, ordem oposta. Guarde isso para a secção seguinte.

O Test Writing é o engenhoso: 90 tarefas em que os testes gerados têm de passar contra a implementação real e depois falhar quando o código relevante é mutado, para que testes ocos não valham nada [19]. O Fable 5 lidera com 55,6 ± 5,8 contra os 45,9 ± 6,0 do Sol, embora a classificação por intervalos do quadro ainda liste ambos no lugar 1 [19].

  • Fable 5
  • Sol
Pontuações SWE Atlas em Codebase QnA e Test Writing O Sol lidera a compreensão de código 46,0 a 39,0, o Fable 5 lidera a escrita de testes 55,6 a 45,9. Codebase QnA 39,0 46,0 Test Writing 55,6 45,9
Ver os dados em tabela
Benchmark Fable 5Sol
Codebase QnA 39,046,0
Test Writing 55,645,9
Figura 6. Pontuações SWE Atlas, Fable 5 (Claude Code, xhigh) contra Sol (Codex, xhigh). Scale Labs, 28 de julho de 2026.

Os dois quadros da figura 6 apontam em direções opostas, e esse é o perfil em miniatura: na execução da Scale, o Sol lê um sistema desconhecido um pouco melhor, o Fable testa-o bastante melhor.

O refactoring é a vitória mais nítida do Fable: 54,76 ± 6,76, no topo de um quadro cujas 70 tarefas cobrem decomposição, evolução de interfaces, extração e realocação, e cujos avaliadores procuram regressões, call sites partidos, dependências circulares e código morto esquecido [20]. Não existe linha do Opus 5, do Sol nem do Terra; a melhor configuração GPT listada é o GPT-5.5 da geração anterior com 44,79 [20]. Uma linha ausente não é um zero. Mas o resultado em vigor pertence ao Fable.

Terminais, VMs e a cauda difícil

O Terminal-Bench 2.1 mede se um modelo consegue conduzir uma shell até um estado final verificado, e o topo é um foto-finish. Na execução independente da Artificial Analysis, o Sol em xhigh lidera com 89,5%, o Opus 5 max marca 89,1% e três configurações, Sol max, Terra max e Opus 5 xhigh, caem num 88,0% idêntico [21]. Com 89 tarefas e três repetições [12], uma única tentativa virada move uma pontuação cerca de 0,4 pontos. O Fable 5 segue com 84,6% [21].

Pontuações Terminal-Bench v2.1, melhor configuração por modelo O Sol xhigh lidera com 89,5 por cento, o Opus 5 max com 89,1, o Terra max com 88,0, o Fable 5 max com 84,6. Sol xhigh 89,5% Opus 5 max 89,1% Terra max 88,0% Fable 5 max 84,6%
Ver os dados em tabela
Configuração Valor
Sol xhigh 89,5%
Opus 5 max 89,1%
Terra max 88,0%
Fable 5 max 84,6%
Figura 7. Terminal-Bench v2.1, melhor configuração por modelo. Artificial Analysis, consultado a 30 de julho de 2026.

A lição da figura 7: a coroa do terminal é um erro de arredondamento partilhado por três modelos, e o Fable é o único visivelmente atrás. Repare que o Terra acompanha aqui os topos de gama, a 2,50 $ por milhão de tokens de entrada [2] [21]. A própria tabela de lançamento da OpenAI conta uma história parecida com outros dígitos, Sol 88,8%, Terra 87,4%, Fable 5 83,1% [7], e o desacordo entre execuções próprias e independentes tem mais ou menos o tamanho das diferenças em disputa.

O FrontierBench v0.1 é o sucessor, construído pela mesma equipa: 74 tarefas mais duras inclinadas para biologia computacional, simulação física, CAD, provas formais e trabalho de desempenho em GPU [16]. A Anthropic correu-o no mini-swe-agent e reporta o Opus 5 com 44,4% em esforço xhigh, o seu melhor, com max dentro do ruído nos 43% e high a chegar aos 39% com menos 19% de tokens de saída; o Sol fica nos 37,5% e o Fable 5 nos 33,7%, ambos em max [16]. Em problemas genuinamente abertos, o Opus 5 lidera os quatro com clareza.

Dois quadros vizinhos completam a cauda agêntica. No OSWorld 2.0, onde o modelo conduz uma VM Ubuntu real com rato e teclado durante até 500 ações por tarefa, o Opus 5 faz 70,6%, o Fable 5 66,1% e o Sol 62,6%, com o valor do Sol retirado do próprio post de lançamento da OpenAI [16]. No AutomationBench da Zapier, uma empresa simulada com 47 aplicações e políticas de negócio em camadas, o Opus 5 max faz 26,0% e o Opus 5 medium 24% a 0,89 $ por tarefa, contra 18,1% do Sol e 17,4% do Fable [16]. Quanto mais desarrumado e preso a ferramentas é o ambiente, mais o Opus se destaca. E medium continua a envergonhar max.

Como ler uma leaderboard de 2026?

Como a medição de um modelo a usar um agente específico, num esforço específico, sob um avaliador específico. Mude qualquer um dos três e o número mexe-se, às vezes mais do que a distância entre o primeiro e o quarto lugar. Cinco hábitos mantêm a leitura honesta.

O hábitoA prova nesta comparação
Pergunte que harness correuO SWE-bench Pro lê Fable 80,0, Opus 5 79,2, Sol 64,6, cada fornecedor no seu próprio agente [16]; o agente partilhado do DeepSWE comprime os mesmos modelos em quatro pontos [1]
Respeite as barras de erro74 ± 4 contra 73 ± 3 [1]; três empates exatos nos 88,0% [21]; uma vantagem de 0,1 pontos em cinco execuções [15]
Repare na saturaçãoO Opus 5 faz 96,0% no SWE-bench Verified [16]; um quadro sem margem não ordena nada
Verifique a versãoA página de lançamento da OpenAI cita o Coding Agent Index v1.1 com o Sol em 80 [7]; o v1.3 ao vivo dá ao Sol max 67 [18]
Ausente não é zeroO Opus 5 não tem linha em nenhum dos três quadros da Scale [17] [19] [20]; o Terra quase não existe fora do DeepSWE e do FrontierCode

A linha da versão merece mais uma frase, porque é a mais traiçoeira. Um 80 em v1.1 e um 67 em v1.3 descrevem a mesma família de modelos no índice com o mesmo nome e não são comparáveis de todo; o DeepSWE reavaliou da mesma forma o GPT-5.5 xhigh de 70% para 67% entre os conjuntos v1 e v1.1 [1]. Um nome de benchmark sem número de versão é uma impressão.

Até as fontes primárias vacilam. A tabela-resumo da system card do Opus 5 rotula a execução do Sol no FrontierBench como Codex enquanto o texto de métodos diz mini-swe-agent na mesma infraestrutura, e o documento não resolve a contradição [16]. A sua vitória no SWE-bench Multimodal, 59,4 contra 54,1 do Fable, sai de um harness interno modificado a partir do público [16]. A Scale, por seu lado, concede às linhas mini-swe-agent mais recentes 500 passos onde as execuções anteriores tiveram 250, e observa que os modelos de fronteira rendem simplesmente melhor nos seus scaffolds nativos [17]. Nada disto é fraude. É o aspeto que tem medir um sistema em movimento, e é por isso que a verificação do hype do Kimi K3 e do GLM-5.2 chegou à mesma conclusão a partir de outros dados: as afirmações de capacidade sobrevivem ao escrutínio, as de comparabilidade quase nunca.

Que modelo fica com que trabalho?

O Terra para o volume de rotina, o Sol para objetivos conhecidos, o Opus 5 para problemas desconhecidos, o Fable 5 para alterações que têm de fazer merge limpas. É a isso que os perfis acima somam, e o nível de esforço conta tanto como o nome do modelo.

O trabalhoA minha escolhaEsforço
Endpoints de rotina, mappings, testes pequenos, configTerramedium ou high
Um pull request delimitado com critérios de aceitação clarosOpus 5medium
Implementar um plano conhecido, corrigir um bug reproduzívelSolhigh
Encontrar a causa raiz de uma falha desconhecidaOpus 5high ou xhigh
Estratégia de testes para uma feature que importaFable 5xhigh
Refactoring à escala do repositório e migrações de interfacesFable 5xhigh
Sessões longas de terminal e depuraçãoSol ou Opus 5high ou xhigh
Engenharia aberta sem solução conhecidaOpus 5xhigh

Nenhum destes quadros correu o meu stack, e nenhum correu o seu, por isso a tabela é uma inferência a partir dos perfis, não uma medição. As regras de esforço, essas, estão medidas. O Sol é o único dos quatro cuja qualidade de merge subiu com cada passo do botão [15]. O Fable atinge o teto em xhigh nos quadros que lidera [15] [19]. O Opus 5 quer o botão ajustado ao trabalho: medium para uma alteração delimitada [15], xhigh quando o problema está genuinamente aberto [16]. Os docs de ambos os fornecedores coincidem com as suas curvas: a OpenAI chama a medium o arranque equilibrado [3], a Anthropic vem com high por omissão e trata max como a exceção que tem de justificar a sua fatura de tokens [6].

Três resultados redesenhariam esta tabela: uma linha do Opus 5 nos quadros da Scale, um varrimento público de esforço para o Fable 5 e qualquer um destes quatro medido no harness do fornecedor rival. Até lá, compre o perfil, não a posição. O modelo mais caro desta comparação não é o melhor na maioria dos trabalhos, o mais barato fica embaraçosamente perto em metade deles, e a mudança de configuração mais valiosa não custa nada: baixar o botão do esforço.

Fontes

  1. DeepSWE leaderboardDatacurve · 2026-07-25
  2. API modelsOpenAI Developers
  3. Latest model guideOpenAI Developers
  4. Models overviewClaude Platform Docs
  5. PricingClaude Platform Docs
  6. EffortClaude Platform Docs
  7. GPT-5.6OpenAI
  8. Codex modelsChatGPT Docs
  9. Claude Opus 5 analysisArtificial Analysis
  10. GPT-5.6 Sol analysisArtificial Analysis
  11. GPT-5.6 Terra analysisArtificial Analysis
  12. Intelligence benchmarking methodologyArtificial Analysis
  13. Claude Fable 5 analysisArtificial Analysis
  14. Opus 5: Fable 5 level intelligence at a lower cost per taskArtificial Analysis · 2026-07-24
  15. FrontierCode leaderboardCognition · 2026-07-07
  16. Claude Opus 5 system cardAnthropic on alphaXiv · 2026-07-24
  17. SWE Atlas: Codebase QnAScale Labs · 2026-07-28
  18. Coding Agent IndexArtificial Analysis
  19. SWE Atlas: Test WritingScale Labs · 2026-07-28
  20. SWE Atlas: RefactoringScale Labs
  21. Terminal-Bench v2.1 evaluationArtificial Analysis