Benchmark

Opus 5 pareggia con Sol, Terra eguaglia Fable a un quarto

Sol, Terra, Opus 5 e Fable 5 sullo stesso agente: pareggio in vetta, lo stesso punteggio a un quarto del costo e livelli di effort che possono nuocere.

In questa pagina
  1. La formazione: prezzi, finestre e livelli di effort
  2. Cosa compra davvero più effort?
  3. Chi vince quando l’agente è identico?
  4. Un maintainer farebbe davvero il merge?
  5. Le classifiche degli specialisti: comprensione, test, refactoring
  6. Terminali, VM e la coda difficile
  7. Come si legge una leaderboard nel 2026?
  8. Quale modello per quale lavoro?

Nessun modello vince lo sviluppo software a luglio 2026. Su DeepSWE di Datacurve, l’unica grande classifica che fa passare ogni modello per lo stesso agente, Claude Opus 5 segna il 74% e GPT-5.6 Sol il 73%, con barre d’errore che si sovrappongono [1]. GPT-5.6 Terra eguaglia il 70% di Claude Fable 5 a meno di un quarto del costo [1]. Ciò che separa i quattro è il profilo, non la posizione.

Uso i modelli Claude e Sol su repository veri ogni settimana; Terra lo conosco solo dalle classifiche qui sotto. Questo è quindi il confronto che avrei voluto leggere: i due ChatGPT più forti contro i due Claude più forti, benchmark per benchmark, compresa la parte che i thread di lancio saltano, cioè cosa ogni numero ha il diritto di significare.

La formazione: prezzi, finestre e livelli di effort

I quattro modelli si dividono in modo pulito per ruolo. OpenAI instrada l’alias nudo gpt-5.6 verso Sol, “il modello per la capacità di punta”, e posiziona Terra come il modello che “bilancia intelligenza e costo” [2] [3]. I doc di Anthropic puntano Opus 5 al coding agentico complesso e al lavoro enterprise, e Fable 5, il vertice della gamma, agli agenti a lunga esecuzione [4].

I prezzi di listino raccontano la stessa storia. Sol costa 5 $ per milione di token in input e 30 $ in output; Terra esattamente la metà, 2,50 $ e 15 $ [2]. Opus 5 sta a 5 $ e 25 $, Fable 5 a 10 $ e 50 $ [5]. E il sovrapprezzo di Anthropic continua a salire: la pagina dei prezzi elenca un fast mode per Opus 5, in anteprima di ricerca, esattamente alle tariffe di Fable [5].

Specifica SolTerraOpus 5Fable 5
Input, $/MTok 5,00 2,50 (Valore migliore della riga) 5,00 10,00
Output, $/MTok 30 15 (Valore migliore della riga) 25 50
Lettura cache, $/MTok 0,50 0,25 (Valore migliore della riga) 0,50 1,00
Finestra di contesto 1,05M 1,05M 1M 1M
Livelli di effort 6, da none a max 6, da none a max 5, da low a max 5, da low a max
Figura 1. Prezzi di listino e specifiche dei quattro modelli. Doc per sviluppatori di OpenAI e Anthropic, luglio 2026.

La tabella in una riga: Terra è l’unico sconto nella stanza, e le finestre di contesto sono così vicine da smettere di fare differenza [2] [4].

Le manopole dell’effort meritano più attenzione dei prezzi. GPT-5.6 accetta sei valori, da none a max, e la guida di OpenAI chiama medium il punto di partenza equilibrato [3]. I modelli Claude ne accettano cinque, da low a max, con high di default, e Anthropic ti dice di alzare Opus 5 a xhigh per il coding e il lavoro agentico impegnativi, e di riservare max ai task che giustificano una spesa di token senza vincoli [6]. Niente garantisce che l’high di OpenAI e l’high di Anthropic comprino calcolo paragonabile. I nomi degli effort sono manopole di ciascun fornitore, non unità di misura.

Cosa compra davvero più effort?

Da dieci a quindici punti di intelligenza misurata, per una spesa di token da otto a sedici volte. Artificial Analysis valuta Opus 5 da 51 a effort low fino a 61 a max, Sol da 49 a 59 e Terra da 40 a 55 sul suo Intelligence Index [9] [10] [11].

Quell’indice, v4.1, mescola nove valutazioni, dal lavoro agentico in terminale e dai compiti professionali reali fino a GPQA Diamond e al ragionamento su contesto lungo, pesate 34% agenti, 24% coding, 24% ragionamento scientifico e 18% generale [12]. È la migliore foto pubblica della curva dell’effort, perché la stessa batteria è girata a ogni livello.

  • Opus 5
  • Sol
  • Terra
Intelligence Index per livello di effort per Opus 5, Sol e Terra Opus 5 guida a ogni livello, Sol segue a due punti, Terra resta indietro ma sale più in fretta, da 40 a 55. 30 40 50 60 70 low medium high xhigh max
Mostra i dati in tabella
Effort Opus 5SolTerra
low 514940
medium 565446
high 595649
xhigh 605852
max 615955
Figura 2. Intelligence Index v4.1 per livello di effort. Artificial Analysis, consultato il 30 luglio 2026.

Dalla figura 2 emergono due cose. Le curve quasi non si incrociano, quindi le gerarchie sopravvivono a qualunque livello. E la cima è piatta: il passo stampato di Opus 5 da 60 a 61 vale 0,62 punti di indice non arrotondati, comprati portando la bolletta di output della batteria da 76 a 100 milioni di token [9].

Le bollette di token sono la curva vera. Opus 5 ha speso 12 milioni di token di output sulla batteria a low e 100 milioni a max; Sol è passato da 6,6 a 70 milioni; Terra da 5,9 a 96 [9] [10] [11]. L’ultimo gradino di Terra è quello caro: da xhigh a max quasi triplica i suoi token per tre punti di indice [11].

Fable 5 non ha uno sweep pubblico di effort. Artificial Analysis elenca esattamente una configurazione, max, a 60, un punto arrotondato sotto Opus 5, generata con 87 milioni di token [13]. Entrambe le ammiraglie di Anthropic sono girate con fallback lato server verso Opus 4.8 per i prompt che il loro strato di sicurezza blocca [13] [14]. Il verdetto di lancio di AA su Opus 5 riassume la sezione: intelligenza di livello Fable a 2,03 $ per task dell’indice contro i 2,75 $ di Fable [14].

Chi vince quando l’agente è identico?

Nessuno, ed è proprio questo il risultato. DeepSWE fa passare tutti i 18 modelli per lo stesso mini-swe-agent, e a effort massimo Opus 5 risolve il 74% ± 4 dei task, Sol il 73% ± 3 [1]. Gli intervalli si sovrappongono ampiamente. Fable 5 e Terra chiudono appaiati al 70% [1].

DeepSWE è il confronto di cui mi fido di più perché elimina la variabile dell’harness. I suoi 113 task coprono 91 repository e cinque linguaggi, sono scritti da zero perché nessun modello abbia visto una soluzione in addestramento, e sono valutati da verificatori scritti a mano che testano il comportamento invece dei dettagli di implementazione [1]. I prompt sono lunghi circa la metà di quelli di SWE-bench Pro mentre le soluzioni richiedono 5,5 volte più codice [1].

Misura Opus 5SolFable 5Terra
Task risolti, % 74 73 70 70
Costo per task, $ 11,84 8,39 21,63 4,95 (Valore migliore della riga)
Token di output, K 118 60 (Valore migliore della riga) 119 72
Passi dell'agente 99 61 (Valore migliore della riga) 88 76
Figura 3. DeepSWE v1.1 a effort massimo, lo stesso mini-swe-agent per ogni modello. Datacurve, aggiornato al 25 luglio 2026.

La riga dei task risolti nella figura 3 è volutamente senza marcatore: 74 ± 4 contro 73 ± 3 è un pareggio, e Datacurve stessa avverte che le configurazioni di punta “spesso si sovrappongono negli intervalli di confidenza” [1]. Le altre righe invece separano. Sol è arrivato allo stesso risultato con metà dei token di output, in 61 passi contro i 99 di Opus 5, a 8,39 $ per task contro 11,84 $ [1]. Opus indaga più a lungo. Sol consegna prima.

Terra è la riga che riprezza il mercato: lo stesso 70% di Fable 5 a 4,95 $ per task tentato contro 21,63 $ [1]. Dividi il costo per tentativo per il tasso di risoluzione, il pavimento ottimista che avevo usato sui numeri di Kimi K3, e un task risolto costa 7,07 $ su Terra e 30,90 $ su Fable.

task risolti a effort massimo
70%
alla pari con Fable 5 max
misurato, per task tentato
4,95 $
Fable 5 max: 21,63 $
derivato, per task risolto
7,07 $
il più economico dei quattro a max
Figura 4. Cosa significa in denaro la riga DeepSWE di Terra. Costi misurati da Datacurve; la cifra per task risolto è aritmetica mia.

Max, comunque, è raramente il livello razionale su questa classifica. Opus 5 a effort high tiene il 73% ± 2 a 6,08 $, eguagliando Sol max per meno soldi; Sol a xhigh tiene il 71% ± 1 a 4,70 $, l’intervallo più stretto vicino alla vetta [1]. Fable qui non batte mai la sua versione più economica: xhigh fa lo stesso 70% di max a 13,41 $ invece di 21,63 $ [1]. La stessa frontiera costo-punteggio di Datacurve indica come configurazioni efficienti Opus 5 a max, Fable 5 a high e Sol a medium [1].

Un maintainer farebbe davvero il merge?

FrontierCode di Cognition pone esattamente questa domanda, e rimescola il campo. I task li scrivono i maintainer dei repository sotto esame, le esecuzioni che consultano fonti contenenti la soluzione prendono zero, e la valutazione copre correttezza, qualità dei test, perimetro e convenzioni del codice [15]. Le configurazioni migliori: Fable 5 xhigh a 53,5, Opus 5 medium a 53,4, Sol max a 47,5, Terra max a 41,3 [15].

Rileggi quella lista. La miglior qualità di patch di Opus 5 esce dal suo secondo livello di effort più basso.

  • Fable 5
  • Opus 5
  • Sol
Punteggio FrontierCode per livello di effort per Fable 5, Opus 5 e Sol Sol sale a ogni gradino fino a 47,5, Fable 5 tocca il picco a xhigh con 53,5, Opus 5 tocca il picco a medium con 53,4 e scende a 43,6 a xhigh. 30 40 50 60 low medium high xhigh max
Mostra i dati in tabella
Effort Fable 5Opus 5Sol
low 48,041,935,4
medium 49,853,439,9
high 52,748,045,1
xhigh 53,543,646,8
max 51,648,047,5
Figura 5. FrontierCode 1.1, set principale, per livello di effort. Dati della leaderboard di Cognition, luglio 2026.

La figura 5 è il grafico più utile che abbia trovato in tutta la settimana. Sol sale a ogni scatto della manopola, da 35,4 a 47,5, quindi più effort compra a Sol una patch migliore, in modo affidabile [15]. Fable tocca il picco a xhigh e restituisce 1,9 punti a max [15]. Opus 5 tocca il picco a medium con 53,4, crolla a 43,6 a xhigh e recupera solo in parte a max [15]. La system card di Anthropic stampa la stessa curva e dichiara da sola il punto di ancoraggio: miglior punteggio del set principale a medium [16].

Il meccanismo si vede nella valutazione. FrontierCode dà punti alla disciplina di perimetro [15] e controlla i pattern di implementazione vietati [16], e più effort spinge un modello a esplorare di più, toccare di più, allargare di più. Su un banco di ricerca aperto è il punto della cosa. Dentro una pull request delimitata si legge come scope creep. È la versione da benchmark di ciò che scrissi quando Opus 5 gestì la mia settimana: un ottimo dipendente il cui capo continua ad assegnarsi lavoro extra.

Due note a piè di pagina prima di incoronare Fable. Il vantaggio di 0,1 punti su Opus 5 medium copre cinque esecuzioni per configurazione e tassi di superamento identici al 58,9%, quindi è rumore; i costi no, con 13,09 $ per rollout per Fable xhigh contro 4,30 $ per Opus medium [15]. E persino il miglior Sol sta sotto il peggior Fable: 47,5 contro 48,0 a low [15]. Sulla valutazione della qualità di merge lo stack Claude guida e basta, con la solita avvertenza: Claude girava in Claude Code e GPT-5.6 in Codex [15].

Le classifiche degli specialisti: comprensione, test, refactoring

La famiglia SWE Atlas di Scale misura ciò che un tasso di risoluzione nasconde, ed è lì che i quattro profili si separano di più.

Codebase QnA consegna all’agente un repository vero in un container e 124 domande che richiedono di eseguire il software e tracciarne l’esecuzione, sbilanciate verso architettura (35%) e analisi delle cause profonde (30%) [17]. Scale Labs assegna a Sol a xhigh in Codex 46,0 ± 5,0, a Fable 5 39,0 ± 5,0 in Claude Code, e annota che entrambi i modelli hanno rifiutato domande innocue che facevano scattare filtri di sicurezza, con i rifiuti contati come zero [17]. Né Opus 5 né Terra hanno una riga. L’intera classifica è guidata dalla generazione precedente: Opus 4.8 a 57,26 [17].

Eseguite da un altro laboratorio, le stesse 124 domande si ribaltano. Dentro il Coding Agent Index di Artificial Analysis, Opus 5 xhigh firma la miglior componente SWE-Atlas-QnA a 54,8, davanti al 48,9 di Fable, con Sol max a 43,3 [18]. Stesso set di task, esecuzioni diverse, ordine opposto. Tienilo a mente per la prossima sezione.

Test Writing è quello ingegnoso: 90 task in cui i test generati devono passare contro l’implementazione vera e poi fallire quando il codice rilevante viene mutato via, così i test vuoti non valgono nulla [19]. Fable 5 guida con 55,6 ± 5,8 contro il 45,9 ± 6,0 di Sol, anche se la graduatoria per intervalli della classifica li elenca ancora entrambi al posto 1 [19].

  • Fable 5
  • Sol
Punteggi SWE Atlas su Codebase QnA e Test Writing Sol guida la comprensione del codice 46,0 a 39,0, Fable 5 guida la scrittura di test 55,6 a 45,9. Codebase QnA 39,0 46,0 Test Writing 55,6 45,9
Mostra i dati in tabella
Benchmark Fable 5Sol
Codebase QnA 39,046,0
Test Writing 55,645,9
Figura 6. Punteggi SWE Atlas, Fable 5 (Claude Code, xhigh) contro Sol (Codex, xhigh). Scale Labs, 28 luglio 2026.

Le due classifiche della figura 6 puntano in direzioni opposte, ed è il profilo in miniatura: nell’esecuzione di Scale, Sol legge un sistema sconosciuto un po’ meglio, Fable lo testa parecchio meglio.

Il refactoring è la vittoria più netta di Fable: 54,76 ± 6,76, in cima a una classifica i cui 70 task coprono scomposizione, evoluzione delle interfacce, estrazione e ricollocazione, e i cui valutatori cercano regressioni, call site rotti, dipendenze circolari e codice morto dimenticato [20]. Non esiste una riga per Opus 5, Sol o Terra; la miglior configurazione GPT elencata è il GPT-5.5 della generazione precedente a 44,79 [20]. Una riga assente non è uno zero. Ma il risultato in carica appartiene a Fable.

Terminali, VM e la coda difficile

Terminal-Bench 2.1 misura se un modello sa portare una shell a uno stato finale verificato, e in vetta è un fotofinish. Nell’esecuzione indipendente di Artificial Analysis, Sol a xhigh guida con l’89,5%, Opus 5 max segna l’89,1% e tre configurazioni, Sol max, Terra max e Opus 5 xhigh, atterrano su un identico 88,0% [21]. Con 89 task e tre ripetizioni [12], un singolo tentativo ribaltato sposta un punteggio di circa 0,4 punti. Fable 5 segue all’84,6% [21].

Punteggi Terminal-Bench v2.1, migliore configurazione per modello Sol xhigh guida con 89,5 per cento, Opus 5 max con 89,1, Terra max con 88,0, Fable 5 max con 84,6. Sol xhigh 89,5% Opus 5 max 89,1% Terra max 88,0% Fable 5 max 84,6%
Mostra i dati in tabella
Configurazione Valore
Sol xhigh 89,5%
Opus 5 max 89,1%
Terra max 88,0%
Fable 5 max 84,6%
Figura 7. Terminal-Bench v2.1, migliore configurazione per modello. Artificial Analysis, consultato il 30 luglio 2026.

La lezione della figura 7: la corona del terminale è un errore di arrotondamento condiviso da tre modelli, e Fable è l’unico visibilmente staccato. Nota che Terra qui tiene il passo delle ammiraglie, a 2,50 $ per milione di token in input [2] [21]. La tabella di lancio di OpenAI racconta una storia simile con altre cifre, Sol 88,8%, Terra 87,4%, Fable 5 83,1% [7], e il disaccordo tra esecuzioni in casa e indipendenti è più o meno della taglia dei distacchi su cui si litiga.

FrontierBench v0.1 è il successore, costruito dalla stessa squadra: 74 task più duri orientati a biologia computazionale, simulazione fisica, CAD, dimostrazioni formali e lavoro sulle prestazioni GPU [16]. Anthropic l’ha fatto girare su mini-swe-agent e riporta Opus 5 al 44,4% a effort xhigh, il suo massimo, con max dentro il rumore al 43% e high al 39% con il 19% di token di output in meno; Sol atterra al 37,5% e Fable 5 al 33,7%, entrambi a max [16]. Sui problemi davvero aperti, Opus 5 guida i quattro senza discussione.

Due classifiche vicine completano la coda agentica. Su OSWorld 2.0, dove il modello guida una vera VM Ubuntu con mouse e tastiera per fino a 500 azioni per task, Opus 5 fa il 70,6%, Fable 5 il 66,1% e Sol il 62,6%, con la cifra di Sol presa dal post di lancio di OpenAI [16]. Su AutomationBench di Zapier, un’azienda simulata con 47 app e policy aziendali a strati, Opus 5 max fa il 26,0% e Opus 5 medium il 24% a 0,89 $ per task, contro il 18,1% di Sol e il 17,4% di Fable [16]. Più l’ambiente è disordinato e legato agli strumenti, più Opus allunga. E medium continua a mettere in imbarazzo max.

Come si legge una leaderboard nel 2026?

Come la misura di un modello che indossa un agente preciso a un effort preciso sotto un valutatore preciso. Cambia uno qualsiasi dei tre e il numero si muove, a volte più della distanza tra il primo e il quarto posto. Cinque abitudini tengono onesta la lettura.

L’abitudineLa prova in questo confronto
Chiedi quale harness giravaSWE-bench Pro legge Fable 80,0, Opus 5 79,2, Sol 64,6, ogni fornitore nel proprio agente [16]; l’agente condiviso di DeepSWE comprime gli stessi modelli in quattro punti [1]
Rispetta le barre d’errore74 ± 4 contro 73 ± 3 [1]; tre pareggi esatti all’88,0% [21]; un vantaggio di 0,1 punti su cinque esecuzioni [15]
Riconosci la saturazioneOpus 5 fa il 96,0% su SWE-bench Verified [16]; una classifica senza margine non ordina nulla
Controlla la versioneLa pagina di lancio di OpenAI cita il Coding Agent Index v1.1 con Sol a 80 [7]; il v1.3 vivo dà a Sol max 67 [18]
Assente non vuol dire zeroOpus 5 non ha righe su nessuna delle tre classifiche di Scale [17] [19] [20]; Terra quasi non esiste fuori da DeepSWE e FrontierCode

La riga delle versioni merita una frase in più, perché è la più subdola. Un 80 in v1.1 e un 67 in v1.3 descrivono la stessa famiglia di modelli sull’indice con lo stesso nome e non sono comparabili affatto; DeepSWE ha rivalutato allo stesso modo GPT-5.5 xhigh dal 70% al 67% tra i suoi set v1 e v1.1 [1]. Un nome di benchmark senza numero di versione è una sensazione.

Persino le fonti primarie traballano. La tabella riassuntiva della system card di Opus 5 etichetta l’esecuzione FrontierBench di Sol come Codex mentre il testo dei metodi dice mini-swe-agent sulla stessa infrastruttura, e il documento non scioglie la contraddizione [16]. La sua vittoria su SWE-bench Multimodal, 59,4 contro il 54,1 di Fable, esce da un harness interno modificato rispetto a quello pubblico [16]. Scale, dal canto suo, concede alle righe mini-swe-agent più nuove 500 passi dove le esecuzioni precedenti ne avevano 250, e osserva che i modelli di frontiera rendono semplicemente meglio sui loro scaffold nativi [17]. Niente di tutto questo è una frode. È l’aspetto che ha misurare un sistema in movimento, ed è il motivo per cui il controllo dell’hype su Kimi K3 e GLM-5.2 arrivava alla stessa conclusione da dati diversi: le affermazioni di capacità reggono all’esame, quelle di comparabilità quasi mai.

Quale modello per quale lavoro?

Terra per il volume di routine, Sol per gli obiettivi noti, Opus 5 per i problemi sconosciuti, Fable 5 per le modifiche che devono andare in merge pulite. È la somma dei profili qui sopra, e il livello di effort conta quanto il nome del modello.

Il lavoroLa mia sceltaEffort
Endpoint di routine, mapping, piccoli test, configTerramedium o high
Una pull request delimitata con criteri di accettazione chiariOpus 5medium
Implementare un piano noto, correggere un bug riproducibileSolhigh
Trovare la causa profonda di un guasto sconosciutoOpus 5high o xhigh
Strategia di test per una feature che contaFable 5xhigh
Refactoring a scala di repo e migrazioni di interfacceFable 5xhigh
Sessioni lunghe di terminale e debugSol o Opus 5high o xhigh
Ingegneria aperta senza soluzione notaOpus 5xhigh

Nessuna di queste classifiche ha girato sul mio stack, e nessuna sul tuo: la tabella è un’inferenza dai profili, non una misura. Le regole sull’effort invece sono misurate. Sol è l’unico dei quattro la cui qualità di merge è salita a ogni scatto della manopola [15]. Fable tocca il tetto a xhigh sulle classifiche che guida [15] [19]. Opus 5 vuole la manopola abbinata al lavoro: medium per una modifica delimitata [15], xhigh quando il problema è davvero aperto [16]. I doc di entrambi i fornitori coincidono con le loro curve: OpenAI chiama medium la partenza equilibrata [3], Anthropic tiene high di default e tratta max come l’eccezione che deve giustificare la sua bolletta di token [6].

Tre risultati ridisegnerebbero questa tabella: una riga di Opus 5 sulle classifiche di Scale, uno sweep pubblico di effort per Fable 5 e uno qualsiasi di questi quattro misurato nell’harness del fornitore rivale. Fino ad allora, compra il profilo, non la posizione. Il modello più caro di questo confronto non è il migliore nella maggior parte dei lavori, il più economico gli sta imbarazzantemente vicino in metà di essi, e la modifica di configurazione più preziosa non costa niente: abbassare la manopola dell’effort.

Fonti

  1. DeepSWE leaderboardDatacurve · 2026-07-25
  2. API modelsOpenAI Developers
  3. Latest model guideOpenAI Developers
  4. Models overviewClaude Platform Docs
  5. PricingClaude Platform Docs
  6. EffortClaude Platform Docs
  7. GPT-5.6OpenAI
  8. Codex modelsChatGPT Docs
  9. Claude Opus 5 analysisArtificial Analysis
  10. GPT-5.6 Sol analysisArtificial Analysis
  11. GPT-5.6 Terra analysisArtificial Analysis
  12. Intelligence benchmarking methodologyArtificial Analysis
  13. Claude Fable 5 analysisArtificial Analysis
  14. Opus 5: Fable 5 level intelligence at a lower cost per taskArtificial Analysis · 2026-07-24
  15. FrontierCode leaderboardCognition · 2026-07-07
  16. Claude Opus 5 system cardAnthropic on alphaXiv · 2026-07-24
  17. SWE Atlas: Codebase QnAScale Labs · 2026-07-28
  18. Coding Agent IndexArtificial Analysis
  19. SWE Atlas: Test WritingScale Labs · 2026-07-28
  20. SWE Atlas: RefactoringScale Labs
  21. Terminal-Bench v2.1 evaluationArtificial Analysis