Benchmarks

GPT-5.6 vs. Claude 5: Warum sich die Benchmarks widersprechen

Ich vergleiche Sol, Terra, Opus 5 und Fable 5 in Coding-Benchmarks. Je nach Aufgabe, Effort, Agenten-Setup und Budget gewinnt ein anderes Modell.

Auf dieser Seite
  1. Welches Modell würde ich für welche Coding-Aufgabe wählen?
  2. Wie unterscheiden sich GPT-5.6 und Claude 5 bei Preis und Effort?
  3. Was bringt mehr Effort? Bis zu 15 Punkte für 16-mal so viele Tokens
  4. Wer gewinnt mit demselben Agenten? Opus 5 und Sol liegen gleichauf
  5. Welches Modell schreibt den Patch, den ein Maintainer eher mergen würde?
  6. SWE Atlas teilt die Arbeit zwischen Sol und Fable 5 auf
    1. Das Agenten-Setup verändert das Ergebnis beim Codeverständnis
    2. Fable 5 führt beim Schreiben von Tests und beim Refactoring
  7. Welches Modell löst offene Agentenaufgaben am besten? Opus 5
    1. Auf Terminal-Bench liegen die ersten drei statistisch nah beieinander
    2. Bei schwierigeren offenen Aufgaben führt Opus 5
  8. Wie liest man ein Leaderboard von 2026? Setups statt Namen vergleichen

Die Ergebnisse vom 30. Juli 2026 zeigen keinen klaren Sieger zwischen GPT-5.6 und Claude 5. Auf Datacurves DeepSWE mit demselben Agenten liegen Opus 5 und Sol mit 74 % und 73 % statistisch gleichauf [1], während Terra Fable 5s 70 % für weniger als ein Viertel der Kosten pro Aufgabe erreicht [1]. Meine Wahl hängt deshalb von Aufgabe und Budget ab.

Welches Modell würde ich für welche Coding-Aufgabe wählen?

Für viele Routineaufgaben würde ich Terra einsetzen, für ein klares Ziel Sol, für ein unbekanntes Problem Opus 5 und für sorgfältige Änderungen im gesamten Repository Fable 5. Der Modellname allein reicht nicht für die Wahl, denn Aufgabe und Effort-Stufe können sowohl Qualität als auch Kosten verändern.

Die ArbeitMeine WahlEffort
Routine-Endpoints, Mappings, kleine Tests, ConfigTerramedium oder high
Ein abgegrenzter Pull Request mit klaren AbnahmekriterienOpus 5medium
Einen bekannten Plan umsetzen, einen reproduzierbaren Bug behebenSolhigh
Die Ursache eines unbekannten Fehlers findenOpus 5high oder xhigh
Teststrategie für ein wichtiges FeatureFable 5xhigh
Repository-weites Refactoring und Interface-MigrationenFable 5xhigh
Lange Terminal- und Debugging-SitzungenSol oder Opus 5high oder xhigh
Offene Ingenieursarbeit ohne bekannte LösungOpus 5xhigh

Die gemessenen Muster hinter diesen Empfehlungen sind aussagekräftiger als jede allgemeine Rangliste. Nur Sol verbessert seine Patch-Qualität auf Cognitions FrontierCode mit jeder Effort-Stufe [15]. Fable erreicht dagegen auf diesem Benchmark und beim Test-Writing-Benchmark von Scale Labs mit xhigh seine besten Werte [15] [19]. Bei Opus 5 muss die Stufe zur Aufgabe passen: medium für eine begrenzte Änderung auf FrontierCode [15], xhigh für ein offenes Problem in Anthropics FrontierBench-Ergebnissen [16].

Die Empfehlungen der Anbieter passen dazu. OpenAI bezeichnet medium als ausgewogenen Ausgangspunkt [3], während Anthropic standardmäßig high verwendet und max nur empfiehlt, wenn die Aufgabe die zusätzlichen Tokens rechtfertigt [6].

Wie unterscheiden sich GPT-5.6 und Claude 5 bei Preis und Effort?

Terra ist beim Preis die Ausnahme: OpenAI verlangt die Hälfte des Sol-Preises, während OpenAI und Anthropic allen vier Modellen ein Kontextfenster von ungefähr einer Million Tokens geben [2] [4]. Die Effort-Stufe kann Kosten und Ergebnis noch stärker verändern, allerdings lassen sich die Bezeichnungen beider Anbieter nicht direkt vergleichen.

Die Anbieter sehen unterschiedliche Aufgaben für diese Modelle vor. OpenAI positioniert Sol als sein Flaggschiffmodell der GPT-5.6-Reihe und Terra als günstigere Alternative, wobei der einfache Alias gpt-5.6 auf Sol verweist [2] [3]. Anthropic empfiehlt Opus 5 für komplexes Coding und Unternehmensaufgaben, während Fable 5 das eigene Angebot für lang laufende Agenten anführt [4].

Die Listenpreise unterstreichen diese Aufteilung. Sol kostet 5 $ pro Million Input-Tokens und 30 $ pro Million Output-Tokens, Terra mit 2,50 $ und 15 $ jeweils genau die Hälfte [2]. Opus 5 liegt bei 5 $ und 25 $, Fable 5 dagegen bei 10 $ und 50 $ [5]. Anthropic führt außerdem einen schnelleren Opus-5-Modus als Research Preview, berechnet dafür aber die Preise von Fable 5 [5].

Merkmal SolTerraOpus 5Fable 5
Input, $/MTok 5,00 2,50 (Bester Wert der Zeile) 5,00 10,00
Output, $/MTok 30 15 (Bester Wert der Zeile) 25 50
Cache-Lesen, $/MTok 0,50 0,25 (Bester Wert der Zeile) 0,50 1,00
Kontextfenster 1,05M 1,05M 1M 1M
Effort-Stufen 6, none bis max 6, none bis max 5, low bis max 5, low bis max
Abbildung 1. Listenpreise und Eckdaten der vier Modelle. Entwickler-Docs von OpenAI und Anthropic, Juli 2026.

Abbildung 1 zeigt den praktischen Unterschied: Terra ist das einzige günstigere Modell in dieser Gruppe. Die Kontextfenster unterscheiden die vier Modelle nicht.

Die Effort-Stufe ist oft noch wichtiger als der Listenpreis, aber beide Skalen funktionieren unterschiedlich. GPT-5.6 bietet sechs Stufen von none bis max, wobei OpenAI medium als ausgewogenen Start empfiehlt [3]. Claude bietet fünf, beginnt standardmäßig bei high und empfiehlt xhigh für anspruchsvolles Coding und Agentenarbeit. max ist Aufgaben vorbehalten, die einen uneingeschränkten Token-Verbrauch rechtfertigen [6]. Da diese Bezeichnungen keine standardisierten Einheiten sind, kann OpenAIs high eine andere Rechenmenge bedeuten als Anthropics.

Was bringt mehr Effort? Bis zu 15 Punkte für 16-mal so viele Tokens

Zwischen low und max misst Artificial Analysis im Intelligence Index einen Gewinn von 10 bis 15 Punkten, allerdings bei acht- bis sechzehnfachem Token-Verbrauch. Opus 5 steigt dabei von 51 auf 61, Sol von 49 auf 59 und Terra von 40 auf 55 [9] [10] [11].

Der Intelligence Index v4.1 verbindet neun Evaluierungen zu Terminalarbeit, realen Aufgaben, GPQA Diamond und Long-Context-Reasoning. Agentenaufgaben machen 34 % aus, Coding und wissenschaftliches Denken je 24 % und allgemeines Denken 18 % [12]. Für diesen Vergleich ist vor allem wichtig, dass Artificial Analysis auf jeder Effort-Stufe dieselbe Suite ausgeführt hat. Die Veränderungen bilden deshalb eine einheitliche Reihe.

  • Opus 5
  • Sol
  • Terra
Intelligence Index nach Effort-Stufe für Opus 5, Sol und Terra Opus 5 führt auf jeder Stufe, Sol folgt zwei Punkte dahinter, Terra liegt zurück, steigt aber am steilsten von 40 auf 55. 30 40 50 60 70 low medium high xhigh max
Daten als Tabelle anzeigen
Effort Opus 5SolTerra
low 514940
medium 565446
high 595649
xhigh 605852
max 615955
Abbildung 2. Intelligence Index v4.1 nach Effort-Stufe. Artificial Analysis, abgerufen am 30. Juli 2026.

Abbildung 2 zeigt auf jeder Effort-Stufe dieselbe Reihenfolge: Opus 5 führt, Sol folgt mit etwa zwei Punkten Abstand und Terra bleibt Dritter. Zugleich flachen die Gewinne oben deutlich ab. Von xhigh zu max legt Opus 5 ungerundet nur 0,62 Punkte zu, während sein Output-Verbrauch von 76 auf 100 Millionen Tokens steigt [9].

Insgesamt wächst der Token-Verbrauch viel schneller als die Punktzahl. Opus 5 springt von 12 Millionen Output-Tokens bei low auf 100 Millionen bei max; Sol steigt von 6,6 auf 70 Millionen und Terra von 5,9 auf 96 Millionen [9] [10] [11]. Besonders deutlich ist der Preis bei Terra: Der Wechsel von xhigh zu max verdreifacht den Output fast und bringt nur drei Punkte [11].

Für Fable 5 lässt sich dieselbe Kurve nicht nachzeichnen, weil Artificial Analysis nur den max-Wert veröffentlicht: 60 Punkte bei 87 Millionen Output-Tokens, gerundet einen Punkt weniger als Opus 5 [13].

Bei beiden Anthropic-Modellen wechselte das System zu Opus 4.8, wenn die Sicherheitsschicht einen Prompt stoppte [13] [14]. Unter dieser Einschränkung berechnet Artificial Analysis 2,03 $ pro Index-Aufgabe für Opus 5 und 2,75 $ für Fable 5 [14].

Wer gewinnt mit demselben Agenten? Opus 5 und Sol liegen gleichauf

DeepSWE liefert keinen klaren Sieger, denn alle 18 Modelle laufen im selben mini-swe-agent und die Spitze liegt zu eng zusammen. Bei max löst Opus 5 74 % ± 4 der Aufgaben, Sol 73 % ± 3 [1]. Weil sich die Konfidenzintervalle überlappen, sagt der Unterschied von einem Punkt wenig aus; Fable 5 und Terra folgen mit jeweils 70 % [1].

Ich gewichte DeepSWE besonders stark, weil jedes Modell denselben Harness nutzt. Seine 113 neu geschriebenen Aufgaben verteilen sich auf 91 Repositories und fünf Sprachen, sodass kein Modell bereits im Training eine fertige Lösung gesehen haben sollte [1]. Handgeschriebene Verifizierer prüfen das Verhalten statt einzelner Implementierungsdetails. Obwohl die Prompts etwa halb so lang sind wie bei SWE-bench Pro, benötigen die Lösungen 5,5-mal mehr Code [1].

Messung Opus 5SolFable 5Terra
Gelöste Aufgaben, % 74 73 70 70
Kosten pro Aufgabe, $ 11,84 8,39 21,63 4,95 (Bester Wert der Zeile)
Output-Tokens, K 118 60 (Bester Wert der Zeile) 119 72
Agent-Schritte 99 61 (Bester Wert der Zeile) 88 76
Abbildung 3. DeepSWE v1.1 bei maximalem Effort, derselbe mini-swe-agent für jedes Modell. Datacurve, aktualisiert am 25. Juli 2026.

Abbildung 3 markiert bei den gelösten Aufgaben bewusst keinen Sieger: 74 % ± 4 und 73 % ± 3 sind statistisch gleichauf, und auch Datacurve warnt vor den überlappenden Konfidenzintervallen der Spitzenkonfigurationen [1]. Deutlicher unterscheiden sich die Wege zum Ergebnis. Sol braucht 60.000 Output-Tokens und 61 Schritte, Opus 5 dagegen 118.000 Tokens und 99 Schritte; entsprechend kostet ein Versuch 8,39 $ mit Sol und 11,84 $ mit Opus 5 [1].

Noch größer ist der Kostenunterschied zwischen Terra und Fable 5, obwohl beide 70 % lösen: Ein Versuch kostet mit Terra 4,95 $, mit Fable 21,63 $ [1]. Teilt man diesen Wert durch die Lösungsquote, erhält man eine optimistische Schätzung der Kosten pro gelöster Aufgabe. Terra landet dann bei 7,07 $, Fable bei 30,90 $. Dieselbe Methode habe ich in meiner Kimi-K3-Analyse verwendet.

gelöste Aufgaben bei maximalem Effort
70 %
gleichauf mit Fable 5 max
gemessen, pro versuchter Aufgabe
4,95 $
Fable 5 max: 21,63 $
abgeleitet, pro gelöster Aufgabe
7,07 $
am billigsten von den vieren bei max
Abbildung 4. Was Terras DeepSWE-Zeile in Geld bedeutet. Datacurve maß die Kosten pro Versuch; ich berechnete die Kosten pro gelöster Aufgabe.

Auch innerhalb eines Modells bietet max auf DeepSWE nicht immer das beste Verhältnis aus Kosten und Ergebnis. Opus 5 erreicht mit high 73 % ± 2 für 6,08 $ und kommt damit günstiger auf das Niveau von Sol max [1]. Sol selbst erzielt mit xhigh 71 % ± 1 für 4,70 $, während Fable mit xhigh dieselben 70 % wie mit max erreicht, aber nur 13,41 $ statt 21,63 $ kostet [1]. Im Kostenvergleich nennt Datacurve deshalb Opus 5 max, Fable 5 high und Sol medium als effiziente Punkte [1].

Welches Modell schreibt den Patch, den ein Maintainer eher mergen würde?

Fable 5 xhigh und Opus 5 medium liegen auf Cognitions FrontierCode praktisch gleichauf an der Spitze. Der Benchmark fragt, ob Maintainer einen Patch tatsächlich akzeptieren würden [15]. Wichtiger ist jedoch, dass Opus mit medium seinen Höchstwert erreicht, nicht mit max.

Die Aufgaben stammen von den Maintainern der getesteten Repositories. Greift ein Lauf auf eine Quelle mit der Lösung zu, erhält er null Punkte. Der Bewerter prüft Korrektheit, Testqualität, Scope und die Konventionen der Codebase.

Die genauen Bestwerte liegen bei 53,5 für Fable 5 xhigh, 53,4 für Opus 5 medium, 47,5 für Sol max und 41,3 für Terra max [15].

  • Fable 5
  • Opus 5
  • Sol
FrontierCode-Punktzahl nach Effort-Stufe für Fable 5, Opus 5 und Sol Sol steigt mit jeder Stufe bis 47,5, Fable 5 erreicht seinen Höchstwert bei xhigh mit 53,5, Opus 5 bei medium mit 53,4 und fällt bei xhigh auf 43,6. 30 40 50 60 low medium high xhigh max
Daten als Tabelle anzeigen
Effort Fable 5Opus 5Sol
low 48,041,935,4
medium 49,853,439,9
high 52,748,045,1
xhigh 53,543,646,8
max 51,648,047,5
Abbildung 5. FrontierCode 1.1, Hauptset, nach Effort-Stufe. Leaderboard-Daten von Cognition, Juli 2026.

Abbildung 5 zeigt drei verschiedene Reaktionen auf mehr Effort. Sol verbessert sich stetig von 35,4 bei low auf 47,5 bei max [15]. Fable 5 erreicht seinen Höchstwert mit 53,5 bei xhigh und verliert bei max 1,9 Punkte. Opus 5 schwankt noch stärker: 53,4 bei medium, 43,6 bei xhigh und wieder 48,0 bei max [15]. Anthropics System Card bestätigt dieses Muster und nennt medium als beste Opus-5-Stufe im Hauptset [16].

Die Bewertungsregeln helfen, dieses Ergebnis zu erklären: FrontierCode belohnt Änderungen innerhalb des Scopes [15] und prüft auf verbotene Implementierungsmuster [16]. Mehr Effort kann ein Modell dazu verleiten, zusätzliche Dateien zu untersuchen und den Patch breiter anzulegen. Bei offener Forschung kann das nützlich sein, einem eng begrenzten Pull Request aber schaden. Dasselbe Verhalten habe ich beobachtet, als Opus 5 meine Woche übernahm.

Fables Vorsprung von 0,1 Punkten vor Opus 5 medium reicht nicht für einen echten Sieger. Jede Konfiguration wurde nur fünfmal ausgeführt, und beide bestehen 58,9 % der Aufgaben [15].

Bei den Kosten ist der Unterschied eindeutiger: Fable xhigh kostet 13,09 $ pro Rollout, Opus medium 4,30 $. Sols Bestwert von 47,5 liegt außerdem noch unter Fables niedrigstem Wert von 48,0 [15].

Claude führt diesen Benchmark für Patch-Qualität also an. Die wichtige Grenze dieses Ergebnisses ist, dass Claude in Claude Code lief und GPT-5.6 in Codex [15].

SWE Atlas teilt die Arbeit zwischen Sol und Fable 5 auf

In den SWE-Atlas-Läufen von Scale Labs führt Sol beim Verständnis einer Codebase, während Fable 5 beim Schreiben von Tests und beim Refactoring vorn liegt [17] [19] [20]. Ein separater Lauf von Artificial Analysis kehrt die Reihenfolge beim Codeverständnis um und zeigt damit, wie stark das Agenten-Setup das Ergebnis beeinflussen kann [18].

Das Agenten-Setup verändert das Ergebnis beim Codeverständnis

Bei Codebase QnA erhält der Agent ein echtes Repository im Container und 124 Fragen, für die er die Software ausführen und Abläufe nachvollziehen muss. Architektur macht 35 % der Bewertung aus, Ursachenanalyse 30 % [17]. Scale Labs meldet 46,0 ± 5,0 für Sol xhigh in Codex und 39,0 ± 5,0 für Fable 5 in Claude Code. Beide lehnten wegen ihrer Sicherheitsfilter einige harmlose Fragen ab, was jeweils als null gewertet wurde [17]. Für Opus 5 und Terra fehlen Ergebnisse; an der Spitze steht das ältere Opus 4.8 mit 57,26 [17].

Mit denselben 124 Fragen erhält Artificial Analysis eine andere Reihenfolge. Im Coding Agent Index erreicht Opus 5 xhigh 54,8, Fable 5 kommt auf 48,9 und Sol max auf 43,3 [18]. Das Aufgabenset blieb gleich, die Läufe und Harnesses aber nicht. Diese Umkehr zeigt, wie stark das umgebende System ein Leaderboard beeinflussen kann.

Fable 5 führt beim Schreiben von Tests und beim Refactoring

Der Test-Writing-Benchmark von Scale Labs prüft mit 90 Aufgaben, ob ein Agent das getestete Verhalten verstanden hat. Jeder erzeugte Test muss mit der echten Implementierung bestehen und nach einer gezielten Änderung am relevanten Code fehlschlagen. Leere Tests erhalten dadurch keine Punkte [19]. Fable 5 erreicht 55,6 ± 5,8 und Sol 45,9 ± 6,0, doch wegen der überlappenden Intervalle führt das Leaderboard beide auf Rang eins [19].

  • Fable 5
  • Sol
SWE-Atlas-Punktzahlen in Codebase QnA und Test Writing Sol führt beim Codebase-Verständnis 46,0 zu 39,0, Fable 5 führt beim Test-Schreiben 55,6 zu 45,9. Codebase QnA 39,0 46,0 Test Writing 55,6 45,9
Daten als Tabelle anzeigen
Benchmark Fable 5Sol
Codebase QnA 39,046,0
Test Writing 55,645,9
Abbildung 6. SWE-Atlas-Punktzahlen, Fable 5 (Claude Code, xhigh) gegen Sol (Codex, xhigh). Scale Labs, 28. Juli 2026.

Abbildung 6 hat je nach Aufgabe einen anderen Sieger: In den Läufen von Scale beantwortet Sol mehr Fragen zu einem fremden Repository, während Fable bessere Tests schreibt.

Beim Refactoring erzielt Fable mit 54,76 ± 6,76 seinen klarsten veröffentlichten Sieg. Die 70 Aufgaben reichen von Zerlegung und Interface-Änderungen bis zu Extraktion und Verlagerung. Die Bewerter prüfen auf Regressionen, kaputte Aufrufstellen, zirkuläre Abhängigkeiten und toten Code [20].

Für Opus 5, Sol und Terra gibt es auf diesem Benchmark kein Ergebnis. Das beste gelistete GPT-Modell ist das ältere GPT-5.5 mit 44,79 [20]. Diese fehlenden Zeilen begrenzen den Vergleich, statt als null Punkte zu zählen.

Welches Modell löst offene Agentenaufgaben am besten? Opus 5

Für Opus 5 sprechen bei offenen Agentenaufgaben insgesamt die stärksten Ergebnisse. Artificial Analysis kann Sol, Opus 5 und Terra auf Terminal-Bench 2.1 nicht sicher voneinander trennen [21]. Anthropics veröffentlichte Ergebnisse setzen Opus dagegen auf FrontierBench, OSWorld und AutomationBench an die Spitze [16].

Auf Terminal-Bench liegen die ersten drei statistisch nah beieinander

Artificial Analysis meldet 89,5 % für Sol xhigh und 89,1 % für Opus 5 max. Sol max, Terra max und Opus 5 xhigh folgen im exakten Gleichstand mit 88,0 % [21].

Der Benchmark prüft, ob ein Modell mit einer Shell ein verifiziertes Ergebnis erreicht. Bei 89 Aufgaben und drei Wiederholungen verschiebt schon ein einziger anders ausgegangener Versuch die Punktzahl um etwa 0,4 Punkte [12]. Fable 5 liegt mit 84,6 % weiter zurück [21].

Terminal-Bench-v2.1-Punktzahlen, beste Konfiguration pro Modell Sol xhigh führt mit 89,5 Prozent, Opus 5 max mit 89,1, Terra max mit 88,0, Fable 5 max mit 84,6. Sol xhigh 89,5 % Opus 5 max 89,1 % Terra max 88,0 % Fable 5 max 84,6 %
Daten als Tabelle anzeigen
Konfiguration Wert
Sol xhigh 89,5 %
Opus 5 max 89,1 %
Terra max 88,0 %
Fable 5 max 84,6 %
Abbildung 7. Terminal-Bench v2.1, beste Konfiguration pro Modell. Artificial Analysis, abgerufen am 30. Juli 2026.

Abbildung 7 liefert deshalb keinen klaren Sieger zwischen Sol und Opus 5, während Terra trotz seines niedrigeren Input-Preises von 2,50 $ pro Million Tokens nahe an beiden bleibt [2] [21]. OpenAIs Release-Tabelle nennt etwas andere Werte: 88,8 % für Sol, 87,4 % für Terra und 83,1 % für Fable 5 [7]. Die Abweichung zwischen OpenAIs Ergebnissen und dem unabhängigen Lauf ist ungefähr so groß wie die Abstände zwischen den führenden Modellen. Ihre genaue Reihenfolge sollte man deshalb nicht überbewerten.

Bei schwierigeren offenen Aufgaben führt Opus 5

Dasselbe Team entwickelte FrontierBench v0.1 mit 74 schwierigeren Aufgaben aus Computational Biology, Physiksimulation, CAD, formalen Beweisen und GPU-Performance [16]. Anthropic führte die Modelle mit mini-swe-agent aus und fand einen deutlicheren Vorsprung für Opus 5: 44,4 % bei xhigh, 43 % bei max und 39 % bei high, wobei high 19 % weniger Output-Tokens als max verbraucht. Sol erreicht bei max 37,5 %, Fable 5 kommt auf 33,7 % [16]. Für diese offenen Probleme hat Opus 5 damit das stärkste veröffentlichte Ergebnis.

Zwei weitere Benchmarks erweitern diesen Vorsprung auf lange Aufgaben mit vielen Werkzeugen. In OSWorld 2.0 steuert ein Modell für bis zu 500 Aktionen pro Aufgabe eine echte Ubuntu-VM mit Maus und Tastatur. Opus 5 erreicht 70,6 %, Fable 5 kommt auf 66,1 % und Sol auf 62,6 %. Anthropic übernimmt Sols Ergebnis aus OpenAIs Release-Post [16].

Zapiers AutomationBench simuliert stattdessen ein Unternehmen mit 47 Apps und mehreren Geschäftsregeln. Opus 5 max erreicht 26,0 %, medium aber schon 24 % für 0,89 $ pro Aufgabe. Sol kommt auf 18,1 %, Fable auf 17,4 % [16]. Die oberste Zeile von AutomationBench hat sich seitdem geändert, und ich erkläre, warum der AutomationBench-Spitzenwert zwei Modellen zuzuschreiben ist.

Opus 5 führt in beiden Umgebungen. Der geringe Abstand zwischen medium und max zeigt jedoch erneut, dass die höchste Effort-Stufe nicht immer nötig ist.

Wie liest man ein Leaderboard von 2026? Setups statt Namen vergleichen

Ein Leaderboard misst nie nur ein Modell, sondern immer auch einen bestimmten Harness, eine Effort-Stufe und einen Bewerter. Ändert sich einer dieser Teile, kann sich die Punktzahl stärker verschieben als zwischen Platz eins und vier. Deshalb prüfe ich vor jedem Vergleich fünf Punkte.

Die PrüfroutineDer Beleg in diesem Vergleich
Prüfe, welcher Harness liefSWE-bench Pro misst Fable mit 80,0, Opus 5 mit 79,2 und Sol mit 64,6, jeweils im Agenten des Anbieters [16]; mit DeepSWEs gemeinsamem Agenten liegen dieselben Modelle nur vier Punkte auseinander [1]
Beachte die Fehlerbalken74 ± 4 gegen 73 ± 3 [1]; drei exakte Gleichstände bei 88,0 % [21]; ein Vorsprung von 0,1 Punkten über fünf Läufe [15]
Erkenne SättigungOpus 5 erreicht 96,0 % auf SWE-bench Verified [16]; ein Leaderboard ohne Spielraum nach oben kann die Modelle kaum ordnen
Prüfe die VersionOpenAIs Release-Seite zitiert den Coding Agent Index v1.1 mit Sol bei 80 [7]; die aktuelle Version v1.3 bewertet Sol max mit 67 [18]
Fehlend ist nicht nullOpus 5 hat in keinem der drei Benchmarks von Scale eine Zeile [17] [19] [20]; für Terra gibt es außerhalb von DeepSWE und FrontierCode kaum Werte

Besonders leicht gehen Versionsnummern unter. Ein Wert von 80 im Coding Agent Index v1.1 und ein Wert von 67 in v1.3 gehören zwar zur selben Modellfamilie, aber nicht zur selben Messung. Auch bei DeepSWE änderte sich GPT-5.5 xhigh von 70 % in v1 auf 67 % in v1.1 [1]. Ohne Version ist ein Benchmark-Ergebnis deshalb unvollständig. Ein späteres Beispiel ist die Neubewertung von Muse Spark 1.3 im Index von Artificial Analysis.

Selbst Primärquellen können ungeklärte Unterschiede enthalten. In der Übersicht der Opus-5-System-Card wird Sols FrontierBench-Lauf als Codex bezeichnet, während der Methodentext mini-swe-agent auf derselben Infrastruktur nennt. Der Widerspruch bleibt unerklärt [16]. Auch das SWE-bench-Multimodal-Ergebnis von 59,4 für Opus 5 und 54,1 für Fable stammt aus einem intern veränderten Harness [16].

Scale schafft weitere Unterschiede, indem neuere mini-swe-agent-Läufe 500 Schritte statt der früheren 250 bekommen. Außerdem stellt Scale fest, dass führende Modelle in den Harnesses ihrer eigenen Anbieter besser abschneiden [17]. Keine dieser Entscheidungen macht die Arbeit unehrlich. Zusammen zeigen sie aber, dass viele Zeilen unterschiedliche Systeme messen. Mein Vergleich von Kimi K3 und GLM-5.2 kam mit anderen Daten zum selben Schluss: Die Fähigkeiten sind echt, viele Werte aber nicht direkt vergleichbar.

Drei fehlende Ergebnisse könnten diese Empfehlungen noch verändern: Opus 5 auf den Benchmarks von Scale, eine öffentliche Effort-Reihe für Fable 5 und Tests jedes Modells im Harness des jeweils anderen Anbieters. Bis diese Daten vorliegen, würde ich nach der Aufgabe wählen, nicht nach dem höchsten Rang. Das teuerste Modell ist selten für jede Aufgabe die beste Wahl, Terra bleibt in mehreren Benchmarks nahe an der Spitze, und weniger Effort kann zugleich Kosten senken und die Patch-Qualität verbessern. OpenAI hat inzwischen einen Nachfolger von Sol veröffentlicht, und mein Vergleich von GPT-6 Astra mit Sol 5.6 knüpft hier an.

Quellen

  1. DeepSWE leaderboardDatacurve · 2026-07-25
  2. API modelsOpenAI Developers
  3. Latest model guideOpenAI Developers
  4. Models overviewClaude Platform Docs
  5. PricingClaude Platform Docs
  6. EffortClaude Platform Docs
  7. GPT-5.6OpenAI
  8. Codex modelsChatGPT Docs
  9. Claude Opus 5 analysisArtificial Analysis
  10. GPT-5.6 Sol analysisArtificial Analysis
  11. GPT-5.6 Terra analysisArtificial Analysis
  12. Intelligence benchmarking methodologyArtificial Analysis
  13. Claude Fable 5 analysisArtificial Analysis
  14. Opus 5: Fable 5 level intelligence at a lower cost per taskArtificial Analysis · 2026-07-24
  15. FrontierCode leaderboardCognition · 2026-07-07
  16. Claude Opus 5 system cardAnthropic on alphaXiv · 2026-07-24
  17. SWE Atlas: Codebase QnAScale Labs · 2026-07-28
  18. Coding Agent IndexArtificial Analysis
  19. SWE Atlas: Test WritingScale Labs · 2026-07-28
  20. SWE Atlas: RefactoringScale Labs
  21. Terminal-Bench v2.1 evaluationArtificial Analysis