GPT-5.6 vs. Claude 5: Warum sich die Benchmarks widersprechen
Ich vergleiche Sol, Terra, Opus 5 und Fable 5 in Coding-Benchmarks. Je nach Aufgabe, Effort, Agenten-Setup und Budget gewinnt ein anderes Modell.
Auf dieser Seite
- Welches Modell würde ich für welche Coding-Aufgabe wählen?
- Wie unterscheiden sich GPT-5.6 und Claude 5 bei Preis und Effort?
- Was bringt mehr Effort? Bis zu 15 Punkte für 16-mal so viele Tokens
- Wer gewinnt mit demselben Agenten? Opus 5 und Sol liegen gleichauf
- Welches Modell schreibt den Patch, den ein Maintainer eher mergen würde?
- SWE Atlas teilt die Arbeit zwischen Sol und Fable 5 auf
- Welches Modell löst offene Agentenaufgaben am besten? Opus 5
- Wie liest man ein Leaderboard von 2026? Setups statt Namen vergleichen
Die Ergebnisse vom 30. Juli 2026 zeigen keinen klaren Sieger zwischen GPT-5.6 und Claude 5. Auf Datacurves DeepSWE mit demselben Agenten liegen Opus 5 und Sol mit 74 % und 73 % statistisch gleichauf [1], während Terra Fable 5s 70 % für weniger als ein Viertel der Kosten pro Aufgabe erreicht [1]. Meine Wahl hängt deshalb von Aufgabe und Budget ab.
Welches Modell würde ich für welche Coding-Aufgabe wählen?
Für viele Routineaufgaben würde ich Terra einsetzen, für ein klares Ziel Sol, für ein unbekanntes Problem Opus 5 und für sorgfältige Änderungen im gesamten Repository Fable 5. Der Modellname allein reicht nicht für die Wahl, denn Aufgabe und Effort-Stufe können sowohl Qualität als auch Kosten verändern.
| Die Arbeit | Meine Wahl | Effort |
|---|---|---|
| Routine-Endpoints, Mappings, kleine Tests, Config | Terra | medium oder high |
| Ein abgegrenzter Pull Request mit klaren Abnahmekriterien | Opus 5 | medium |
| Einen bekannten Plan umsetzen, einen reproduzierbaren Bug beheben | Sol | high |
| Die Ursache eines unbekannten Fehlers finden | Opus 5 | high oder xhigh |
| Teststrategie für ein wichtiges Feature | Fable 5 | xhigh |
| Repository-weites Refactoring und Interface-Migrationen | Fable 5 | xhigh |
| Lange Terminal- und Debugging-Sitzungen | Sol oder Opus 5 | high oder xhigh |
| Offene Ingenieursarbeit ohne bekannte Lösung | Opus 5 | xhigh |
Die gemessenen Muster hinter diesen Empfehlungen sind aussagekräftiger als jede allgemeine Rangliste. Nur Sol verbessert seine Patch-Qualität auf Cognitions FrontierCode mit jeder Effort-Stufe [15]. Fable erreicht dagegen auf diesem Benchmark und beim Test-Writing-Benchmark von Scale Labs mit xhigh seine besten Werte [15] [19]. Bei Opus 5 muss die Stufe zur Aufgabe passen: medium für eine begrenzte Änderung auf FrontierCode [15], xhigh für ein offenes Problem in Anthropics FrontierBench-Ergebnissen [16].
Die Empfehlungen der Anbieter passen dazu. OpenAI bezeichnet medium als ausgewogenen Ausgangspunkt [3], während Anthropic standardmäßig high verwendet und max nur empfiehlt, wenn die Aufgabe die zusätzlichen Tokens rechtfertigt [6].
Wie unterscheiden sich GPT-5.6 und Claude 5 bei Preis und Effort?
Terra ist beim Preis die Ausnahme: OpenAI verlangt die Hälfte des Sol-Preises, während OpenAI und Anthropic allen vier Modellen ein Kontextfenster von ungefähr einer Million Tokens geben [2] [4]. Die Effort-Stufe kann Kosten und Ergebnis noch stärker verändern, allerdings lassen sich die Bezeichnungen beider Anbieter nicht direkt vergleichen.
Die Anbieter sehen unterschiedliche Aufgaben für diese Modelle vor. OpenAI positioniert Sol als sein Flaggschiffmodell der GPT-5.6-Reihe und Terra als günstigere Alternative, wobei der einfache Alias gpt-5.6 auf Sol verweist [2] [3]. Anthropic empfiehlt Opus 5 für komplexes Coding und Unternehmensaufgaben, während Fable 5 das eigene Angebot für lang laufende Agenten anführt [4].
Die Listenpreise unterstreichen diese Aufteilung. Sol kostet 5 $ pro Million Input-Tokens und 30 $ pro Million Output-Tokens, Terra mit 2,50 $ und 15 $ jeweils genau die Hälfte [2]. Opus 5 liegt bei 5 $ und 25 $, Fable 5 dagegen bei 10 $ und 50 $ [5]. Anthropic führt außerdem einen schnelleren Opus-5-Modus als Research Preview, berechnet dafür aber die Preise von Fable 5 [5].
| Merkmal | Sol | Terra | Opus 5 | Fable 5 |
|---|---|---|---|---|
| Input, $/MTok | 5,00 | 2,50 (Bester Wert der Zeile) | 5,00 | 10,00 |
| Output, $/MTok | 30 | 15 (Bester Wert der Zeile) | 25 | 50 |
| Cache-Lesen, $/MTok | 0,50 | 0,25 (Bester Wert der Zeile) | 0,50 | 1,00 |
| Kontextfenster | 1,05M | 1,05M | 1M | 1M |
| Effort-Stufen | 6, none bis max | 6, none bis max | 5, low bis max | 5, low bis max |
Abbildung 1 zeigt den praktischen Unterschied: Terra ist das einzige günstigere Modell in dieser Gruppe. Die Kontextfenster unterscheiden die vier Modelle nicht.
Die Effort-Stufe ist oft noch wichtiger als der Listenpreis, aber beide Skalen funktionieren unterschiedlich. GPT-5.6 bietet sechs Stufen von none bis max, wobei OpenAI medium als ausgewogenen Start empfiehlt [3]. Claude bietet fünf, beginnt standardmäßig bei high und empfiehlt xhigh für anspruchsvolles Coding und Agentenarbeit. max ist Aufgaben vorbehalten, die einen uneingeschränkten Token-Verbrauch rechtfertigen [6]. Da diese Bezeichnungen keine standardisierten Einheiten sind, kann OpenAIs high eine andere Rechenmenge bedeuten als Anthropics.
Was bringt mehr Effort? Bis zu 15 Punkte für 16-mal so viele Tokens
Zwischen low und max misst Artificial Analysis im Intelligence Index einen Gewinn von 10 bis 15 Punkten, allerdings bei acht- bis sechzehnfachem Token-Verbrauch. Opus 5 steigt dabei von 51 auf 61, Sol von 49 auf 59 und Terra von 40 auf 55 [9] [10] [11].
Der Intelligence Index v4.1 verbindet neun Evaluierungen zu Terminalarbeit, realen Aufgaben, GPQA Diamond und Long-Context-Reasoning. Agentenaufgaben machen 34 % aus, Coding und wissenschaftliches Denken je 24 % und allgemeines Denken 18 % [12]. Für diesen Vergleich ist vor allem wichtig, dass Artificial Analysis auf jeder Effort-Stufe dieselbe Suite ausgeführt hat. Die Veränderungen bilden deshalb eine einheitliche Reihe.
- Opus 5
- Sol
- Terra
Daten als Tabelle anzeigen
| Effort | Opus 5 | Sol | Terra |
|---|---|---|---|
| low | 51 | 49 | 40 |
| medium | 56 | 54 | 46 |
| high | 59 | 56 | 49 |
| xhigh | 60 | 58 | 52 |
| max | 61 | 59 | 55 |
Abbildung 2 zeigt auf jeder Effort-Stufe dieselbe Reihenfolge: Opus 5 führt, Sol folgt mit etwa zwei Punkten Abstand und Terra bleibt Dritter. Zugleich flachen die Gewinne oben deutlich ab. Von xhigh zu max legt Opus 5 ungerundet nur 0,62 Punkte zu, während sein Output-Verbrauch von 76 auf 100 Millionen Tokens steigt [9].
Insgesamt wächst der Token-Verbrauch viel schneller als die Punktzahl. Opus 5 springt von 12 Millionen Output-Tokens bei low auf 100 Millionen bei max; Sol steigt von 6,6 auf 70 Millionen und Terra von 5,9 auf 96 Millionen [9] [10] [11]. Besonders deutlich ist der Preis bei Terra: Der Wechsel von xhigh zu max verdreifacht den Output fast und bringt nur drei Punkte [11].
Für Fable 5 lässt sich dieselbe Kurve nicht nachzeichnen, weil Artificial Analysis nur den max-Wert veröffentlicht: 60 Punkte bei 87 Millionen Output-Tokens, gerundet einen Punkt weniger als Opus 5 [13].
Bei beiden Anthropic-Modellen wechselte das System zu Opus 4.8, wenn die Sicherheitsschicht einen Prompt stoppte [13] [14]. Unter dieser Einschränkung berechnet Artificial Analysis 2,03 $ pro Index-Aufgabe für Opus 5 und 2,75 $ für Fable 5 [14].
Wer gewinnt mit demselben Agenten? Opus 5 und Sol liegen gleichauf
DeepSWE liefert keinen klaren Sieger, denn alle 18 Modelle laufen im selben mini-swe-agent und die Spitze liegt zu eng zusammen. Bei max löst Opus 5 74 % ± 4 der Aufgaben, Sol 73 % ± 3 [1]. Weil sich die Konfidenzintervalle überlappen, sagt der Unterschied von einem Punkt wenig aus; Fable 5 und Terra folgen mit jeweils 70 % [1].
Ich gewichte DeepSWE besonders stark, weil jedes Modell denselben Harness nutzt. Seine 113 neu geschriebenen Aufgaben verteilen sich auf 91 Repositories und fünf Sprachen, sodass kein Modell bereits im Training eine fertige Lösung gesehen haben sollte [1]. Handgeschriebene Verifizierer prüfen das Verhalten statt einzelner Implementierungsdetails. Obwohl die Prompts etwa halb so lang sind wie bei SWE-bench Pro, benötigen die Lösungen 5,5-mal mehr Code [1].
| Messung | Opus 5 | Sol | Fable 5 | Terra |
|---|---|---|---|---|
| Gelöste Aufgaben, % | 74 | 73 | 70 | 70 |
| Kosten pro Aufgabe, $ | 11,84 | 8,39 | 21,63 | 4,95 (Bester Wert der Zeile) |
| Output-Tokens, K | 118 | 60 (Bester Wert der Zeile) | 119 | 72 |
| Agent-Schritte | 99 | 61 (Bester Wert der Zeile) | 88 | 76 |
Abbildung 3 markiert bei den gelösten Aufgaben bewusst keinen Sieger: 74 % ± 4 und 73 % ± 3 sind statistisch gleichauf, und auch Datacurve warnt vor den überlappenden Konfidenzintervallen der Spitzenkonfigurationen [1]. Deutlicher unterscheiden sich die Wege zum Ergebnis. Sol braucht 60.000 Output-Tokens und 61 Schritte, Opus 5 dagegen 118.000 Tokens und 99 Schritte; entsprechend kostet ein Versuch 8,39 $ mit Sol und 11,84 $ mit Opus 5 [1].
Noch größer ist der Kostenunterschied zwischen Terra und Fable 5, obwohl beide 70 % lösen: Ein Versuch kostet mit Terra 4,95 $, mit Fable 21,63 $ [1]. Teilt man diesen Wert durch die Lösungsquote, erhält man eine optimistische Schätzung der Kosten pro gelöster Aufgabe. Terra landet dann bei 7,07 $, Fable bei 30,90 $. Dieselbe Methode habe ich in meiner Kimi-K3-Analyse verwendet.
- gelöste Aufgaben bei maximalem Effort
- 70 %
- gleichauf mit Fable 5 max
- gemessen, pro versuchter Aufgabe
- 4,95 $
- Fable 5 max: 21,63 $
- abgeleitet, pro gelöster Aufgabe
- 7,07 $
- am billigsten von den vieren bei max
Auch innerhalb eines Modells bietet max auf DeepSWE nicht immer das beste Verhältnis aus Kosten und Ergebnis. Opus 5 erreicht mit high 73 % ± 2 für 6,08 $ und kommt damit günstiger auf das Niveau von Sol max [1]. Sol selbst erzielt mit xhigh 71 % ± 1 für 4,70 $, während Fable mit xhigh dieselben 70 % wie mit max erreicht, aber nur 13,41 $ statt 21,63 $ kostet [1]. Im Kostenvergleich nennt Datacurve deshalb Opus 5 max, Fable 5 high und Sol medium als effiziente Punkte [1].
Welches Modell schreibt den Patch, den ein Maintainer eher mergen würde?
Fable 5 xhigh und Opus 5 medium liegen auf Cognitions FrontierCode praktisch gleichauf an der Spitze. Der Benchmark fragt, ob Maintainer einen Patch tatsächlich akzeptieren würden [15]. Wichtiger ist jedoch, dass Opus mit medium seinen Höchstwert erreicht, nicht mit max.
Die Aufgaben stammen von den Maintainern der getesteten Repositories. Greift ein Lauf auf eine Quelle mit der Lösung zu, erhält er null Punkte. Der Bewerter prüft Korrektheit, Testqualität, Scope und die Konventionen der Codebase.
Die genauen Bestwerte liegen bei 53,5 für Fable 5 xhigh, 53,4 für Opus 5 medium, 47,5 für Sol max und 41,3 für Terra max [15].
- Fable 5
- Opus 5
- Sol
Daten als Tabelle anzeigen
| Effort | Fable 5 | Opus 5 | Sol |
|---|---|---|---|
| low | 48,0 | 41,9 | 35,4 |
| medium | 49,8 | 53,4 | 39,9 |
| high | 52,7 | 48,0 | 45,1 |
| xhigh | 53,5 | 43,6 | 46,8 |
| max | 51,6 | 48,0 | 47,5 |
Abbildung 5 zeigt drei verschiedene Reaktionen auf mehr Effort. Sol verbessert sich stetig von 35,4 bei low auf 47,5 bei max [15]. Fable 5 erreicht seinen Höchstwert mit 53,5 bei xhigh und verliert bei max 1,9 Punkte. Opus 5 schwankt noch stärker: 53,4 bei medium, 43,6 bei xhigh und wieder 48,0 bei max [15]. Anthropics System Card bestätigt dieses Muster und nennt medium als beste Opus-5-Stufe im Hauptset [16].
Die Bewertungsregeln helfen, dieses Ergebnis zu erklären: FrontierCode belohnt Änderungen innerhalb des Scopes [15] und prüft auf verbotene Implementierungsmuster [16]. Mehr Effort kann ein Modell dazu verleiten, zusätzliche Dateien zu untersuchen und den Patch breiter anzulegen. Bei offener Forschung kann das nützlich sein, einem eng begrenzten Pull Request aber schaden. Dasselbe Verhalten habe ich beobachtet, als Opus 5 meine Woche übernahm.
Fables Vorsprung von 0,1 Punkten vor Opus 5 medium reicht nicht für einen echten Sieger. Jede Konfiguration wurde nur fünfmal ausgeführt, und beide bestehen 58,9 % der Aufgaben [15].
Bei den Kosten ist der Unterschied eindeutiger: Fable xhigh kostet 13,09 $ pro Rollout, Opus medium 4,30 $. Sols Bestwert von 47,5 liegt außerdem noch unter Fables niedrigstem Wert von 48,0 [15].
Claude führt diesen Benchmark für Patch-Qualität also an. Die wichtige Grenze dieses Ergebnisses ist, dass Claude in Claude Code lief und GPT-5.6 in Codex [15].
SWE Atlas teilt die Arbeit zwischen Sol und Fable 5 auf
In den SWE-Atlas-Läufen von Scale Labs führt Sol beim Verständnis einer Codebase, während Fable 5 beim Schreiben von Tests und beim Refactoring vorn liegt [17] [19] [20]. Ein separater Lauf von Artificial Analysis kehrt die Reihenfolge beim Codeverständnis um und zeigt damit, wie stark das Agenten-Setup das Ergebnis beeinflussen kann [18].
Das Agenten-Setup verändert das Ergebnis beim Codeverständnis
Bei Codebase QnA erhält der Agent ein echtes Repository im Container und 124 Fragen, für die er die Software ausführen und Abläufe nachvollziehen muss. Architektur macht 35 % der Bewertung aus, Ursachenanalyse 30 % [17]. Scale Labs meldet 46,0 ± 5,0 für Sol xhigh in Codex und 39,0 ± 5,0 für Fable 5 in Claude Code. Beide lehnten wegen ihrer Sicherheitsfilter einige harmlose Fragen ab, was jeweils als null gewertet wurde [17]. Für Opus 5 und Terra fehlen Ergebnisse; an der Spitze steht das ältere Opus 4.8 mit 57,26 [17].
Mit denselben 124 Fragen erhält Artificial Analysis eine andere Reihenfolge. Im Coding Agent Index erreicht Opus 5 xhigh 54,8, Fable 5 kommt auf 48,9 und Sol max auf 43,3 [18]. Das Aufgabenset blieb gleich, die Läufe und Harnesses aber nicht. Diese Umkehr zeigt, wie stark das umgebende System ein Leaderboard beeinflussen kann.
Fable 5 führt beim Schreiben von Tests und beim Refactoring
Der Test-Writing-Benchmark von Scale Labs prüft mit 90 Aufgaben, ob ein Agent das getestete Verhalten verstanden hat. Jeder erzeugte Test muss mit der echten Implementierung bestehen und nach einer gezielten Änderung am relevanten Code fehlschlagen. Leere Tests erhalten dadurch keine Punkte [19]. Fable 5 erreicht 55,6 ± 5,8 und Sol 45,9 ± 6,0, doch wegen der überlappenden Intervalle führt das Leaderboard beide auf Rang eins [19].
- Fable 5
- Sol
Daten als Tabelle anzeigen
| Benchmark | Fable 5 | Sol |
|---|---|---|
| Codebase QnA | 39,0 | 46,0 |
| Test Writing | 55,6 | 45,9 |
Abbildung 6 hat je nach Aufgabe einen anderen Sieger: In den Läufen von Scale beantwortet Sol mehr Fragen zu einem fremden Repository, während Fable bessere Tests schreibt.
Beim Refactoring erzielt Fable mit 54,76 ± 6,76 seinen klarsten veröffentlichten Sieg. Die 70 Aufgaben reichen von Zerlegung und Interface-Änderungen bis zu Extraktion und Verlagerung. Die Bewerter prüfen auf Regressionen, kaputte Aufrufstellen, zirkuläre Abhängigkeiten und toten Code [20].
Für Opus 5, Sol und Terra gibt es auf diesem Benchmark kein Ergebnis. Das beste gelistete GPT-Modell ist das ältere GPT-5.5 mit 44,79 [20]. Diese fehlenden Zeilen begrenzen den Vergleich, statt als null Punkte zu zählen.
Welches Modell löst offene Agentenaufgaben am besten? Opus 5
Für Opus 5 sprechen bei offenen Agentenaufgaben insgesamt die stärksten Ergebnisse. Artificial Analysis kann Sol, Opus 5 und Terra auf Terminal-Bench 2.1 nicht sicher voneinander trennen [21]. Anthropics veröffentlichte Ergebnisse setzen Opus dagegen auf FrontierBench, OSWorld und AutomationBench an die Spitze [16].
Auf Terminal-Bench liegen die ersten drei statistisch nah beieinander
Artificial Analysis meldet 89,5 % für Sol xhigh und 89,1 % für Opus 5 max. Sol max, Terra max und Opus 5 xhigh folgen im exakten Gleichstand mit 88,0 % [21].
Der Benchmark prüft, ob ein Modell mit einer Shell ein verifiziertes Ergebnis erreicht. Bei 89 Aufgaben und drei Wiederholungen verschiebt schon ein einziger anders ausgegangener Versuch die Punktzahl um etwa 0,4 Punkte [12]. Fable 5 liegt mit 84,6 % weiter zurück [21].
Daten als Tabelle anzeigen
| Konfiguration | Wert |
|---|---|
| Sol xhigh | 89,5 % |
| Opus 5 max | 89,1 % |
| Terra max | 88,0 % |
| Fable 5 max | 84,6 % |
Abbildung 7 liefert deshalb keinen klaren Sieger zwischen Sol und Opus 5, während Terra trotz seines niedrigeren Input-Preises von 2,50 $ pro Million Tokens nahe an beiden bleibt [2] [21]. OpenAIs Release-Tabelle nennt etwas andere Werte: 88,8 % für Sol, 87,4 % für Terra und 83,1 % für Fable 5 [7]. Die Abweichung zwischen OpenAIs Ergebnissen und dem unabhängigen Lauf ist ungefähr so groß wie die Abstände zwischen den führenden Modellen. Ihre genaue Reihenfolge sollte man deshalb nicht überbewerten.
Bei schwierigeren offenen Aufgaben führt Opus 5
Dasselbe Team entwickelte FrontierBench v0.1 mit 74 schwierigeren Aufgaben aus Computational Biology, Physiksimulation, CAD, formalen Beweisen und GPU-Performance [16]. Anthropic führte die Modelle mit mini-swe-agent aus und fand einen deutlicheren Vorsprung für Opus 5: 44,4 % bei xhigh, 43 % bei max und 39 % bei high, wobei high 19 % weniger Output-Tokens als max verbraucht. Sol erreicht bei max 37,5 %, Fable 5 kommt auf 33,7 % [16]. Für diese offenen Probleme hat Opus 5 damit das stärkste veröffentlichte Ergebnis.
Zwei weitere Benchmarks erweitern diesen Vorsprung auf lange Aufgaben mit vielen Werkzeugen. In OSWorld 2.0 steuert ein Modell für bis zu 500 Aktionen pro Aufgabe eine echte Ubuntu-VM mit Maus und Tastatur. Opus 5 erreicht 70,6 %, Fable 5 kommt auf 66,1 % und Sol auf 62,6 %. Anthropic übernimmt Sols Ergebnis aus OpenAIs Release-Post [16].
Zapiers AutomationBench simuliert stattdessen ein Unternehmen mit 47 Apps und mehreren Geschäftsregeln. Opus 5 max erreicht 26,0 %, medium aber schon 24 % für 0,89 $ pro Aufgabe. Sol kommt auf 18,1 %, Fable auf 17,4 % [16]. Die oberste Zeile von AutomationBench hat sich seitdem geändert, und ich erkläre, warum der AutomationBench-Spitzenwert zwei Modellen zuzuschreiben ist.
Opus 5 führt in beiden Umgebungen. Der geringe Abstand zwischen medium und max zeigt jedoch erneut, dass die höchste Effort-Stufe nicht immer nötig ist.
Wie liest man ein Leaderboard von 2026? Setups statt Namen vergleichen
Ein Leaderboard misst nie nur ein Modell, sondern immer auch einen bestimmten Harness, eine Effort-Stufe und einen Bewerter. Ändert sich einer dieser Teile, kann sich die Punktzahl stärker verschieben als zwischen Platz eins und vier. Deshalb prüfe ich vor jedem Vergleich fünf Punkte.
| Die Prüfroutine | Der Beleg in diesem Vergleich |
|---|---|
| Prüfe, welcher Harness lief | SWE-bench Pro misst Fable mit 80,0, Opus 5 mit 79,2 und Sol mit 64,6, jeweils im Agenten des Anbieters [16]; mit DeepSWEs gemeinsamem Agenten liegen dieselben Modelle nur vier Punkte auseinander [1] |
| Beachte die Fehlerbalken | 74 ± 4 gegen 73 ± 3 [1]; drei exakte Gleichstände bei 88,0 % [21]; ein Vorsprung von 0,1 Punkten über fünf Läufe [15] |
| Erkenne Sättigung | Opus 5 erreicht 96,0 % auf SWE-bench Verified [16]; ein Leaderboard ohne Spielraum nach oben kann die Modelle kaum ordnen |
| Prüfe die Version | OpenAIs Release-Seite zitiert den Coding Agent Index v1.1 mit Sol bei 80 [7]; die aktuelle Version v1.3 bewertet Sol max mit 67 [18] |
| Fehlend ist nicht null | Opus 5 hat in keinem der drei Benchmarks von Scale eine Zeile [17] [19] [20]; für Terra gibt es außerhalb von DeepSWE und FrontierCode kaum Werte |
Besonders leicht gehen Versionsnummern unter. Ein Wert von 80 im Coding Agent Index v1.1 und ein Wert von 67 in v1.3 gehören zwar zur selben Modellfamilie, aber nicht zur selben Messung. Auch bei DeepSWE änderte sich GPT-5.5 xhigh von 70 % in v1 auf 67 % in v1.1 [1]. Ohne Version ist ein Benchmark-Ergebnis deshalb unvollständig. Ein späteres Beispiel ist die Neubewertung von Muse Spark 1.3 im Index von Artificial Analysis.
Selbst Primärquellen können ungeklärte Unterschiede enthalten. In der Übersicht der Opus-5-System-Card wird Sols FrontierBench-Lauf als Codex bezeichnet, während der Methodentext mini-swe-agent auf derselben Infrastruktur nennt. Der Widerspruch bleibt unerklärt [16]. Auch das SWE-bench-Multimodal-Ergebnis von 59,4 für Opus 5 und 54,1 für Fable stammt aus einem intern veränderten Harness [16].
Scale schafft weitere Unterschiede, indem neuere mini-swe-agent-Läufe 500 Schritte statt der früheren 250 bekommen. Außerdem stellt Scale fest, dass führende Modelle in den Harnesses ihrer eigenen Anbieter besser abschneiden [17]. Keine dieser Entscheidungen macht die Arbeit unehrlich. Zusammen zeigen sie aber, dass viele Zeilen unterschiedliche Systeme messen. Mein Vergleich von Kimi K3 und GLM-5.2 kam mit anderen Daten zum selben Schluss: Die Fähigkeiten sind echt, viele Werte aber nicht direkt vergleichbar.
Drei fehlende Ergebnisse könnten diese Empfehlungen noch verändern: Opus 5 auf den Benchmarks von Scale, eine öffentliche Effort-Reihe für Fable 5 und Tests jedes Modells im Harness des jeweils anderen Anbieters. Bis diese Daten vorliegen, würde ich nach der Aufgabe wählen, nicht nach dem höchsten Rang. Das teuerste Modell ist selten für jede Aufgabe die beste Wahl, Terra bleibt in mehreren Benchmarks nahe an der Spitze, und weniger Effort kann zugleich Kosten senken und die Patch-Qualität verbessern. OpenAI hat inzwischen einen Nachfolger von Sol veröffentlicht, und mein Vergleich von GPT-6 Astra mit Sol 5.6 knüpft hier an.
Quellen
- DeepSWE leaderboard
- API models
- Latest model guide
- Models overview
- Pricing
- Effort
- GPT-5.6
- Codex models
- Claude Opus 5 analysis
- GPT-5.6 Sol analysis
- GPT-5.6 Terra analysis
- Intelligence benchmarking methodology
- Claude Fable 5 analysis
- Opus 5: Fable 5 level intelligence at a lower cost per task
- FrontierCode leaderboard
- Claude Opus 5 system card
- SWE Atlas: Codebase QnA
- Coding Agent Index
- SWE Atlas: Test Writing
- SWE Atlas: Refactoring
- Terminal-Bench v2.1 evaluation