Benchmarks

Kimi K3 ist echt, GLM-5.2 ein Glücksspiel, billig ist keins

Kimi K3 zieht im unabhängigen Coding-Index mit GPT-5.6 gleich, braucht 4,6-mal so lange. GLM-5.2s Tokens für 1,40 $ kosten 6,51 $ pro Aufgabe. Nachgemessen.

Auf dieser Seite
  1. Woher kommt der Hype?
  2. Was sagen die unabhängigen Zahlen?
  3. Ist billiger pro Token wirklich billiger?
  4. Was kann Kimi K3 wirklich gut?
  5. Warum ist GLM-5.2 in Claude Code eingebrochen?
  6. Wie man ein Coding-Leaderboard liest
  7. Wo die Modelle in meinem Routing landen

Das Versprechen hinter den neuen chinesischen Modellen ist simpel: Open Weights, die mit der westlichen Spitze gleichziehen, für einen Bruchteil des Preises. Die unabhängigen Zahlen sind präziser. Auf dem Coding Agent Index von Artificial Analysis zieht Kimi K3 tatsächlich mit GPT-5.6 auf Stufe medium gleich, bei 4,6-facher aktiver Zeit [1]. Und aus GLM-5.2s Tokens für 1,40 $ wurden 6,51 $ pro versuchter Aufgabe [2].

Ich habe noch keines der beiden Modelle gegen meine eigenen Repositories laufen lassen, das hier ist also kein Praxistest. Es ist eine Lektüre der Belege, die es gibt: die unabhängigen Agent-Messungen, die Arena-Stimmen, die Tabellen der Hersteller samt ihrer eigenen Fußnoten, und die Lizenzbedingungen, die in Launch-Threads niemand zitiert. Kurzfassung: Die Fähigkeit ist echt, der Rabatt meistens nicht.

Woher kommt der Hype?

Aus drei wahren Fakten, die gleichzeitig eintrafen. Kimi K3 führt Arenas Fullstack-Leaderboard an [3] und liegt auf der WebDev Arena auf Platz zwei, vor Claude Fable 5 und GPT-5.6 [4]. Beide Modelle liefern Open Weights in Größen, die vorher niemand geöffnet hatte [5] [6]. Und beide listen Tokenpreise weit unter den westlichen Flaggschiffen [5] [7].

Die Arena-Ergebnisse verdienen es, ernst genommen zu werden. Auf dem Fullstack-Board vom 24. Juli 2026 hält Kimi K3 max Rang 1 mit einem Rating von 1.664, vor GPT-5.6 Sol mit 1.633 und Fable 5 mit 1.623 [3]. Auf der WebDev Arena vier Tage später führt Claude Opus 5 max mit 1.712, Kimi liegt mit 1.682 über 3.777 Stimmen auf Platz zwei, vor Fable 5, Sol und GLM-5.2 [4]. Menschen mit freier Wahl stimmen immer wieder für das, was dieses Modell im Browser baut.

Die Offenheit ist ebenfalls echt. Moonshot nennt Kimi K3 das erste Open-Weight-Modell mit 2,8 Billionen Parametern, mit einem Kontextfenster von einer Million Tokens, eingebauter Vision und einem API-Preis von 3 $ pro Million Input-Tokens und 15 $ für Output [5]. GLM-5.2 ist der kleinere Bruder: 753 Milliarden Parameter unter einer schlichten MIT-Lizenz [6], gelistet zu 1,40 $ rein und 4,40 $ raus [7]. Leg diese Preisschilder neben die westliche Preisliste, und die Erzählung schreibt sich von selbst.

Moonshot selbst ist vorsichtiger als seine Fans. Der Launch-Post räumt ein, dass K3 weiterhin hinter Fable 5 und GPT-5.6 Sol liegt, und gesteht “eine spürbare Lücke in der Nutzererfahrung” gegenüber beiden ein [5]. Dieser Satz, vom Hersteller selbst geschrieben, erweist sich auch als die treffendste Zusammenfassung der unabhängigen Daten.

Was sagen die unabhängigen Zahlen?

Artificial Analysis schickt jedes System durch dieselbe dreiteilige Suite: 113 Software-Engineering-Aufgaben (DeepSWE), 84 agentische Terminal-Aufgaben (Terminal-Bench v2) und 124 technische Fragen zu Codebasen (SWE-Atlas Q&A), gleich gewichtet im Coding Agent Index v1.3 [8]. Abgerufen am 30. Juli 2026: Kimi K3 erreicht 61, exakt gleichauf mit GPT-5.6 auf Effort-Stufe medium. Opus 5 medium erreicht 62. GLM-5.2 erreicht 43 [1] [2].

Ein Rahmendetail zählt mehr als jede einzelne Zahl. Der Index misst Systeme, nicht Gewichte: Kimi lief in seiner eigenen Kimi Code CLI, GLM-5.2 in Claude Code, Sol in Codex, die Claude-Modelle in Claude Code [1] [2]. Gemessen wird nie das Modell allein. Gemessen wird ein Modell, das einen bestimmten Agent auf einer bestimmten Effort-Stufe trägt.

Messwert Kimi K3GLM-5.2Sol mediumOpus 5 medium
Coding Agent Index 61 43 61 62 (Bester Wert der Zeile)
DeepSWE, % 64 29 64 63
Terminal-Bench v2, % 84 (Bester Wert der Zeile) 72 78 79
SWE-Atlas Q&A, % 37 29 40 44 (Bester Wert der Zeile)
Kosten pro Aufgabe, $ 3,18 6,51 2,99 (Bester Wert der Zeile) 3,14
Aktive Zeit, min 23,8 25,1 5,2 (Bester Wert der Zeile) 12,2
Abbildung 1. Coding Agent Index v1.3, Teilwerte und gemessene Kosten pro Aufgabe. Artificial Analysis, abgerufen am 30. Juli 2026.

Die Geschichte der Tabelle liegt auf der Diagonale: Kimi gewinnt das Terminal, Opus das Verständnis, Sol die Stoppuhr, und GLM-5.2 gewinnt bei diesen Einstellungen nichts.

Schau zuerst auf das Unentschieden, denn es ist die fairste Ein-Zeilen-Zusammenfassung von Kimi. Dieselben 61 wie Sol medium, zu 3,18 $ pro Aufgabe gegenüber 2,99 $, also rund 6 % mehr Geld [1]. Aber es braucht 23,8 aktive Minuten gegenüber Sols 5,2, das ist das 4,6-Fache aus dem Einstieg, und 10,6 Millionen Tokens gegenüber 5,8 Millionen. Gegen Opus 5 medium wiederholt sich das Bild: ein Indexpunkt darunter, vier Cent mehr pro Aufgabe, ungefähr die doppelte Zeit [2].

Die Decke bleibt westlich. Sol max erreicht 67 zu 7,08 $ pro Aufgabe [1]; Opus 5 xhigh hält dieselben 67 zu 8,23 $ und liefert das beste Repository-Verständnis der Suite, 55 % auf SWE-Atlas Q&A [2]. Fable 5 max landet bei 66 für 11,71 $ pro Aufgabe, der teuerste Weg, einen Punkt zu kaufen, den Opus xhigh auch verkauft [2]. Kimis eigene 84 % auf Terminal-Bench v2 sind echtes Spitzenterrain, über Sol highs 83 % und wenige Punkte hinter den Flaggschiffen auf Maximal-Effort [1] [2].

Kimis weiche Stelle ist genauso sichtbar: 37 % auf der Codebase-Q&A-Komponente, unter Sol mediums 40 % und weit unter dem, was die Claude-Konfigurationen abliefern [1] [2]. Das Profil liest sich wie ein Agent, der besser darin ist, zu machen, als zu verstehen, was schon existiert. Für Arbeit auf der grünen Wiese ist das fast egal. Für ein gewachsenes Repository mit 300.000 Zeilen ist es der ganze Job.

Ist billiger pro Token wirklich billiger?

Nicht von allein. Eine Aufgabe kostet Tokens mal Tokenpreis, und ein Agent, der mehr Runden, mehr Wiederholungen oder mehr Denken braucht, multipliziert den ersten Faktor schneller, als irgendein Rabatt den zweiten schrumpft. GLM-5.2 ist der gemessene Beweis: der niedrigste Listenpreis des Boards, und trotzdem Kosten pro Aufgabe über jeder westlichen medium-Konfiguration [2] [7].

Zuerst die Listenpreise, denn zwei davon haben mich überrascht. Bis zum 31. August 2026 verkauft sich Claude Sonnet 5 zum Einführungspreis von 2 $ pro Million Input-Tokens und 10 $ für Output, ab dem 1. September dann 3 $ und 15 $ [9]. Kimi K3 kostet heute 3 $ und 15 $ [5]. Das berühmt billige chinesische Modell ist diesen Monat pro Token 50 % teurer als Anthropics Volumenmodell, und ab Herbst auf der Liste identisch.

Der Rest des Boards: Opus 5 zu 5 $ rein und 25 $ raus, Fable 5 zu 10 $ und 50 $ [9], GPT-5.6 zu 5 $ und 30 $ mit einer Langkontext-Stufe zu 10 $ und 45 $ [10], und GLM-5.2 unter allem mit 1,40 $ und 4,40 $ und Cache-Lesezugriffen zu 0,26 $ [7].

Zwei Fußnoten machen selbst diese Preisschilder rutschig. Tokenizer unterscheiden sich pro Hersteller: Anthropic dokumentiert, dass sein aktueller Tokenizer für denselben Text rund 30 % mehr Tokens erzeugt als der vorherige [9], ein Preis pro Million Tokens ist also nicht einmal eine feste Einheit über Modellfamilien hinweg. Und das Denkverhalten unterscheidet sich: Kimi K3 denkt immer, die Plattform-FAQ sagt ausdrücklich, dass es sich nicht abschalten lässt, und die Standard-Stufe ist max [11]. Du bezahlst Tokens, die du nie siehst.

Listenpreis, pro Million Input-Tokens
1,40 $
das billigste Modell in diesem Vergleich
gemessen, pro versuchter Aufgabe
6,51 $
in Claude Code, 25,1 aktive Minuten
abgeleitet, pro gelöster Aufgabe
15,14 $
Kosten pro Versuch geteilt durch die Erfolgsquote von 43 %
Abbildung 2. Was aus GLM-5.2s Listenpreis wird, gemessen und abgeleitet. Artificial Analysis und Z.ai, Juli 2026.

Zieh diese Arithmetik übers ganze Board, und die Reihenfolge ändert sich. Sol medium landet bei rund 4,90 $ pro gelöster Aufgabe, Opus 5 medium bei 5,06 $, Kimi K3 bei 5,21 $ und GLM-5.2 bei 15,14 $, dem Dreifachen seiner westlichen Konkurrenz. Die Lesart der Grafik in einer Zeile: Unter Messung wird das billigste Preisschild des Vergleichs zur teuersten gelösten Änderung.

Und das ignoriert noch den teuren Teil. Zehn Minuten, in denen ein Engineer einen gescheiterten Lauf sortiert, kosten mehr als jede Zahl in dieser Grafik. Sobald Fehlschläge bei einem Menschen landen statt in einer Retry-Schleife, dominiert die Erfolgsquote den Tokenpreis vollständig.

Was kann Kimi K3 wirklich gut?

Terminal-lastige Arbeit, produktförmige Webentwicklung, lange Agent-Läufe und jedes Szenario, in dem es zählt, die Gewichte zu besitzen. Die unabhängige Suite stützt das, die Arenen stützen es, und Moonshots eigene Positionierung passt dazu [1] [3] [5]. Was es nach aktueller Lage nicht ist: ein billiger Drop-in-Ersatz für schwere Arbeit in bestehenden Repositories.

Das Terminal-Ergebnis hält aus zwei Richtungen: 84 % unabhängig gemessen in Kimis eigener CLI [1], 88,3 % in Moonshots bevorzugter Konfiguration [12]. Die Langstrecken-These ist herstellergemessen, aber bemerkenswert: K3 führt Moonshots SWE-Marathon-Tabelle mit 42 an, und dieselbe Tabelle vermerkt offen in den Fußnoten, dass Fable 5 bei 35 % dieser Aufgaben in Fallbacks lief und dass einige Kimi-Zeilen auf einem Vorab-Branch liefen, kalibriert für H20-Hardware [12]. Nimm die native Vision über einen eigenen Encoder und das Fenster von einer Million Tokens dazu [12], und Moonshots Idee, zwischen Code und Live-Screenshots zu iterieren [5], klingt nicht mehr nach Marketing.

Die Schwächen sind genauso konkret. Verständnis: 37 % bei Fragen zur Codebase [1]. Tempo: 23,8 aktive Minuten pro Aufgabe heißen, du parallelisierst Agents oder du wartest; die eigene Aufmerksamkeit lässt sich nicht parallelisieren. Und “Open Weights” verdient eine Überschlagsrechnung, bevor jemand Selbsthosting plant: 2,8 Billionen Parameter bedeuten grob 1,4 TB Gewichte selbst bei 4-Bit-Quantisierung, vor KV-Cache und Serving-Overhead. Das ist ein Cluster, keine Workstation.

Der Papierkram zählt ebenfalls. Die Lizenz ist großzügig, aber kein Standardtext: Ein Model-as-a-Service-Geschäft über 20 Millionen Dollar Gesamtumsatz braucht eine separate Vereinbarung mit Moonshot, und jedes Produkt über 100 Millionen monatlich aktiven Nutzern oder 20 Millionen Dollar Monatsumsatz muss “Kimi K3” prominent anzeigen; interne Nutzung ist ausgenommen [13]. Und die Standard-API-Bedingungen erlauben Moonshot, Kundeninhalte zu nutzen, um seine Dienste bereitzustellen, zu warten, zu entwickeln, zu supporten und zu verbessern; Einschränkungen fürs Modelltraining laufen über separate Enterprise-Vereinbarungen [14]. Ich würde die öffentliche API nicht auf ein proprietäres Repository richten, bevor dieses Gespräch schriftlich geführt ist.

Warum ist GLM-5.2 in Claude Code eingebrochen?

Niemand außerhalb von Z.ai weiß es genau, und genau das ist der Punkt. Dieselben Gewichte erreichen 81 % auf Terminal-Bench in Z.ais eigenem Terminus-Harness [6] und 72 % in Claude Code [2]. Was im unabhängigen Lauf zusammenbrach, ist das System um das Modell herum: Tool-Aufrufe, Fehlererholung, Cache-Verhalten, Passung zu den Konventionen des Agents. Die Messung verurteilt eine Konfiguration, nicht zwingend die Gewichte.

Die vollständige unabhängige Zeile ist so oder so ernüchternde Lektüre: Index 43, DeepSWE 29 %, Codebase-Q&A 29 %, 6,51 $ pro versuchter Aufgabe, und mit 25,1 aktiven Minuten der langsamste Lauf des gesamten Boards [2]. Eine Trajektorie, die 25 Minuten und 6,51 $ verbrennt bei einem Listenpreis von 1,40 $/4,40 $, ist eine Trajektorie, die den Großteil ihres Budgets im Kreis gelaufen ist.

Z.ais eigene Zahlen stammen aus freundlicherer Maschinerie, und die Model Card sagt das offen: SWE-Bench Pro mit 62,1 über OpenHands mit maßgeschneidertem Instruktions-Prompt, DeepSWE mit Zwei-Stunden-Timeouts in isolierten Containern, Terminal-Bench über Terminus mit Vier-Stunden-Budget [6]. Nichts davon ist Betrug. Es ist ein Hersteller, der das Modell in der Umgebung zeigt, für die er es abgestimmt hat. Es ist nur kein Beleg über den Agent, den du tatsächlich fährst.

Eine rationale Spur bleibt trotzdem. Mit 753 Milliarden Parametern unter MIT [6] ist GLM-5.2 der realistischere Selbsthosting-Kandidat der beiden, und zu 1,40 $ pro Million Tokens ein vernünftiger Pilot für Massenarbeit mit automatischer Verifikation: Codemods mit Testsuiten, Migrationskandidaten, alles, wo ein deterministischer Check die 57 % Fehlschläge abfängt und Fehlschläge nur Rechenzeit kosten. Sobald ein Mensch die Fehlschläge reviewt, kippt die Arithmetik zurück.

Wie man ein Coding-Leaderboard liest

Die Kimi- und GLM-Launches sind eine Fallstudie in Benchmark-Lesekompetenz, hier also die Karte, die ich benutze, bevor ich einer Zahl glaube.

SignalWas es belohntWas es dir nicht sagen kann
DeepSWE, 113 AufgabenEngineering-Aufgaben Ende-zu-Ende abschließendie Passung zu den Konventionen deiner Codebase
Terminal-Bench v2, 84 Aufgabeneine Shell zu einem verifizierten Endzustand fahrendas Verständnis eines großen bestehenden Repos
SWE-Atlas Q&A, 124 Aufgabentechnische Fragen zu Code beantwortendie Fähigkeit, die beschriebene Änderung zu landen
WebDev und Fullstack Arenawas Menschen im Direktvergleich bevorzugenKorrektheit, Tests, Sicherheit, Wartbarkeit
Hersteller-Model-Cardsdas Modell in Bestform, im eigenen SetupVergleichbarkeit zwischen den Zeilen

Dann drei Abschläge. Erstens Infrastruktur-Rauschen: Anthropics Engineering-Team maß auf Terminal-Bench 2.0 einen Ausschlag von 6 Prozentpunkten allein durch Ressourcenlimits, sah Infrastruktur-Fehlerraten beim Lockern der Limits von 5,8 % auf 0,5 % fallen und folgerte, dass Leaderboard-Abstände unter etwa 3 Punkten Skepsis verdienen, bis die Konfigurationen dokumentiert und angeglichen sind [15]. Kimis Gleichstand mit Sol medium liegt in diesem Band; behandle ihn als Parität, nicht als Sieg für irgendwen.

Zweitens die Fußnoten-Asymmetrie. Moonshots Vergleichstabelle fährt jeden Konkurrenten in einem anderen Harness, enthält auf manchen Zeilen Fallback-Modelle und wertet den eigenen internen Benchmark, auf dem Fable 5 über 80 Aufgaben 13 Fallbacks und eine Verweigerung sammelte [12]. Anerkennung, wo sie hingehört: Moonshot hat diese Fußnoten selbst abgedruckt. Die Launch-Threads, die die Tabelle zitierten, nicht.

Drittens Versionsdisziplin. Der unabhängige Index trägt eine Version (heute v1.3), weil sich sein Aufgabenmix ändert [8]; ein Wert aus einer Version ist mit dem einer anderen nicht vergleichbar, egal wie ähnlich der Name aussieht. Jeder Vergleich, der Harness, Effort, Budget und Version nicht nennt, ist Bauchgefühl mit Nachkommastelle.

Wo die Modelle in meinem Routing landen

Alles oben ändert, was ich zuerst ausprobieren würde, nicht, worauf ich standardisieren würde. Meine Routing-Tabelle heute, mit den beiden Neuzugängen ehrlich einsortiert:

Die ArbeitMeine Wahl heute
Routineänderungen mit soliden TestsSonnet 5, zu 2 $/10 $ bis zum 31. August 2026
Schnelle Agent-Schleifen und Terminal-ArbeitGPT-5.6 auf Stufe medium oder high
Arbeit in einem großen bestehenden RepositoryOpus 5 auf Stufe medium oder high
Fullstack auf der grünen Wiese, UI-lastige BuildsKimi K3, die Spur, die die Arena-Stimmen stützen
Massenarbeit mit automatischer VerifikationGLM-5.2 im nativen Harness, als Pilot
Eskalation, wenn alles andere scheitertFable 5, sparsam dosiert

Es ist dieselbe Arithmetik, die mir die Launch-Woche von Opus 5 beigebracht hat: Was du wirklich kaufst, sind angenommene Änderungen, und alles andere, Tokens eingeschlossen, ist ein Einsatzstoff.

Zwei Ergebnisse würden diese Zeilen verschieben. Ein Kimi-K3-Lauf in einem neutralen Harness (Claude Code oder Codex), der die 61 hält, was beweisen würde, dass der Wert dem Modell gehört und nicht seiner Heimspiel-CLI. Und eine unabhängige GLM-5.2-Messung im nativen Agent, durchgeführt von jemandem, der es nicht verkauft. Bis dahin bleibt die ehrliche Zusammenfassung stehen: Die Modelle sind echt, die Preise sind Marketing, und die Belege stehen oben.

Quellen

  1. Codex vs Kimi Code CLI: coding agent comparisonArtificial Analysis
  2. Claude Code vs OpenCode: coding agent comparisonArtificial Analysis
  3. Fullstack Arena leaderboardArena · 2026-07-24
  4. WebDev Arena leaderboardArena · 2026-07-28
  5. Kimi K3Moonshot AI
  6. GLM-5.2 model cardZ.ai on Hugging Face
  7. GLM-5.2 API pricingZ.ai Docs
  8. Coding Agent IndexArtificial Analysis
  9. PricingClaude Platform Docs
  10. API pricingOpenAI Developers
  11. Kimi K3 quickstartKimi Platform Docs
  12. Kimi K3 model cardMoonshot AI on Hugging Face
  13. Kimi K3 licenseMoonshot AI on GitHub
  14. Model use agreementKimi Platform Docs
  15. Benchmark scores and infrastructure noiseAnthropic Engineering