GPT-5.6 face à Claude 5 : pourquoi les benchmarks divergent

Au 30 juillet 2026, aucun benchmark ne désigne un vainqueur clair entre GPT-5.6 et Claude 5. Dans DeepSWE de Datacurve, qui utilise le même agent pour tous, Opus 5 et Sol sont statistiquement à égalité, 74 % contre 73 % [1]. Terra rejoint Fable 5 à 70 % pour moins du quart du coût par tâche [1]. Mon choix dépend donc du travail et du budget.

Quel modèle choisir pour chaque tâche de développement ?

Je choisirais Terra pour le travail courant en volume, Sol pour un objectif clair, Opus 5 pour un problème inconnu et Fable 5 pour des changements soignés à l’échelle du dépôt. Le nom du modèle ne suffit pas, car la tâche et le niveau d’effort peuvent modifier à la fois la qualité et le coût.

Le travail	Mon choix	Effort
Endpoints courants, mappings, petits tests, configuration	Terra	medium ou high
Une pull request cadrée avec des critères d’acceptation nets	Opus 5	medium
Appliquer un plan connu, corriger un bug reproductible	Sol	high
Trouver la cause d’une panne inconnue	Opus 5	high ou xhigh
Concevoir les tests d’une fonctionnalité importante	Fable 5	xhigh
Refactoring global et migrations d’interfaces	Fable 5	xhigh
Longues sessions de terminal et de débogage	Sol ou Opus 5	high ou xhigh
Ingénierie ouverte sans solution connue	Opus 5	xhigh

Les tendances mesurées derrière ces choix sont plus utiles qu’un classement général. Sol est le seul modèle dont la qualité des patchs progresse à chaque niveau d’effort sur FrontierCode de Cognition [15]. Fable obtient ses meilleurs résultats avec xhigh sur ce benchmark et sur Test Writing de Scale Labs [15] [19]. Pour Opus 5, le bon réglage dépend davantage du travail : medium pour un changement cadré sur FrontierCode [15], xhigh pour un problème ouvert dans les résultats FrontierBench d’Anthropic [16].

Les recommandations des fournisseurs suivent ces tendances. OpenAI présente medium comme un point de départ équilibré [3], tandis qu’Anthropic utilise high par défaut et ne conseille max que si la tâche justifie les tokens supplémentaires [6].

Comment GPT-5.6 et Claude 5 diffèrent-ils sur le prix et l’effort ?

Terra est l’exception tarifaire : OpenAI le facture deux fois moins cher que Sol, tandis qu’OpenAI et Anthropic proposent environ un million de tokens de contexte pour les quatre modèles [2] [4]. Le réglage d’effort peut modifier davantage encore le coût et le résultat, mais les niveaux des deux fournisseurs ne sont pas directement comparables.

Les fournisseurs attribuent des rôles différents à leurs modèles. OpenAI présente Sol comme son modèle GPT-5.6 principal et Terra comme l’option moins chère, l’alias gpt-5.6 pointant vers Sol [2] [3]. Anthropic recommande Opus 5 pour le code complexe et le travail en entreprise, tandis que Fable 5 occupe le haut de sa gamme pour les agents de longue durée [4].

Leurs prix catalogue confirment cette répartition. Sol coûte 5 $ par million de tokens d’entrée et 30 $ par million de tokens de sortie. Terra coûte exactement la moitié, soit 2,50 $ et 15 $ [2]. Opus 5 est facturé 5 $ et 25 $, contre 10 $ et 50 $ pour Fable 5 [5]. Anthropic propose aussi un mode Opus 5 plus rapide en préversion de recherche, mais le facture au tarif de Fable 5 [5].

Caractéristique	Sol	Terra	Opus 5	Fable 5
Entrée, $/MTok	5,00	2,50 (Meilleure valeur de la ligne)	5,00	10,00
Sortie, $/MTok	30	15 (Meilleure valeur de la ligne)	25	50
Lecture de cache, $/MTok	0,50	0,25 (Meilleure valeur de la ligne)	0,50	1,00
Fenêtre de contexte	1,05M	1,05M	1M	1M
Niveaux d'effort	6, de none à max	6, de none à max	5, de low à max	5, de low à max

La figure 1 montre la différence pratique : Terra est le seul modèle moins cher du groupe. Les fenêtres de contexte ne permettent pas de les départager.

Les réglages d’effort comptent encore plus que les prix catalogue, mais les deux échelles ne fonctionnent pas de la même manière. GPT-5.6 propose six niveaux de none à max, et OpenAI recommande medium comme point de départ équilibré [3]. Claude en propose cinq, utilise high par défaut et oriente les tâches exigeantes de code ou d’agent vers xhigh. Anthropic réserve max aux travaux qui justifient une consommation de tokens sans restriction [6]. Comme ces termes ne sont pas des unités normalisées, le niveau high d’OpenAI peut représenter une quantité de calcul différente de celui d’Anthropic.

Ce que rapporte plus d’effort : jusqu’à 15 points pour 16 fois plus de tokens

Passer de low à max ajoute 10 à 15 points sur l’Intelligence Index d’Artificial Analysis, mais multiplie la consommation de tokens par huit à seize. Opus 5 passe de 51 à 61, Sol de 49 à 59 et Terra de 40 à 55 [9] [10] [11].

Cet indice, en version 4.1, combine neuf évaluations portant notamment sur le terminal, l’exécution de tâches réelles, GPQA Diamond et le raisonnement en contexte long. Les tâches agentiques pèsent 34 %, le code et le raisonnement scientifique 24 % chacun, puis le raisonnement général 18 % [12]. Le point le plus utile ici est qu’Artificial Analysis a exécuté la même suite à chaque niveau d’effort, ce qui permet de comparer la progression de façon cohérente.

• Opus 5
• Sol
• Terra

Afficher les données en tableau

Effort	Opus 5	Sol	Terra
low	51	49	40
medium	56	54	46
high	59	56	49
xhigh	60	58	52
max	61	59	55

La figure 2 conserve le même ordre à chaque niveau : Opus 5 mène, Sol reste à environ deux points et Terra demeure troisième. En haut de l’échelle, c’est la valeur du niveau supplémentaire qui change. Opus 5 ne gagne que 0,62 point non arrondi de xhigh à max, alors que sa consommation de sortie passe de 76 à 100 millions de tokens [9].

Les totaux de tokens révèlent le même compromis. Opus 5 passe de 12 millions de tokens de sortie avec low à 100 millions avec max. Sol monte de 6,6 à 70 millions, et Terra de 5,9 à 96 millions [9] [10] [11]. La dernière étape de Terra coûte particulièrement cher, car le passage de xhigh à max triple presque sa sortie pour seulement trois points d’indice [11].

Fable 5 ne peut pas être suivi sur la même courbe, car Artificial Analysis ne publie que son résultat avec max : 60 points pour 87 millions de tokens de sortie, soit un point arrondi de moins qu’Opus 5 [13].

Les deux modèles Anthropic se repliaient sur Opus 4.8 lorsque leur couche de sécurité arrêtait un prompt [13] [14]. En tenant compte de ce repli, Artificial Analysis calcule un coût de 2,03 $ par tâche d’indice pour Opus 5, contre 2,75 $ pour Fable 5 [14].

Qui gagne avec le même agent ? Opus 5 et Sol sont à égalité

DeepSWE de Datacurve ne fait ressortir aucun vainqueur clair lorsque les 18 modèles utilisent le même mini-swe-agent. Avec l’effort max, Opus 5 résout 74 % ± 4 des tâches et Sol 73 % ± 3 [1]. Leurs intervalles de confiance se chevauchent, donc l’écart d’un point n’est pas significatif. Fable 5 et Terra suivent, tous deux à 70 % [1].

J’accorde le plus de poids à DeepSWE précisément parce que le harness commun élimine une grande source de variation. Ses 113 tâches couvrent 91 dépôts et cinq langages, et leurs auteurs les ont rédigées de zéro afin que les modèles n’aient pas pu voir les solutions pendant l’entraînement [1]. Des vérificateurs écrits à la main testent le comportement plutôt que les détails d’implémentation. Les prompts font environ la moitié de la longueur de ceux de SWE-bench Pro, alors que les solutions demandent 5,5 fois plus de code [1].

Mesure	Opus 5	Sol	Fable 5	Terra
Tâches résolues, %	74	73	70	70
Coût par tâche, $	11,84	8,39	21,63	4,95 (Meilleure valeur de la ligne)
Tokens de sortie, K	118	60 (Meilleure valeur de la ligne)	119	72
Étapes de l'agent	99	61 (Meilleure valeur de la ligne)	88	76

La figure 3 ne distingue volontairement aucun vainqueur sur la ligne des tâches résolues, car 74 % ± 4 et 73 % ± 3 sont statistiquement à égalité. Datacurve signale lui-même le chevauchement des intervalles de confiance [1]. La différence la plus nette tient à la manière d’obtenir ce résultat. Sol utilise 60 000 tokens de sortie et 61 étapes, contre 118 000 tokens et 99 étapes pour Opus 5. Son coût par tâche tentée tombe ainsi de 11,84 $ à 8,39 $ [1].

L’écart de coût est encore plus grand entre Terra et Fable 5. Tous deux résolvent 70 % des tâches, mais Terra coûte 4,95 $ par tentative contre 21,63 $ pour Fable [1]. En divisant ces montants par le taux de réussite, on obtient une estimation optimiste du coût par tâche résolue : 7,07 $ pour Terra et 30,90 $ pour Fable. J’ai employé la même méthode dans mon analyse de Kimi K3.

tâches résolues avec max

70 %

au niveau de Fable 5 max

mesuré, par tâche tentée

4,95 $

Fable 5 max : 21,63 $

calculé, par tâche résolue

7,07 $

le moins cher des quatre à max

Même pour un seul modèle, max n’offre pas toujours le meilleur rapport entre coût et résultat. Opus 5 avec high atteint 73 % ± 2 pour 6,08 $ par tâche. Il égale donc presque Sol max pour moins cher, tandis que Sol avec xhigh atteint 71 % ± 1 pour 4,70 $ [1]. Fable rend le compromis plus visible encore : xhigh et max résolvent tous deux 70 %, mais xhigh coûte 13,41 $ au lieu de 21,63 $ [1]. La comparaison coût-score de Datacurve retient Opus 5 max, Fable 5 high et Sol medium parmi les configurations efficaces [1].

Quel modèle produit le patch le plus facile à fusionner ?

Fable 5 xhigh et Opus 5 medium sont pratiquement à égalité en tête de FrontierCode de Cognition, qui cherche à savoir si les mainteneurs accepteraient le patch [15]. Le résultat le plus utile est qu’Opus atteint son meilleur score avec medium, et non avec max.

Le benchmark repose sur des tâches rédigées par les mainteneurs des dépôts testés. Une exécution obtient zéro si elle consulte une source contenant la solution, et le correcteur évalue la justesse, la qualité des tests, le respect du périmètre et les conventions du code.

Les meilleurs scores exacts sont 53,5 pour Fable 5 xhigh, 53,4 pour Opus 5 medium, 47,5 pour Sol max et 41,3 pour Terra max [15].

• Fable 5
• Opus 5
• Sol

Afficher les données en tableau

Effort	Fable 5	Opus 5	Sol
low	48,0	41,9	35,4
medium	49,8	53,4	39,9
high	52,7	48,0	45,1
xhigh	53,5	43,6	46,8
max	51,6	48,0	47,5

La figure 5 montre trois réactions différentes à l’augmentation de l’effort. Sol progresse régulièrement de 35,4 avec low à 47,5 avec max [15]. Fable 5 culmine à 53,5 avec xhigh, puis perd 1,9 point avec max. Opus 5 est encore moins prévisible : il atteint 53,4 avec medium, tombe à 43,6 avec xhigh, puis ne remonte qu’à 48,0 avec max [15]. La system card d’Anthropic montre la même courbe et confirme que medium est le meilleur réglage d’Opus 5 sur le jeu principal [16].

La méthode de notation de FrontierCode aide à comprendre pourquoi davantage d’effort peut nuire. Le benchmark récompense le respect du périmètre [15] et recherche les méthodes d’implémentation interdites [16]. Un niveau d’effort élevé peut pousser le modèle à explorer plus de fichiers et à élargir ses modifications. Cette tendance peut aider face à un problème de recherche ouvert, mais elle dessert une pull request strictement cadrée. J’ai observé la même chose quand Opus 5 a dirigé ma semaine.

L’avance de 0,1 point de Fable sur Opus 5 medium ne permet pas de désigner un vrai vainqueur, car chaque configuration ne compte que cinq exécutions et les deux réussissent 58,9 % des tâches [15].

Leurs coûts sont moins ambigus : Fable xhigh revient à 13,09 $ par exécution, contre 4,30 $ pour Opus medium. Même le meilleur score de Sol, 47,5, reste inférieur au plus faible score de Fable, 48,0 [15].

Claude mène donc ce benchmark de qualité des patchs. La limite importante est que Claude tournait dans Claude Code, tandis que GPT-5.6 tournait dans Codex [15].

SWE Atlas partage les victoires entre Sol et Fable 5

Dans les exécutions SWE Atlas de Scale Labs, Sol mène sur la compréhension du code, tandis que Fable 5 mène sur l’écriture de tests et le refactoring [17] [19] [20]. Une autre exécution d’Artificial Analysis inverse l’ordre pour la compréhension, ce qui montre combien le dispositif agentique peut modifier le résultat [18].

La compréhension d’un dépôt change selon le dispositif agentique

Codebase QnA place un vrai dépôt dans un conteneur et pose à l’agent 124 questions qui exigent d’exécuter le logiciel et de suivre son fonctionnement. L’architecture compte pour 35 % du score et l’analyse de cause racine pour 30 % [17].

Scale Labs publie 46,0 ± 5,0 pour Sol xhigh dans Codex et 39,0 ± 5,0 pour Fable 5 dans Claude Code. Les deux modèles ont cependant perdu des points lorsque leurs filtres de sécurité leur ont fait refuser des questions bénignes [17]. Opus 5 et Terra n’ont aucun résultat, et l’ancienne génération mène le classement avec 57,26 pour Opus 4.8 [17].

Artificial Analysis obtient un autre ordre à partir des mêmes 124 questions. Dans son Coding Agent Index, Opus 5 xhigh atteint 54,8, Fable 5 48,9 et Sol max 43,3 [18]. Le jeu de tâches reste identique, mais les exécutions et les harnesses changent. Cette inversion montre donc l’influence du système qui entoure le modèle sur un classement.

Fable 5 mène sur l’écriture de tests et le refactoring

Le benchmark Test Writing de Scale Labs utilise 90 tâches pour vérifier si un agent comprend le comportement qu’il teste. Chaque test produit doit réussir sur la vraie implémentation, puis échouer après une modification volontaire du code concerné. Un test vide ne rapporte donc rien [19]. Fable 5 obtient 55,6 ± 5,8 contre 45,9 ± 6,0 pour Sol, mais le chevauchement des intervalles laisse les deux modèles classés premiers [19].

• Fable 5
• Sol

Afficher les données en tableau

Benchmark	Fable 5	Sol
Codebase QnA	39,0	46,0
Écriture de tests	55,6	45,9

La figure 6 attribue une force différente à chaque modèle dans les exécutions de Scale : Sol répond mieux aux questions sur un dépôt inconnu, tandis que Fable y écrit de meilleurs tests.

Le refactoring constitue la victoire publiée la plus nette de Fable, avec 54,76 ± 6,76. Les 70 tâches couvrent la décomposition, les changements d’interfaces, l’extraction et le déplacement. Les correcteurs recherchent les régressions, les sites d’appel cassés, les dépendances circulaires et le code mort [20].

Opus 5, Sol et Terra n’ont aucun résultat sur ce benchmark. Le meilleur modèle GPT répertorié est celui de la génération précédente, GPT-5.5, avec 44,79 [20]. Ces lignes manquantes limitent la comparaison, elles ne comptent pas comme des zéros.

Quel modèle gère le mieux les tâches agentiques ouvertes ? Opus 5

Opus 5 est le choix le mieux étayé pour les tâches agentiques ouvertes. Artificial Analysis ne permet pas de départager avec certitude Sol, Opus 5 et Terra sur Terminal-Bench 2.1 [21], mais les résultats publiés par Anthropic placent Opus en tête sur FrontierBench, OSWorld et AutomationBench [16].

Terminal-Bench laisse les trois premiers statistiquement proches

Artificial Analysis publie 89,5 % pour Sol xhigh et 89,1 % pour Opus 5 max. Sol max, Terra max et Opus 5 xhigh obtiennent tous exactement 88,0 % [21].

Le benchmark mesure si un modèle peut utiliser un shell pour parvenir à un résultat vérifié. Avec 89 tâches répétées trois fois, un seul essai différent déplace le score d’environ 0,4 point [12]. Fable 5 arrive plus loin avec 84,6 % [21].

Afficher les données en tableau

Configuration	Valeur
Sol xhigh	89,5 %
Opus 5 max	89,1 %
Terra max	88,0 %
Fable 5 max	84,6 %

La figure 7 ne permet donc pas de départager clairement Sol et Opus 5. Terra reste proche malgré son prix d’entrée inférieur de 2,50 $ par million de tokens [2] [21]. La table de lancement d’OpenAI publie des scores légèrement différents, soit 88,8 % pour Sol, 87,4 % pour Terra et 83,1 % pour Fable 5 [7]. L’écart entre les chiffres d’OpenAI et ceux de l’évaluation indépendante est à peu près aussi grand que les écarts entre les meilleurs modèles. C’est une raison de plus pour ne pas surinterpréter leur ordre.

Les tâches ouvertes plus difficiles favorisent Opus 5

La même équipe a conçu FrontierBench v0.1 autour de 74 tâches plus difficiles en biologie computationnelle, simulation physique, CAO, preuves formelles et performance GPU [16]. Anthropic a exécuté les modèles avec mini-swe-agent et a mesuré une avance plus nette pour Opus 5 : 44,4 % avec xhigh, 43 % avec max et 39 % avec high, ce dernier consommant 19 % de tokens de sortie en moins que max. Sol atteint 37,5 % et Fable 5 33,7 %, tous deux avec max [16]. Sur ces problèmes ouverts, Opus 5 possède le meilleur résultat publié.

Deux autres benchmarks prolongent cette avance sur des tâches longues qui emploient beaucoup d’outils. Dans OSWorld 2.0, le modèle pilote une véritable machine virtuelle Ubuntu à la souris et au clavier pendant au maximum 500 actions par tâche. Opus 5 obtient 70,6 %, Fable 5 66,1 % et Sol 62,6 %. Anthropic reprend le résultat de Sol du billet de lancement d’OpenAI [16].

AutomationBench de Zapier simule plutôt une entreprise avec 47 applications et plusieurs règles métier. Opus 5 max y atteint 26,0 %, tandis que medium obtient déjà 24 % pour 0,89 $ par tâche, contre 18,1 % pour Sol et 17,4 % pour Fable [16]. La première ligne d’AutomationBench a changé depuis, et j’explique pourquoi le meilleur score d’AutomationBench concerne deux modèles.

Opus 5 mène dans les deux environnements, mais le faible écart entre medium et max montre encore une fois que le niveau d’effort le plus élevé n’est pas toujours nécessaire.

Comment lire un classement en 2026 : comparez les dispositifs, pas les noms

Un classement mesure un dispositif complet : un modèle, un harness, un niveau d’effort et un correcteur. Modifier l’un de ces éléments peut déplacer le score davantage que l’écart entre la première et la quatrième place. J’applique donc cinq vérifications avant de comparer des résultats.

Le réflexe	Ce que montre cette comparaison
Vérifier le harness	SWE-bench Pro donne Fable à 80,0, Opus 5 à 79,2 et Sol à 64,6, chacun dans l’agent de son fournisseur [16] ; l’agent commun de DeepSWE ramène ces mêmes modèles dans un intervalle de quatre points [1]
Respecter les barres d’erreur	74 ± 4 contre 73 ± 3 [1] ; trois égalités exactes à 88,0 % [21] ; une avance de 0,1 point sur cinq exécutions [15]
Repérer la saturation	Opus 5 obtient 96,0 % sur SWE-bench Verified [16] ; un classement sans marge de progression ne classe plus grand-chose
Contrôler la version	La page de lancement d’OpenAI cite Coding Agent Index v1.1 avec Sol à 80 [7] ; la version v1.3 en ligne donne 67 à Sol max [18]
Une absence n’est pas un zéro	Opus 5 n’a de ligne dans aucun des trois classements de Scale [17] [19] [20] ; Terra est presque absent en dehors de DeepSWE et FrontierCode

Les numéros de version méritent une attention particulière, car le nom familier d’un benchmark peut cacher un test modifié. Coding Agent Index attribue 80 à la même famille de modèles dans sa version 1.1 et 67 dans la version 1.3, mais ces chiffres ne sont pas comparables. DeepSWE a de même fait passer GPT-5.5 xhigh de 70 % sur la version 1 à 67 % sur la version 1.1 [1]. Sans le numéro de version, le résultat est incomplet. Un exemple plus récent est le recalcul de Muse Spark 1.3 sur l’indice d’Artificial Analysis.

Même les sources primaires peuvent laisser des détails importants sans réponse. La table récapitulative de la system card d’Opus 5 indique que Sol tourne dans Codex sur FrontierBench, mais la méthode parle de mini-swe-agent sur la même infrastructure sans expliquer cette contradiction [16]. Le résultat SWE-bench Multimodal, 59,4 pour Opus 5 contre 54,1 pour Fable, provient aussi d’un harness interne dérivé puis modifié à partir de la version publique [16].

Scale ajoute une autre variation en accordant 500 étapes aux nouvelles exécutions de mini-swe-agent, contre 250 auparavant, et rapporte que les meilleurs modèles réussissent davantage dans le harness de leur propre fournisseur [17]. Ces choix ne rendent pas les résultats malhonnêtes, mais leur combinaison montre que de nombreuses lignes mesurent des systèmes différents. Mon analyse de Kimi K3 et GLM-5.2 arrivait à la même conclusion avec d’autres données : les capacités sont réelles, mais de nombreux scores ne sont pas directement comparables.

Trois résultats manquants pourraient modifier ces recommandations : Opus 5 sur les benchmarks de Scale, une série publique des niveaux d’effort de Fable 5, et chaque modèle testé dans le harness de l’autre fournisseur. D’ici là, je choisirais selon la tâche plutôt que d’acheter le modèle en tête du classement. Le modèle le plus cher est rarement le meilleur partout, Terra reste proche sur plusieurs benchmarks, et réduire le niveau d’effort peut à la fois baisser le coût et améliorer la qualité des patchs. OpenAI a depuis publié un successeur à Sol, et ma comparaison de GPT-6 Astra avec Sol 5.6 prend la suite.