Gemini 4 Argon: i benchmark di codice non concordano

Google ha annunciato Gemini 4 Argon il 30 settembre 2026, e i risultati di programmazione mi danno motivi per provarlo prima di cambiare modello. Argon guida il confronto DeepSWE di Google, ma resta dietro Astra e Opus in altri test. Il limite di output sale inoltre a un milione di token, con un accesso iniziale riservato a un programma di difesa informatica. [1] [2]

Che cosa mostrano i benchmark di codice di Gemini 4 Argon?

Argon vince il confronto DeepSWE, ma la tabella di lancio di Google mostra già che il primo posto cambia secondo il lavoro richiesto. Lo includerei tra i candidati per lavorare sui repository, senza considerarlo il sostituto automatico di Astra o Opus. Queste tre righe spiegano il motivo. [2]

In DeepSWE v1.1, Argon raggiunge il 77,9 %, davanti ad Astra con il 74,1 % e Opus 5.5 con il 74,2 %. È un risultato utile per lo sviluppo software. FrontierSWE v2, però, colloca Astra al 65,5 % contro il 55,0 % di Argon, mentre Terminal-bench 4.0 dà a Opus il 66,4 % contro il 57,4 % di Argon. Le differenze sono di 10,5 e 9,0 punti percentuali, calcolate dai punteggi pubblicati. [2]

La differenza conta perché «il migliore a programmare» sarebbe una conclusione troppo ampia per questa tabella. Risolvere un problema circoscritto e completare un incarico lungo possono richiedere capacità diverse a un agente. I risultati suggeriscono che sia il compito a determinare quale modello provo per primo. È la stessa distinzione pratica che spiego in perché i benchmark di IA non riflettono tutta la qualità di un modello.

I buoni risultati di Argon si estendono anche oltre il codice. Google pubblica il 51,3 % per Argon in High su AutomationBench, contro il 41,4 % di Astra in Max e il 42,5 % di Opus 5.5 in Max con fallback predefiniti. Nella valutazione di Zapier, un passaggio rifiutato viene inviato al modello di riserva predefinito del fornitore. Questo giustifica una prova dei flussi automatizzati, ma quel risultato non elimina le debolezze visibili nelle righe sulla programmazione. [2] [11]

Perché i benchmark di codice danno risultati diversi?

I benchmark misurano lavori diversi e Google combina anche risultati ottenuti con metodi differenti. Il modello è solo una parte del sistema valutato: istruzioni, strumenti e tempo disponibile possono cambiare il risultato. Il rapporto di valutazione di Google fornisce i dettagli necessari per leggere la tabella. [3]

Per DeepSWE, Google ha valutato Argon con l’harness mini-swe, il software che fornisce gli strumenti al modello ed esegue il compito. I valori dei concorrenti provengono dalla classifica del benchmark o dalle schede di sistema dei fornitori. Google pubblica generalmente i propri risultati al livello di ragionamento più alto: pass@1 misura il successo in un solo tentativo, senza voto a maggioranza tra risposte generate in parallelo. La regola ha eccezioni e quindi non vale per ogni riga. [3]

Anche la qualità dei test DeepSWE merita attenzione. Nell’audit del 7 settembre 2026, Epoch AI ha trovato errori in almeno 23 dei 113 compiti, dove soluzioni valide potevano essere considerate fallimenti. L’audit non dimostra che il punteggio di Argon sia sbagliato, ma mi dà un motivo per considerare con cautela il divario preciso, invece di presumere che ogni compito fosse un test affidabile. [10]

FrontierSWE è un’eccezione importante. La classifica pubblica di Proximal riporta la media di cinque prove per ciascuno dei 34 compiti, con un massimo di 20 ore per prova nel suo ambiente per agenti proximus. Mostra anche il risultato peggiore e quello migliore. È una misura diversa dalla percentuale di successo in un tentativo; le esecuzioni lunghe aiutano a capire se un agente riesce a continuare un incarico impegnativo. [4]

C’è anche una verifica indipendente delle capacità generali. Nei dati del 1º ottobre dell’Intelligence Index v4.3.2, Artificial Analysis assegna ad Argon in High un punteggio arrotondato di 53, come ad Astra in Max. Opus 5.5 in Max con fallback predefinito raggiunge 58. Le impostazioni differiscono e l’indice combina dieci valutazioni, principalmente su testo inglese: non è una percentuale di compiti di repository completati. È un altro motivo per provare Argon senza perdere di vista i singoli risultati di programmazione. [5] [7] [8]

Per questo guardo alla configurazione completa quando confronto Claude e Codex su funzionalità grandi. Se una prova dispone di più tempo o di strumenti diversi, il risultato può comunque essere utile, ma risponde a una domanda diversa da un confronto in cui cambia solo il modello.

Gemini 4 Argon ha una finestra di contesto da un milione di token?

L’annuncio del milione di token riguarda l’output. Google dice che Argon aumenta il limite di output da 64.000 a un milione di token, consentendo risposte molto più lunghe. Questo stabilisce quanto il modello può produrre, ma non annuncia una nuova finestra di contesto in ingresso. [1]

La distinzione è pratica. La finestra di contesto limita il materiale con cui il modello può lavorare in una richiesta; il limite di output stabilisce quanto può generare. Un output più lungo potrebbe aiutare se l’incarico richiede molto codice o un rapporto dettagliato, ma non determina da solo quanta parte di un repository si possa fornire in ingresso.

Il nuovo limite è circa 15,6 volte quello precedente di 64.000 token. È un calcolo dai dati di Google, non l’affermazione che un compito duri 15,6 volte di più o diventi altrettanto più affidabile. Il limite indica dove deve fermarsi la generazione, non se tutto il materiale precedente meriti di essere conservato.

Mi interesserebbero prima i lavori che si fermavano senza produrre un risultato completo. Manterrei la gestione del contesto per gli agenti di programmazione, perché un budget di generazione più alto non giustifica la rimozione delle istruzioni e delle informazioni del repository che rendono comprensibile il compito. La valutazione punterebbe ancora a una modifica da esaminare, non a un numero di token.

Chi può usare Gemini 4 Argon al lancio?

L’accesso comincia con i difensori informatici di fiducia nel programma Fairwind di Google. Google annuncia una disponibilità più ampia in seguito, iniziando dai clienti paganti dell’API e dagli abbonati Google AI Ultra, ma non dà una data per questa fase. Al 1º ottobre 2026, il modello viene distribuito per fasi e non è aperto a tutti gli sviluppatori. [1]

Google DeepMind descrive Fairwind come un programma di accesso anticipato per organizzazioni approvate che lavorano nella sicurezza difensiva e nella ricerca. I partner possono includere governi e responsabili di infrastrutture critiche, con controlli di accesso e restrizioni d’uso. Il programma richiede un’approvazione separata: un normale account a pagamento non basta per accedere alla distribuzione iniziale di Argon. [6]

Il focus sulla sicurezza informatica ha anche un benchmark a sostegno. La tabella di Google dà ad Argon il 68,0 % in CWE-bench v1, come Astra e poco sopra il 67,0 % di Opus 5.5. CWE-bench valuta la ricerca e la correzione delle vulnerabilità: Argon usa Antigravity, Astra Codex e Opus Claude Code. I punteggi confrontano modelli insieme agli strumenti degli agenti. Sostengono quindi un buon risultato del sistema Argon testato, non un vantaggio del modello isolato. [2] [9]

Per uno sviluppatore che sceglie gli strumenti oggi, la limitazione dell’accesso conta quanto un punteggio promettente. Posso preparare un compito di confronto, ma non inserire un annuncio nel lavoro in produzione. Aspetterei la modalità di accesso documentata e la configurazione del modello prima di cambiare un’integrazione.

Quanto costerà Gemini 4 Argon?

Google annuncia prezzi iniziali per l’API di 2 dollari per milione di token in ingresso e 10 per milione in uscita. Dopo il periodo iniziale salgono a 4 e 20 dollari. L’ingresso in cache riceve uno sconto del 95 %. Sono prezzi annunciati per la prossima distribuzione più ampia; Google non specifica la durata del periodo iniziale. [1]

I prezzi normali per token saranno il doppio di quelli iniziali. Per il lavoro ricorrente farei quindi i conti con 4 e 20 dollari. Una richiesta ipotetica con 100.000 token in ingresso senza cache e 10.000 in uscita costerebbe 0,30 dollari all’inizio e 0,60 dopo. Sono calcoli del costo dei token, non misurazioni del costo per compito.

Il limite di un milione di token in uscita rende più evidente anche quella parte della fattura. Generare un milione di token di output fatturati costerebbe 10 dollari al prezzo iniziale o 20 dopo, prima dei costi di ingresso. Il modello non deve raggiungere quel limite in ogni richiesta. Imposterei un budget di generazione adatto al compito, anziché preferire la risposta più lunga consentita.

È la distinzione dietro il minor costo per compito misurato di GPT-6.1 Sol: il prezzo per token e il costo del lavoro completato sono misure diverse. Il prezzo di Argon diventerà più utile quando una valutazione registrerà i token necessari per produrre un risultato accettato.

Che cosa proverei quando l’accesso sarà più ampio?

Proverei un compito abbastanza lungo da far emergere le differenze tra i benchmark di programmazione e misurerei il lavoro necessario per accettare il risultato. Il punteggio DeepSWE di Argon giustifica la prova; i risultati inferiori in FrontierSWE e Terminal-bench mi indicano di osservare l’esecuzione prolungata, invece di giudicarlo dalla prima risposta.

Il confronto partirebbe dallo stesso commit del repository, con le stesse istruzioni, strumenti e verifiche di accettazione. Includerei un bugfix circoscritto e una modifica più grande con diversi passaggi, ripeterei le esecuzioni e conserverei i fallimenti nei risultati. Misurerei il tempo di revisione insieme al costo dell’API, perché una patch economica che richiede molte riparazioni non è lavoro completato a basso costo.

Separerei anche il completamento dalla quantità. Una risposta più lunga aiuta se consegna la parte mancante dell’incarico; se aggiunge codice estraneo, crea un altro onere di revisione. Voglio sapere se Argon può completare la modifica più grande con meno correzioni al prezzo normale. È il confronto che preparerei mentre l’accesso si amplia.