Pontuações próximas num benchmark escondem modelos diferentes
O DeepSWE põe Luna Max 2,2 pontos atrás de Sol High por cerca de um sexto do custo. Explico porque podem funcionar de forma tão diferente num repositório.
Notas práticas sobre IA e desenvolvimento de software
Página 3 de 3
Os meus agentes esquecem o repositório. Fiz-lhes um mapa
Um sistema de gestão de contexto em quatro camadas orienta os meus agentes de programação para os factos atuais, mas manter o mapa certo ainda é difícil.
GPT-5.6 vs Claude 5: porque é que os benchmarks divergem
Comparei Sol, Terra, Opus 5 e Fable 5 em benchmarks de programação. O vencedor muda conforme a tarefa, o esforço, a configuração do agente e o orçamento.
Kimi K3 iguala o GPT-5.6, mas demora 4,6 vezes mais
O Kimi K3 empata com o GPT-5.6 medium, mas demora 4,6 vezes mais. O GLM-5.2 é barato por token e caro por tarefa. Verifiquei onde ambos vencem.
Comparei oito alternativas ao Convex. Não vou mudar
O Appwrite e o InsForge chegaram mais perto, mas o backend TypeScript do Convex continua mais simples para os meus agentes. O alojamento na UE fica caro.
O GPT-5.6 Sol exagera na engenharia. Continuo a usá-lo
Na minha auditoria, o GPT-5.6 Sol encontrou quase seis vezes mais problemas possíveis do que o Fable 5. A maioria falhou na triagem, por isso mudei de método.
O Opus 5 é um ótimo funcionário, mas um chefe frustrante
O Opus 5 iguala o Fable 5 nos benchmarks por metade do preço por token, mas é difícil de supervisionar. Explico quando cada modelo compensa.