OpenAI opplyser at GPT-6.1 Sol gir betydelige forbedringer innen migrering av eldre kode, inkludert konvertering av COBOL-programmer til nyere programmeringsspråk. I selskapets evaluering oppnådde modellen en nøyaktighet på 97,9 % ved høyere resonneringsinnsats.
Funnene kommer sammen med bredere forbedringer i programmeringsspråk med relativt begrenset treningsmateriale. Disse evalueringsresultatene garanterer imidlertid ikke pålitelig ytelse i alle produksjonssystemer.
Eldre programmeringsspråk støtter fortsatt viktige systemer
Språk som COBOL, Fortran og Visual Basic fortsetter å støtte viktig programvare, til tross for at de får mindre oppmerksomhet enn nyere alternativer.
Ifølge OpenAI støtter COBOL mer enn 40 % av nettbanksystemene, 80 % av kredittkorttransaksjoner i fysiske butikker og 95 % av minibanktransaksjoner. Samtidig er Fortran fortsatt relevant for værvarsling og sikkerhetsanalyser av atomreaktorer.
Disse språkene utgjør en særlig utfordring for AI-utvikling. Sammenlignet med Python og JavaScript finnes det mindre offentlig tilgjengelig kode og dokumentasjon som modellene kan lære av.
Likevel må organisasjoner fortsatt vedlikeholde disse systemene og i noen tilfeller flytte funksjonaliteten deres til nyere plattformer.
GPT-6.1 Sol forbedrer resultatene ved COBOL-konvertering
OpenAI testet om selskapets modeller kunne oversette COBOL-programmer til C++, Java, Kotlin, Python eller Rust samtidig som de bevarte programmenes oppførsel.
Ved lav resonneringsinnsats oppnådde GPT-6.1 Sol en nøyaktighet på 86,6 %. Til sammenligning fikk GPT-5.6 Sol et resultat på 5,4 % med samme resonneringsinnstilling.
OpenAI rapporterte også at GPT-6.1 Sol fullførte evalueringen til 61 % av den eldre modellens API-kostnad. Dette tilsvarer en kostnadsreduksjon på 39 % for den målte arbeidsbelastningen.
Ved høyere resonneringsinnsats oppnådde GPT-6.1 Sol en nøyaktighet på 97,9 %. Kostnadssammenligningen for den lave resonneringsinnsatsen fastslår imidlertid ikke kostnaden for resultatet ved høyere innsats.
Disse funnene tyder på bedre ytelse i de testede oppgavene for migrering av eldre kode, snarere enn å bevise at selskaper kan automatisere hele moderniseringsprosjekter uten tilsyn.
Separat benchmark tester kodegenerering på tvers av 20 språk
OpenAI introduserte også MultiLangBench for å vurdere programmeringsytelse på tvers av 20 språk. Benchmarktesten ber modellene bygge en SQLite-kompatibel databasemotor fra bunnen av.
Denne evalueringen måler kodegenerering og skiller seg dermed fra testen for COBOL-migrering.
I MultiLangBench oppnådde GPT-6 Astra en gjennomsnittlig andel beståtte tester på 87,4 %, sammenlignet med 26,8 % for GPT-5.6 Sol.
Selskapet rapporterte forbedringer i alle språkene det testet. For eksempel økte resultatene for COBOL fra 10,9 % til 72,1 %, mens Fortran steg fra 21,4 % til 83,5 %.
Tilsvarende forbedret OCaml seg fra 25,6 % til 85,8 %. Visual Basic økte fra 27,5 % til 89,4 %.
Migrering av produksjonssystemer krever fortsatt ekspertvalidering
De rapporterte forbedringene kan hjelpe organisasjoner med å oppdatere eldre programvare og redusere noe av arbeidet som er involvert i å oversette kode.
Det er imidlertid fortsatt avgjørende å bevare programmets oppførsel for å lykkes med en migrering. Et program må fortsette å produsere de forventede resultatene etter at implementeringen er endret.
Derfor krever produksjonsprosjekter fortsatt ekspertgjennomgang og grundig testing. OpenAIs evalueringer viser fremgang på definerte oppgaver, mens reelle utrullinger må fastslå at den konverterte programvaren oppfyller deres spesifikke krav.
0 responses to “OpenAI rapporterer store fremskritt innen migrering av eldre kode med GPT-6.1 Sol”