OpenAI rapporterer store fremskridt inden for migrering af ældre kode med GPT-6.1 Sol

OpenAI oplyser, at GPT-6.1 Sol leverer betydelige forbedringer inden for migrering af ældre kode, herunder konvertering af COBOL-programmer til nyere programmeringssprog. I virksomhedens evaluering opnåede modellen en nøjagtighed på 97,9 % ved en højere ræsonnementsindsats.

Resultaterne ledsages af bredere forbedringer inden for programmeringssprog med relativt begrænset træningsmateriale. Disse evalueringsresultater garanterer dog ikke pålidelig ydeevne i alle produktionssystemer.

Ældre programmeringssprog understøtter stadig vigtige systemer

Sprog som COBOL, Fortran og Visual Basic understøtter fortsat vigtig software, selvom de får mindre opmærksomhed end nyere alternativer.

Ifølge OpenAI understøtter COBOL mere end 40 % af netbanksystemerne, 80 % af kreditkorttransaktioner i fysiske butikker og 95 % af hæveautomattransaktioner. Samtidig er Fortran fortsat relevant for vejrudsigter og sikkerhedsanalyser af atomreaktorer.

Disse sprog udgør en særlig udfordring for AI-udvikling. Sammenlignet med Python og JavaScript findes der mindre offentligt tilgængelig kode og dokumentation, som modellerne kan lære af.

Ikke desto mindre har organisationer stadig behov for at vedligeholde disse systemer og i nogle tilfælde flytte deres funktionalitet til nyere platforme.

GPT-6.1 Sol forbedrer resultaterne ved COBOL-konvertering

OpenAI testede, om virksomhedens modeller kunne oversætte COBOL-programmer til C++, Java, Kotlin, Python eller Rust og samtidig bevare deres funktionalitet.

Ved lav ræsonnementsindsats opnåede GPT-6.1 Sol en nøjagtighed på 86,6 %. Til sammenligning opnåede GPT-5.6 Sol et resultat på 5,4 % med samme ræsonnementsindstilling.

OpenAI rapporterede også, at GPT-6.1 Sol gennemførte evalueringen til 61 % af den ældre models API-omkostninger. Det svarer til en omkostningsreduktion på 39 % for den målte arbejdsbelastning.

Ved højere ræsonnementsindsats nåede GPT-6.1 Sol en nøjagtighed på 97,9 %. Omkostningssammenligningen for den lave ræsonnementsindsats fastslår dog ikke omkostningerne ved resultatet med højere indsats.

Disse resultater tyder på stærkere ydeevne i de testede opgaver inden for migrering af ældre kode, snarere end at bevise, at virksomheder kan automatisere hele moderniseringsprojekter uden tilsyn.

Separat benchmark tester kodegenerering på tværs af 20 sprog

OpenAI introducerede også MultiLangBench for at vurdere programmeringsydelse på tværs af 20 sprog. Benchmarktesten beder modellerne om at bygge en SQLite-kompatibel databasemotor fra bunden.

Denne evaluering måler kodegenerering og adskiller sig dermed fra testen af COBOL-migrering.

I MultiLangBench opnåede GPT-6 Astra en gennemsnitlig andel beståede tests på 87,4 % sammenlignet med 26,8 % for GPT-5.6 Sol.

Virksomheden rapporterede forbedringer i alle de sprog, den testede. For eksempel steg resultaterne for COBOL fra 10,9 % til 72,1 %, mens Fortran steg fra 21,4 % til 83,5 %.

Tilsvarende forbedrede OCaml sig fra 25,6 % til 85,8 %. Visual Basic steg fra 27,5 % til 89,4 %.

Migrering af produktionssystemer kræver stadig ekspertvalidering

De rapporterede forbedringer kan hjælpe organisationer med at opdatere ældre software og reducere noget af det arbejde, der er forbundet med at oversætte kode.

Det er dog fortsat afgørende for en vellykket migrering at bevare programmets funktionalitet. Et program skal fortsat producere de forventede resultater, efter at implementeringen er ændret.

Derfor kræver produktionsprojekter stadig ekspertgennemgang og grundig testning. OpenAI’s evalueringer viser fremskridt på definerede opgaver, mens virkelige implementeringer skal fastslå, at den konverterede software opfylder deres specifikke krav.