OpenAI rapporterar stora framsteg inom migrering av äldre kod med GPT-6.1 Sol

OpenAI uppger att GPT-6.1 Sol ger betydande förbättringar inom migrering av äldre kod, inklusive konvertering av COBOL-program till nyare programmeringsspråk. I företagets utvärdering uppnådde modellen en träffsäkerhet på 97,9 % vid högre resonemangsnivå.

Resultaten åtföljs av bredare förbättringar inom programmeringsspråk med relativt begränsat träningsmaterial. Dessa utvärderingsresultat garanterar dock inte tillförlitlig prestanda i alla produktionssystem.

Äldre programmeringsspråk stödjer fortfarande viktiga system

Språk som COBOL, Fortran och Visual Basic fortsätter att stödja viktig programvara, trots att de får mindre uppmärksamhet än nyare alternativ.

Enligt OpenAI används COBOL i mer än 40 % av alla nätbankssystem, 80 % av kreditkortstransaktioner i fysiska butiker och 95 % av bankomattransaktioner. Samtidigt är Fortran fortfarande relevant för väderprognoser och säkerhetsanalyser av kärnreaktorer.

Dessa språk innebär en särskild utmaning för AI-utveckling. Jämfört med Python och JavaScript finns det mindre offentligt tillgänglig kod och dokumentation som modeller kan lära sig av.

Trots detta behöver organisationer fortfarande underhålla dessa system och i vissa fall flytta deras funktionalitet till nyare plattformar.

GPT-6.1 Sol förbättrar resultaten vid COBOL-konvertering

OpenAI testade om företagets modeller kunde översätta COBOL-program till C++, Java, Kotlin, Python eller Rust och samtidigt bevara deras beteende.

Vid låg resonemangsnivå uppnådde GPT-6.1 Sol en träffsäkerhet på 86,6 %. Som jämförelse fick GPT-5.6 Sol ett resultat på 5,4 % med samma resonemangsinställning.

OpenAI rapporterade också att GPT-6.1 Sol genomförde utvärderingen till 61 % av den äldre modellens API-kostnad. Det motsvarar en kostnadsminskning på 39 % för den uppmätta arbetsbelastningen.

Vid högre resonemangsnivå nådde GPT-6.1 Sol en träffsäkerhet på 97,9 %. Kostnadsjämförelsen för den låga resonemangsnivån fastställer dock inte kostnaden för resultatet vid den högre nivån.

Dessa resultat tyder på starkare prestanda i de testade uppgifterna för migrering av äldre kod, snarare än att bevisa att företag kan automatisera hela moderniseringsprojekt utan övervakning.

Separat benchmark testar kodgenerering i 20 språk

OpenAI introducerade också MultiLangBench för att bedöma programmeringsprestanda i 20 språk. Benchmarktestet kräver att modeller bygger en SQLite-kompatibel databasmotor från grunden.

Denna utvärdering mäter kodgenerering och skiljer sig därmed från testet för COBOL-migrering.

I MultiLangBench uppnådde GPT-6 Astra en genomsnittlig andel godkända tester på 87,4 %, jämfört med 26,8 % för GPT-5.6 Sol.

Företaget rapporterade förbättringar i samtliga testade språk. Exempelvis ökade resultaten för COBOL från 10,9 % till 72,1 %, medan Fortran steg från 21,4 % till 83,5 %.

På samma sätt förbättrades OCaml från 25,6 % till 85,8 %. Visual Basic ökade från 27,5 % till 89,4 %.

Produktionsmigreringar kräver fortfarande expertgranskning

De rapporterade förbättringarna kan hjälpa organisationer att uppdatera äldre programvara och minska en del av arbetet med att översätta kod.

Att bevara programmets beteende är dock fortfarande avgörande för en framgångsrik migrering. Ett program måste fortsätta att producera de förväntade resultaten efter att dess implementering har förändrats.

Därför kräver produktionsprojekt fortfarande expertgranskning och omfattande tester. OpenAI:s utvärderingar visar framsteg inom definierade uppgifter, medan verkliga driftsättningar måste säkerställa att den konverterade programvaran uppfyller deras specifika krav.