OpenAI meldet erhebliche Fortschritte bei der Migration von Legacy-Code mit GPT-6.1 Sol

OpenAI gibt an, dass GPT-6.1 Sol erhebliche Verbesserungen bei der Migration von Legacy-Code erzielt, einschließlich der Konvertierung von COBOL-Programmen in neuere Programmiersprachen. In der unternehmenseigenen Evaluierung erreichte das Modell bei höherem Reasoning-Aufwand eine Genauigkeit von 97,9 %.

Die Ergebnisse gehen mit umfassenderen Verbesserungen bei Programmiersprachen einher, für die vergleichsweise wenig Trainingsmaterial verfügbar ist. Allerdings garantieren diese Evaluierungsergebnisse keine zuverlässige Leistung in sämtlichen Produktionssystemen.

Ältere Programmiersprachen unterstützen weiterhin wichtige Systeme

Sprachen wie COBOL, Fortran und Visual Basic unterstützen weiterhin wichtige Software, obwohl sie weniger Aufmerksamkeit erhalten als neuere Alternativen.

Laut OpenAI kommt COBOL in mehr als 40 % der Onlinebanking-Systeme, bei 80 % der Kreditkartentransaktionen im stationären Handel und bei 95 % der Geldautomatentransaktionen zum Einsatz. Unterdessen bleibt Fortran für Wettervorhersagen und Sicherheitsanalysen von Kernreaktoren relevant.

Diese Sprachen stellen eine besondere Herausforderung für die KI-Entwicklung dar. Im Vergleich zu Python und JavaScript stehen weniger öffentlich zugänglicher Code und weniger Dokumentation zur Verfügung, aus denen Modelle lernen können.

Dennoch müssen Unternehmen diese Systeme weiterhin warten und ihre Funktionen in einigen Fällen auf neuere Plattformen übertragen.

GPT-6.1 Sol verbessert die Ergebnisse bei der COBOL-Konvertierung

OpenAI testete, ob seine Modelle COBOL-Programme in C++, Java, Kotlin, Python oder Rust übersetzen können, ohne deren Verhalten zu verändern.

Bei geringem Reasoning-Aufwand erreichte GPT-6.1 Sol eine Genauigkeit von 86,6 %. Im Vergleich dazu erzielte GPT-5.6 Sol unter derselben Reasoning-Einstellung lediglich 5,4 %.

OpenAI berichtete außerdem, dass GPT-6.1 Sol die Evaluierung mit 61 % der API-Kosten des älteren Modells abschloss. Dies entspricht einer Kostenreduzierung von 39 % für die gemessene Arbeitslast.

Bei höherem Reasoning-Aufwand erreichte GPT-6.1 Sol eine Genauigkeit von 97,9 %. Allerdings lässt der Kostenvergleich für die Einstellung mit geringem Aufwand keine Rückschlüsse auf die Kosten dieses Ergebnisses bei höherem Aufwand zu.

Diese Ergebnisse deuten auf eine stärkere Leistung bei den getesteten Aufgaben zur Migration von Legacy-Code hin. Sie beweisen jedoch nicht, dass Unternehmen vollständige Modernisierungsprojekte ohne menschliche Aufsicht automatisieren können.

Separater Benchmark testet Codegenerierung in 20 Sprachen

OpenAI stellte außerdem MultiLangBench vor, um die Programmierleistung in 20 Sprachen zu bewerten. Der Benchmark fordert Modelle auf, eine SQLite-kompatible Datenbank-Engine von Grund auf zu entwickeln.

Diese Evaluierung misst die Codegenerierung und unterscheidet sich damit vom COBOL-Migrationstest.

Bei MultiLangBench erreichte GPT-6 Astra eine durchschnittliche Testbestehensquote von 87,4 %, verglichen mit 26,8 % für GPT-5.6 Sol.

Das Unternehmen meldete Verbesserungen in allen getesteten Sprachen. Beispielsweise stiegen die Ergebnisse für COBOL von 10,9 % auf 72,1 %, während Fortran von 21,4 % auf 83,5 % zulegte.

Ebenso verbesserte sich OCaml von 25,6 % auf 85,8 %. Visual Basic stieg von 27,5 % auf 89,4 %.

Produktionsmigrationen erfordern weiterhin eine Überprüfung durch Experten

Die gemeldeten Fortschritte könnten Unternehmen dabei helfen, ältere Software zu aktualisieren und einen Teil des Aufwands für die Codeübersetzung zu reduzieren.

Allerdings bleibt die Beibehaltung des Programmverhaltens entscheidend für eine erfolgreiche Migration. Ein Programm muss auch nach Änderungen an seiner Implementierung weiterhin die erwarteten Ergebnisse liefern.

Daher erfordern Produktionsprojekte weiterhin eine Überprüfung durch Experten und umfassende Tests. Die Evaluierungen von OpenAI zeigen Fortschritte bei klar definierten Aufgaben, während reale Implementierungen sicherstellen müssen, dass die konvertierte Software ihre spezifischen Anforderungen erfüllt.