[OpenAI] 推进低资源编程语言的编码

2026 年 10 月 19 日

出版物

[ COBOL ]

[ OCaml]

[ Fortran] [ Visual Basic ] Advancing coding in low‑resource programming languages

我们最新的模型进步带来了使用 COBOL、Fortran 和 Visual Basic 等低资源编程语言构建和迁移软件的更强大功能。与 Python 和 JavaScript 等语言相比，这些语言可供模型学习的代码和文档较少，但支持世界各地的关键基础设施和基本服务。 COBOL 支持超过 40% 的网上银行系统、80% 的面对面信用卡交易和 95% 的 ATM 交易，而 Fortran 用于天气预报 和 核反应堆安全分析。提高人工智能使用这些语言的能力可以帮助团队维护和现代化基本服务所依赖的软件。

这项工作以开发人员和企业客户的反馈为指导，他们告诉我们，编码模型经常与这些语言发生冲突。维护和现代化该软件可能很困难：文档可能不完整，原始开发人员可能已经离开公司，重要的业务规则可能只存在于代码中。无论团队是修复错误还是迁移到另一种语言，他们都需要保留系统所依赖的行为。

为了衡量进展，我们制定了两项评估。 MultiLangBench 测试模型是否可以跨 20 种不同的编程语言从头开始构建与 SQLite 兼容的数据库引擎。我们的 COBOL 迁移评估测试模型是否可以将现有程序迁移到另一种语言，同时保留其行为。他们一起测试两种互补的技能：构建新软件和保留现有软件的功能。

我们的最新模型在两项评估中都显示出显着的改进，以更低的成本提供更高的准确性。

在 MultiLangBench 上，GPT-6 Astra 在 20 种编程语言中的平均测试通过率达到 87.4%，高于 GPT-5.6 Sol 的 26.8%，并且每种测试语言都有所改进。 GPT-6 Luna 的性能也优于 GPT-5.6 Sol，达到 40.3%，而估计 API 成本大约低 78%。

在我们的 COBOL 迁移评估中，GPT-6.1 Sol 以较低的推理工作量实现了 86.6% 的准确率，而 GPT-5.6 Sol 的准确率仅为 5.4%，而成本却低了 39%。在更高的推理努力下，准确率达到 97.9%，几乎使评估饱和。

总之，这些结果表明，我们的模型在处理各种编程语言方面变得明显更好，同时也变得更具成本效益。

1. 从头开始​​构建 SQLite (MultiLangBench)

MultiLangBench 要求模型以指定的编程语言构建与 SQLite 兼容的数据库引擎。该模型必须组织代码库、管理状态、处理错误并添加新功能，同时保留现有功能。

为了比较不同语言的实现，我们使用数据库文件作为共享接口。候选程序接收初始数据库和 SQL 查询，然后生成修改后的数据库。我们使用参考 SQLite 实现来检查生成的数据库是否具有预期的内容。这让我们可以应用相同的测试，而不管构建引擎所使用的语言是什么。

我们将 SQLite 现有测试套件中的测试改编为这种格式。该评估衡量模型在扩展编码会话上可以构建多少工作功能，并报告测试通过率和 API 成本。

在最大推理努力下，GPT-6 Astra 在 20 种语言中的平均测试通过率达到 87.4%，高于 GPT-5.6 Sol 的 26.8%。改进扩展到所有测试的语言，包括 COBOL（从 10.9% 提高到 72.1%）、OCaml（从 25.6% 提高到 85.8%）、Fortran（从 21.4% 提高到 83.5%）和 Visual Basic（从 27.5% 提高到 89.4%）。 Astra 在 20 种语言中的 19 种语言中得分超过 83%，其中 COBOL 仍然是最难的，为 72%。

GPT-6 Luna 提供了一种成本更低的选项，在每种测试语言中也比 GPT-5.6 Sol 有所改进。在最大推理努力下，它的平均测试通过率达到 40.3%。涨幅包括 COBOL（10.9% 升至 17.1%）、OCaml（25.6% 升至 34.1%）、Fortran（21.4% 升至 31.4%）和 Visual Basic（27.5% 升至 41.6%）。这些改进的估计平均 API 成本为每个样本 0.77 美元，而 GPT-5.6 Sol 的平均 API 成本为 3.48 美元，大约降低了 78%。

我们将在 GitHub 上发布 MultiLangBench 评估设置和测试套件，以及每种语言的结果。开发人员可以检查评估测试的内容，审查他们使用的语言的性能，并找出对他们自己的工作重要的差距。

1. 迁移 COBOL 代码库

我们的第二次评估要求模型将 COBOL 程序迁移到 C++、Java、Kotlin、Python 或 Rust，同时保留每个程序的功能。

成功的迁移需要了解程序的业务逻辑和 COBOL 的特定语言行为。 COBOL 程序通常处理金融交易和业务记录，其中舍入规则和缺失记录处理等细节反映了业务需求。例如，COBOL 的定点算术会丢弃多余的小数位，除非明确要求进行舍入。相反，对这些值进行四舍五入的重写可以毫无错误地运行，同时产生不同的财务结果。

为了测试这些行为是否被保留，我们在隐藏测试中评估我们的模型，这些测试需要对可观察输出进行逐字节奇偶校验。仅当所有测试都通过时，迁移才被视为成功。像这样的行为保留功能对于维护和现代化旧系统的团队非常有用，尽管将其应用于生产软件仍然需要针对系统的业务规则和依赖项进行专家审查和测试。

在此评估中，GPT-6.1 Sol 以较低的推理工作量实现了 86.6% 的准确度，而 GPT-5.6 Sol 在相同设置下的准确度为 5.4%，而 API 成本仅为 61%。在更高的推理努力下，准确率达到 97.9%，使评估接近饱和。这些评估结果表明，团队在实现业务所依赖的软件现代化方面取得了更准确、更经济的代码迁移的进展。

提升企业软件的功能

这些评估以及来自开发人员和企业客户的直接反馈可以帮助我们了解我们的模型在哪些方面有所改进以及哪些方面仍然存在不足。

我们的目标是帮助模型跨更多语言应用软件工程技能：了解不熟悉的存储库、规划更改、使用构建工具、运行测试和调试故障。

您可以通过 API 尝试我们的最新模型，以您的团队使用的语言执行编码任务。您对什么有效、模型在哪里遇到困难以及我们接下来应该关注哪些语言或工作流程的反馈有助于确定我们如何训练和评估模型，以更好地支持您所依赖的软件。

＃＃ 作者