OpenAI称GPT-6在COBOL、Fortran等老旧语言上明显更强
OpenAI公布两项自建评测:MultiLangBench上GPT-6 Astra在20种语言的测试通过率约87.4%,GPT-5.6 Terra约38%;COBOL迁移基准上GPT-6.1 Sol在高推理强度下达到97.9%准确率。
AI解读:OpenAI称其最新模型针对COBOL、Fortran、Visual Basic等“低资源”编程语言做了改进。这类语言可用的训练代码远少于Python,但OpenAI表示它们支撑着全球关键基础设施。
MultiLangBench要求模型从零构建一个兼容SQLite的数据库引擎;在该基准20种语言的平均测试通过率上,GPT-6 Astra在最高推理强度下达到87.4%,GPT-5.6 Terra约为38%,GPT-6 Luna为40.3%,略高于GPT-5.6 Terra的37.9%但成本更低。
COBOL迁移基准测试把COBOL翻译为C++、Java、Kotlin、Python或Rust。OpenAI称GPT-6.1 Sol在低推理强度下准确率为86.6%,GPT-5.6 Sol为5.4%;提高推理强度后准确率升至97.9%。
上述数字均来自OpenAI自建评测和其公布的结果,报道未给出第三方复现或独立验证。IBM的估算被引用来说明COBOL的存量规模:超过40%的在线银行系统和95%的ATM交易依赖COBOL。
OpenAI表示,其最新模型在COBOL、Fortran、Visual Basic等训练代码稀缺的编程语言上表现明显提升。相关数据来自OpenAI自建的两项评测,由The Decoder报道。
OpenAI称这些“低资源”语言可用的训练代码远少于Python,但仍在支撑全球关键基础设施。报道引用IBM的估算:COBOL驱动超过40%的在线银行系统和95%的ATM交易。
MultiLangBench:从零构建SQLite兼容数据库引擎
OpenAI构建的MultiLangBench要求模型从零编写一个兼容SQLite的数据库引擎,统计20种语言上的平均测试通过率。
在最高推理强度下,GPT-6 Astra的平均通过率为87.4%,GPT-5.6 Terra约为38%。GPT-6 Luna为40.3%,仅略高于GPT-5.6 Terra的37.9%,但OpenAI称其成本低得多。
报道附图中,GPT-6 Astra与GPT-6.1 Sol在该基准上均达到约87%,较早的GPT-5.6 Terra上限约38%。
- GPT-6 Astra:87.4%(最高推理强度,20种语言平均)
- GPT-6 Luna:40.3%(成本更低)
- GPT-5.6 Terra:约38%(37.9%)
COBOL迁移基准:翻译到五种现代语言
第二项评测针对COBOL迁移,任务是把COBOL代码翻译成C++、Java、Kotlin、Python或Rust。
OpenAI称GPT-6.1 Sol在低推理强度下准确率为86.6%,此前GPT-5.6 Sol为5.4%;提高推理强度后,准确率达到97.9%。
- GPT-6.1 Sol低推理强度:86.6%
- GPT-5.6 Sol:5.4%
- GPT-6.1 Sol高推理强度:97.9%
数据口径
上述通过率和准确率均由OpenAI在自建基准上测得,属于公司主张;报道未提及第三方复现、评测集公开程度或真实迁移项目中的表现。IBM的COBOL使用规模估算用于说明该语言存量,与模型效果无直接验证关系。