OpenAI发布Decisions API,给Luna模型预设选项做快速分类
在Dev Day上,Sam Altman用一句附带介绍公开了Decisions API:给模型一组预设选项,让它在图像分类、智能体行为等场景中快速做出选择。它与TypeSafe AI几周前发布的Jev功能相似,后者CEO在X上调侃“克隆人战争”开始。
AI解读:OpenAI在Dev Day上发布Decisions API,功能形态与TypeSafe AI本月推出的Jev相似:开发者给模型一组预设选项,模型输出各类别的概率,追求快速和低成本。
这背后是一个现实问题:通用大模型做很多软件任务偏慢偏贵,Jev的用法是把它接在大模型旁边,只负责快速判断,从而降低整体开销。
目前Decisions API只是限量预览,没有开发者实测数据,因此它和Jev到底多像还不好说。TypeSafe CEO称其护城河是用合成数据保证输出校准。
一个已经出现的应用方向是监控AI智能体:有人用Jev逐条检查智能体的动作是否偏离任务,演示中的成本是2.94美元,而用前沿大模型做同样监控要372美元。
OpenAI CEO Sam Altman在周二的Dev Day活动上,用一个附带环节公布了公司的“Decisions API”。据TechCrunch报道,这个API与TypeSafe AI本月早些时候发布的Jev功能相似。
Altman在活动上把Decisions API描述为:给OpenAI的Luna模型一组预定义选项,让它在其中选择,比如图像要归入哪个类别,或智能体采取哪种行为。
“通过把模型聚焦在那个选择上,我们可以让它变得极快,同时保留图像理解、广泛语言支持和安全防护等能力,”Altman说。
Jev同样是一种建立在LLM之上的强化版分类器:开发者给Jev一组选项,它能以高速度、低成本输出概率。TypeSafe没有回应TechCrunch关于这个新产品的提问。其CEO Diogo Almeida是前OpenAI工程师,曾参与共同发明强化学习。他在X上开玩笑说“克隆人战争”开始了。
Almeida还表示,OpenAI的兴趣可能“是一个迹象……表明以System One兼容的方式构建是未来”。(“System One”是TypeSafe的术语,指快速、直觉的思考,与它用来指代审慎推理的“System 2”相对。)
为什么大模型需要这种分类器
报道指出,潜台词是:人们熟知的LLM对很多软件任务来说不是合适的解决方案,因为它们相对慢且贵。开发者一直在用Jev来增强LLM,并因此发现系统变得更快、更便宜。
Decisions API与Jev究竟有多相似尚不清楚,因为OpenAI只是以限量预览形式发布它;到目前为止,TechCrunch没有看到开发者对它进行充分测试。不过从X上的讨论看,明显存在兴趣。
Decisions API不是互联网上唯一类似Jev的API,其他创业公司也在推出类似模型。报道称OpenAI不会是最后一家做这类产品的科技巨头。
校准和成本:决策模型争论的核心
一个关键问题是,这些决策模型的输出在多大程度上能与现实良好校准。Almeida表示,他公司的护城河是它生成的合成数据,用来产生在统计上有用的输出。
“又快又便宜很容易,你知道的,”Almeida上周对TechCrunch说,“如果你想要真正的又快又便宜,用骰子就行了,对吧?智能才是难的部分,我的北极星始终是推动每美元智能的帕累托曲线。”
拿来监控智能体:Jev演示成本2.94美元对372美元
仅几周时间,这些模型的前景似乎已经明朗,一个可能的应用是监控和保护AI智能体。
在OpenAI的智能体在开放互联网上出现一系列不当行为事件后,公司新增的安全措施之一是用一个单独的模型来监视不良行为,代价是“显著的计算成本”。
长期从事网络安全的Shapor Naghibzadeh领导创业公司QueryStory。他认为像Jev这样的模型可以以低得多的成本实现这种监控。他在上周末的一场黑客松上构建了演示,用Jev检查每个智能体动作是否符合它被赋予的任务,阻止它高置信度判定为坏的动作,标记其余动作供审查,并放行剩下的。
报道称,理论上这类监控本可以阻止Hugging Face事件;这种监控用Jev的成本是2.94美元,而用前沿LLM是372美元。一个关键观察是,Jev可以说便宜到足以对每个智能体动作都运行一次,这提供了一层审查,可能从整体上提高智能体的可靠性。这正是TypeSafe希望实现的东西,而现在OpenAI也看到了它的价值。