AWS发布新一代AgentCore runtime:会话启动快至 15 倍,算力扩至 4 倍
AWS称每个会话仍运行在独立的Firecracker MicroVM中,冷启动低于 2 秒,并可用会话内文件系统把数据留在信任边界内;Coinbase、Mission Cloud、Zuora等客户给出了各自的测试数据。
AI解读:AWS于其机器学习博客发布新一代Amazon Bedrock AgentCore runtime,称会话启动速度最高提升 15 倍,单会话算力扩展至上一版本的 4 倍(最高 8 vCPU、32 GB内存),效率提升最高 68%。这些数字来自AWS自己的表述。
计费方式随空闲回收调整:runtime会在agent释放内存后数分钟内回收,空闲agent可缩容至零;AWS称多轮agent每会话内存消耗最高减少 68%。常驻型agent采用承诺基线定价,可按需突发至基线的 4 倍。
隔离范围从计算扩展到数据:agent可动态挂载并写入带FUSE支持的S3等文件系统,AWS称数据在整个任务期间留在信任边界内。按会话绑定独立存储文件夹的能力要等到re:Invent才会推出。
客户证言均为各自公司人员提供:Coinbase工程副总裁称冷启动从近一分钟降到五秒以内;Mission Cloud称推理请求冷启动快 35%、健康检查快 77%、单次调用运行时成本降 17%;Zuora称多数场景每次调用内存占用降约 60%。
新一代runtime已在北美、南美、欧洲和亚太多个AWS区域上线。AWS未公布跨客户的统一基准或第三方评测结果。
AWS在机器学习博客上宣布新一代Amazon Bedrock AgentCore runtime。该runtime是AgentCore的托管计算层,本次更新的核心是让每个agent会话在保持硬件隔离的同时,启动更快、可用的算力更大,并把计费与空闲回收挂钩。
AWS给出的量化指标包括:会话启动最高快 15 倍、单会话算力扩至 4 倍、运行效率最高提升 68%,且隔离边界保持不变。这些指标由AWS自行给出。
启动与算力:冷启动低于 2 秒,最高 8 vCPU、32 GB
AWS称每个会话仍运行在独立的Firecracker microVM中,拥有各自的身份、策略和审计记录。新版本中单会话可扩展到最高 8 vCPU和 32 GB内存,支持最大 10 GB的容器镜像,会话启动时间低于 2 秒,且不受镜像大小和并发量影响。AWS表示用户不再需要预热池和预配置集群来管理冷启动。
AWS引用Coinbase工程副总裁Siwei Shen的说法:迁移到新一代runtime后,agent会话冷启动从近一分钟降到五秒以内,峰值流量期间也是如此,超过 30 秒的启动延迟被消除,同期每周agent调用量翻倍以上。Mission Cloud首席AI与数据科学家Ryan Ries称,在初步对比中,同一负载的推理请求冷启动快 35%、健康检查启动快 77%,单次调用实测运行时成本降低 17%。
计费与内存回收:空闲缩容至零,常驻负载按基线计费
AWS称agents大量时间花在等待模型响应、工具调用或人工决定上,因此新runtime改为按实际工作量计费。runtime会在agent释放内存后数分钟内回收,空闲agent可缩容至零;对于交互之间有自然停顿的多轮agent,AWS称每会话内存消耗最高减少 68%。
针对常驻型agent,AWS提供承诺基线定价:每会话设定一个内存基线作为最低计费,可按需突发到基线的 4 倍,AWS称价格按AWS Lambda MicroVM费率计算。Zuora云与安全副总裁Brad Ruppert称,在许多用例中每次调用的内存占用下降约 60%,在延迟稳定的情况下承载了更多流量。
隔离范围扩展到数据,按会话绑定存储待re:Invent
AWS表示此前的隔离只覆盖计算,agent所需的文件、凭证、工具输出等数据留在边界之外,团队需要自行制定数据进出规则。新版本允许agent动态挂载并保存工作内容到文件系统,例如带FUSE支持的Amazon S3存储桶,AWS称数据在整个任务期间受同一组控制策略约束。
AWS称到re:Invent时,将实现按会话作用域绑定:用带会话标签的凭证把每个会话限定到自己的存储文件夹。这一能力尚未上线,属于AWS公布的后续计划。Okta工程高级副总裁Monica Bajaj称,AgentCore runtime与Lambda MicroVMs组合为其自主工程agent提供了隔离执行环境,用于检查代码、运行测试和发起拉取请求。
适用范围与限制
AWS称新一代runtime已在北美、南美、欧洲和亚太多个区域上线。博文中引用的企业规模数据来自METR、麦肯锡和德勤,属于背景引用,并非本产品的效果验证。
- 启动速度、算力扩展、效率和内存节省的数字均为AWS自述。
- 客户案例中的百分比来自各公司自己的初步对比或内部测量,覆盖范围限于其所述负载。
- 按会话绑定存储文件夹的能力是预告,当前版本尚未提供。