产品AWS Machine Learning·原文 2026年9月24日

AWS发布在Amazon Bedrock上运行开源AI编码代理的教程

AWS Machine Learning博客发布教程,介绍如何将开源终端AI编码代理OpenCode与Amazon Bedrock上的开源权重模型配对,实现数据留在自有AWS账户、按量付费的编码助手。

AWS Machine Learning博客发布教程,介绍如何把开源终端AI编码代理OpenCode运行在Amazon Bedrock上的开源权重模型之上。作者Aris Tsakpinis在文中称,多数AI编码代理方案需要把专有数据发往第三方API、将用户锁定在单一模型供应商,或按席位收费而不论实际使用量;对存在数据驻留要求、成本敏感或需要模型灵活性的团队,这些限制构成实际摩擦。

OpenCode与Bedrock的搭配方式

OpenCode是一个用Go编写的开源、终端原生AI编码代理,能读取和编辑文件、执行shell命令,并通过Language Server Protocol(LSP)诊断理解项目结构。它可连接包括Amazon Bedrock在内的超过75家LLM提供商。

按照文中描述,与Bedrock上的开源权重模型搭配后,OpenCode在本地运行,推理在用户的AWS账户内安全完成,无需管理基础设施,也没有按席位收费。

架构分两部分:OpenCode作为终端用户界面(TUI)运行在本地机器上,通过Amazon Bedrock Converse API发起推理调用;Bedrock以全托管、无服务器的端点托管模型。AWS IAM对每次请求进行认证,AWS CloudTrail记录API活动。

教程使用的三个开源权重模型

教程重点展示了三个模型,并给出各自的适用场景。Moonshot AI Kimi K3支持100万token上下文,适合调试、架构分析和复杂逻辑;OpenAI GPT-OSS 120B为1200亿参数,适合完整服务生成和多文件实现;NVIDIA Nemotron 3 Super 120B强调吞吐量优化,适合高并发生成类工作负载。

文中称,NVIDIA报告Nemotron 3 Super 120B采用Mixture-of-Experts架构,每次token只激活1200亿总参数中的120亿,吞吐量最高提升7倍;Kimi K3的MoE架构每次token激活2.8万亿总参数中的1040亿,可通过reasoning_config设置low、high或max三档推理深度。

OpenCode的代理架构支持给不同角色分配不同模型。教程给出的opencode.json示例把顶层默认模型设为GPT-OSS 120B,plan代理使用Kimi K3负责规划和架构推理,build代理使用Nemotron 3 Super 120B负责代码生成。用户也可以在会话中用/models命令切换。

数据驻留与计费细节

Bedrock提供全托管、无服务器的开源权重模型访问,无需GPU配置或推理基础设施。文中称,代码、提示词和响应留在用户的AWS账户内;通过区域内或地理区域配置文件访问的模型,会在该区域或地理范围内运行。

Kimi K3可通过跨区域推理配置文件调用。全局配置文件global.moonshotai.kimi-k3会把每个请求路由到全球任何受支持商业AWS区域,文中称全局跨区域推理比地理区域配置文件便宜约10%;美国地理配置文件us.moonshotai.kimi-k3则把处理限制在美国地理范围内。Amazon Bedrock在HIPAA、SOC 2、ISO 27001、FedRAMP和GDPR等常见合规项目的适用范围内。

开源权重模型继承与专有模型相同的IAM策略、CloudTrail日志、PrivateLink连接和加密控制。定价分三档:Priority用于对延迟敏感的生产环境,Standard按token按需计费,Flex面向可变延迟工作负载,成本比Standard低50%。默认限额为每分钟1亿token和每分钟1万次请求。文中称Bedrock不使用输入或输出训练或改进基础模型。

安装步骤与批量用法

教程给出的前置条件包括:启用了Amazon Bedrock访问权限的AWS账户;在Bedrock控制台获得Kimi K3、GPT-OSS 120B和NVIDIA Nemotron 3 Super 120B的模型访问权限;配置好的AWS凭证(IAM访问密钥、AWS IAM Identity Center或Bedrock API密钥);Node.js 18+或Homebrew。

OpenCode可通过安装脚本、npm(npm install -g opencode-ai)或Homebrew(brew install sst/tap/opencode)安装,教程中验证版本为1.18.20。凭证可采用AWS IAM Identity Center、IAM访问密钥或Bedrock API密钥三种方式配置。

对于批量编码任务,文中建议使用Bedrock Flex层降低成本,并给出循环调用GPT-OSS 120B为多个Python文件生成单元测试的CLI示例。文中建议:交互会话用Standard,批处理用Flex,延迟敏感的生产使用Priority。

Ethara.AI的生产部署

文中提到,AWS客户Ethara.AI在生产中部署了这套架构,用OpenCode作为AI工程和研究工作流的基础运行时,并用Oh-My-OpenAgent作为编排层与专用AI代理协作。

Ethara.AI不依赖单一编码助手,而是运行一组针对不同任务优化的代理,包括规划、执行、代码审查、架构分析、知识检索、多模态理解和基准测试。通过Oh-My-OpenAgent基于类别的路由系统,工程师请求某种能力,系统把工作委派给最合适的代理。

文中称,Ethara.AI根据推理复杂度、延迟要求、成本效率和任务类型动态路由工作负载。该公司还在投资自改进代理系统,参考SkillClaw等研究,开发基于成功和失败执行轨迹来演进技能和代理行为的机制。

信息来源