产品AWS Machine Learning·原文 2026年10月22日

AWS发布基于Strands Agents的自适应智能体框架AAIF,用小模型本地分流常规请求

AWS机器学习博客介绍了自适应智能体智能框架(AAIF):由 1B参数的小模型充当调度器,常规物联网监测请求在本地经Ollama处理,复杂分析转交Amazon Bedrock云端模型。该文为技术演示教程,未给出生产环境的成本或延迟实测数据。

AI解读:AAIF要解决的问题是:智能体把每个请求都发给一个又大又贵的云端模型,导致API成本上升、延迟不可控,也无法离线运行。AWS博客称,连可在本地处理的常规查询也要完整走一次网络往返。

框架分三层:llama3.2:1b作为调度器判断请求复杂度;设备遥测读取和llama3.2-vision图像分析在本地Ollama运行;需要更广上下文和多步推理的请求交给Amazon Bedrock。以物联网监控为参考实现,三个工具分别对应获取遥测、分析摄像头画面和调用云端专家分析。

成本方面,AWS称节省可能来自约 80% 不访问付费API的流量,但这是对流量占比的估计,不是实测的成本下降幅度。延迟方面,来源只给出定性描述:本地推理延迟低,云端需网络往返。

部署上,同一套路由逻辑可换配置:全云端用BedrockModel承接所有推理;默认混合模式保留本地调度器;完全隔离环境改用本地 3B模型承担复杂任务,代价是最难查询的推理深度会下降。博客称该架构可在 8GB内存的树莓派等边缘设备上运行。

该文提醒,上线前应在云端推理路径加入负责任的AI控制,例如给Strands的BedrockModel挂上带ID和版本的Amazon Bedrock Guardrails;本地小模型层可通过独立的ApplyGuardrail API对输入输出施加同一套策略。

这是AWS官方博客的技术教程性质内容,代码中模型ID留空并指向Bedrock模型文档,遥测数据为模拟数据,示例未附带与云端单模型方案对比的成本、延迟或准确率数据,因此只能说明该分层路由方式的设计与搭建方法。

AWS机器学习博客发布文章,介绍用Strands Agents构建的“自适应智能体智能框架”(Adaptive Agentic Intelligence Framework,AAIF)。其核心是由一个小语言模型负责判断请求复杂度,再把常规任务留在本地、复杂任务转给云端模型。文章作者为Nitin Eusebius。

AWS在文中描述的问题是:智能体通常把每个请求都路由到同一个大型、昂贵的模型,无论是一次例行状态检查还是一次复杂分析,这推高了API成本、带来不可控延迟,并排除了离线运行的可能。

三层结构与参考实现

AAIF把处理分为三层。调度层使用轻量小模型llama3.2:1b,对传入请求分类并决定路由,不依赖硬编码规则。本地处理层通过Ollama在本机运行小模型,处理设备遥测读取和图像分析等常规任务,延迟低且不依赖云端。云端处理层通过Amazon Bedrock的前沿模型处理复杂模式分析和策略建议,这类请求需要更广的上下文和多步推理。

参考实现是一个物联网监控场景。Strands智能体连接Ollama运行时,暴露三个工具:get_device_telemetry读取本地传感器数据,analyze_camera_feed通过llama3.2-vision做设备端视觉分析,get_expert_insights通过boto3调用Amazon Bedrock。文章称,本地视觉分析意味着敏感摄像头画面不离开设备。

文章给出的路由示例是:“检查设备状态”走本地小模型,“分析这张图”走本地视觉模型,“你推荐什么优化策略”走Amazon Bedrock。表中对本地推理的延迟描述为低,对云端则标注为需要网络往返、更高。

  • 调度模型:llama3.2:1b,参数规模 1B,经Ollama本地运行
  • 本地工具:设备遥测读取、llama3.2-vision图像分析
  • 云端工具:经boto3调用Amazon Bedrock的converse接口
  • 演示数据:遥测数据为代码中模拟的设备数据,非真实传感器

部署形态与限制

文章称,该架构可按部署条件调整,而不要求围绕它重建基础设施。它可运行在 8GB内存的树莓派等边缘设备上,也可全部走Amazon Bedrock的云端配置,或采用本地速度加云端推理的混合模式。灵活性来自把路由逻辑(小模型调度器)与处理工具分开,二者可独立替换。

在成本上,文章称节省可能来自约 80% 不访问付费API的流量,但没有给出与该比例对应的实际费用对比。在完全隔离或数据主权要求严格的环境中,文章建议用更大的本地模型替换云端工具;3B参数模型在内存足够的硬件上可处理中等复杂任务,代价是最难查询的推理深度下降。

文章还建议生产部署时将工具暴露为Model Context Protocol(MCP)服务器,以支持跨服务的工具发现与调用,并给出了一个由三台设备分别承担调度、边缘视觉和云端分析网关的分布式配置示意。

安全方面,文章提醒上线前在云端推理路径加入负责任的AI控制,可给Strands的BedrockModel配置带ID和版本的Amazon Bedrock Guardrails,以应用内容过滤、提示注入过滤和上下文落地检查;对本地小模型层则调用独立的ApplyGuardrail API施加同一套策略。

  • 边缘配置:本地处理常规任务,适合多数请求可本地完成的场景
  • 全云端配置:用BedrockModel替换Ollama,所有请求走托管推理
  • 隔离配置:用llama3.2:3b等更大本地模型替代云端工具,数据不出本地
  • 清理步骤提示Ollama模型约占用 2GB本地磁盘
  • 来源为AWS官方博客教程,未提供与单一大模型方案对比的实测数据

信息来源