产品AWS Machine Learning·原文 2026年11月19日

Salesforce在SageMaker AI上用跨区域推理路由调度30多个区域的模型流量

AWS发布案例称,Salesforce的Agentforce Foundation团队将内部网关原本直连InvokeEndpoint的调用改为调用SageMaker AI推理路由器,由路由层根据端点最近请求的错误、限流和超时情况决定是否把新请求转到其他区域或其他账号的端点,同时保留数据处理地检查作为唯一的区域锁定条件。

AI解读:路由器的适用条件是:模型端点已经部署好,Salesforce要解决的是多个区域容量碎片化带来的可用性问题;它不负责部署模型、复制产物或增加实例,扩容仍依赖各端点自身的自动扩缩。

数据驻留由Salesforce内部网关处理:带驻留要求标记的请求固定走本区域的专用路由目标,唯一目的地是本地端点,不会跨边界;其余请求才交给路由器,默认优先本地,出现持续错误后才逐步外移。

AWS给出的测试中,本地端点饱和约5分钟时延迟升高但流量不动,直到请求开始超过容器60秒处理上限并报错,约2分钟后首批请求到达另一区域,再过约1分钟约78%的探测流量由远端承接,恢复后约10分钟流量回到本地,测试期间没有记录到错误。

这是AWS与Salesforce合作方描述的单项测试,路由判定依据是平台故障、5xx、限流和超时,延迟本身不触发切换;测试只覆盖两个区域和两个账号的配置,Salesforce表示在扩大采用前还要重复更长时间的饱和测试、测量毫秒级跨区域延迟并评估级联行为。

AWS机器学习博客发布案例,介绍Salesforce如何在Amazon SageMaker AI上使用跨区域推理路由。Salesforce的Agentforce Foundation团队为Agentforce和Salesforce Trust Layer等产品提供自研模型和开源模型,服务范围覆盖30多个全球区域、数百个AWS账号。此前团队按各区域分别部署模型,再按客户流量配置容量。

AWS在文中称,各区域独立托管模型会分割容量,遇到流量高峰时更难吸收,容量不足可能演变为可用性问题。Salesforce此前依靠内部网关把本地端点处理不了的流量转到其他区域,配有基础健康检查、重试和区域切换逻辑。团队指出的两个缺口是:网关没有本地或远端端点的容量信号;跨区域流量需要经NAT网关和互联网网关离开VPC,走公共AWS网络。设计评审中还提到在故障期间转移流量可能压垮下一个区域的级联风险。

为此,Salesforce把内部网关每请求出口路径上的直接InvokeEndpoint调用替换为对推理路由器的调用,位置在数据处理地检查之后、响应处理之前。数据处理地检查仍是网关保留的唯一路由决策:带驻留要求的请求固定发往本区域的专用路由目标,该目标只有本地端点一个目的地;其余请求携带原有的请求体、内容类型和接受类型交给路由器。

路由器如何判定切换与重试

路由器是账户内的区域级SageMaker AI资源,应用调用路由器而非端点,并传入一个路由目标名称。一个路由目标对应一个逻辑模型,按完整ARN列出可服务该模型的端点或推理组件,目的地可以位于其他区域或其他AWS账号。端点所有者通过基于资源的端点策略授权某个指定路由器调用它。

路由器优先使用自己所在区域的目的地,本地目的地正常服务时请求留在本地。它根据最近请求的结果判断目的地健康:平台故障、模型容器返回的5xx、限流和超时会降低健康度,持续出现时路由器把越来越大的新请求份额转往健康目的地,通常约一分钟内开始,流量少的目的地可能需要几分钟。扩缩进度和实例启动失败会影响响应速度,但不会单独触发流量转移。恢复后流量在数分钟内逐步回流,比转出更慢,以避免来回摆动。

当目的地没有真正运行模型就失败时,例如被限流,路由器会在另一个目的地重试该请求一次。无效输入等客户端错误不会触发转移,因为换区域也会同样失败;模型延迟也不会触发转移,因为慢响应常来自长提示或长输出。路由器不部署模型、不复制产物、不增加实例,使用的是已部署的容量,各端点自身的自动扩缩继续按流量增加实例。

  • 路由目标按完整ARN列出目的地,可混合单模型端点和推理组件,也可跨区域、跨账号
  • 一个路由器承载多个模型时,每个模型是独立路由目标,一个模型的目的地出问题不会影响其他模型
  • 网关因路由器已重试一次而不再自行重试,避免故障期间尝试次数成倍放大
  • 网关超时设置考虑了跨区域往返延迟,使切换后的请求有时间在远端完成

Salesforce的观测方式与测试结果

Salesforce把每个响应中的InvokedRoutedResourceArn和RoutingReason与请求ID、跟踪ID记录在同一行结构化日志中,并作为APM标签输出。由于ARN包含区域和账号,一行日志即可看出请求在本地还是跨了边界,以及原因属于local-preferred、failover、capacity-available还是only-healthy。团队将这些字段与路由器的CloudWatch指标关联起来排查流量转移。路由器还在自己的账户和区域发布OpenTelemetry指标,包括每个目的地的调用数、失败类型、目的地耗时、路由额外耗时和健康状态。

AWS描述的测试分两种配置:同区域路由,以及跨账号跨区域路由,后者在us-west-2的路由器同时列出us-east-2中由独立基础设施账号拥有的端点。配置前调用DescribeInferenceRouter确认两个目的地状态均为Routable,请求先由本地端点服务,原因为local-preferred。

故障测试中,团队持续压满us-west-2的本地端点约5分钟,探测请求的p50延迟从0.2秒升至45至58秒,流量仍留在us-west-2,因为延迟本身不触发转移。当请求开始超过模型容器60秒处理上限并返回错误后,首批请求约2分钟后到达us-east-2,再过约1分钟约78%的探测流量由us-east-2服务,其余20%至25%留在本地以便检测恢复。流量转移后p50延迟回到0.2秒,跨区域路径在p50上增加不到100毫秒。本地端点恢复后,流量约10分钟逐步回到us-west-2,探测在整个切换和回切过程中没有记录到错误。

  • 路由原因四种取值分别对应本地健康服务、本地不可靠而转出、本区域无可用目的地、唯一健康目的地服务
  • 路由器指标可在跨账号、跨区域仪表盘中与各端点原有指标并列查看
  • 测试只覆盖两个区域、两个账号的配置,不代表更大范围部署下的表现

尚未验证的部分

AWS在文中转述Salesforce的计划:扩大采用前,重复让本地端点保持更长时间饱和的故障测试,以毫秒精度测量跨区域延迟,评估达到跨区域流量上限时的级联区域行为,并在更多区域推广路由器。Salesforce方面的表态称,需要留在某区域的工作负载会留在那里,只有符合条件的流量才能由另一区域服务,客户数据始终在Salesforce信任边界内,且无需重构应用或更改请求负载。

信息来源

更多

新闻专题
外观