产品AWS Machine Learning·原文 2026年11月3日

Circle K用Amazon Bedrock做故障初筛,平均排查时间降至15分钟内

AWS博客称,Circle K的DevOps团队把告警到生成结构化摘要的流程交给AI代理,内部指标显示平均初筛时间从45–60分钟缩短到15分钟以内,降幅67%–75%;系统现运行在Amazon Bedrock AgentCore上,修复仍由工程师执行。

AI解读:AWS博客文章介绍Circle K DevOps团队用Amazon Bedrock构建自动故障初筛系统:Grafana告警触发后,AI代理查询AWS资源、OpenSearch日志和GitHub代码,生成包含可能根因、证据、负责人和建议修复步骤的摘要,发到Slack。

该版本于2026年4月上线。

系统最初用Amazon Bedrock Flows编排三个并行/串行代理,后因日志量和上下文增长,迁移到Amazon Bedrock AgentCore Runtime,把三个代理合并为单个会话中的代理,并用AgentCore Gateway统一管理数据源访问。

文章列出的经验包括:直接把日志内容放进提示词、知识库用默认配置、先做日志分析再缩小GitHub代码搜索范围、把分析逻辑与编排层解耦。

目前系统只负责定位根因和提出建议,实际修复由工程师执行;团队计划接入AWS DevOps Agent处理重启任务、扩容、回滚等简单操作,每步需工程师在Slack批准。

文章来自AWS官方博客,由AWS方作者与Circle K的Cloud DevOps工程师共同署名,所述效果为Circle K团队内部指标,没有公开的第三方评测或跨公司对比数据。

AWS博客文章称,Circle K的DevOps团队用Amazon Bedrock构建了一套自动故障初筛系统。告警触发后,AI代理查询AWS资源状态、OpenSearch日志和GitHub代码,在几分钟内把结构化摘要发到Slack。

Circle K团队内部事件响应指标显示,平均初筛时间从45–60分钟降至15分钟以内,降幅67%–75%。简单事件5–8分钟出摘要,复杂多服务事件也在15分钟内完成。

谁在什么范围内使用

Circle K在27个国家经营超过17,200家便利店和燃料零售店,其POS、会员应用和电动车充电应用运行在AWS上。DevOps团队通过Grafana跨多个AWS账户监控基础设施,日常告警包括容器重启、错误率升高、延迟尖峰和部署失败。

这套系统面向的是on-call工程师的初筛环节:把原先在CloudWatch查日志、在OpenSearch看链路、检查ECS任务状态、再到GitHub交叉比对内部runbook的重复操作自动化,不替代工程师执行修复。

  • 适用对象:Circle K内部DevOps值班工程师
  • 触发源:Grafana告警经SNS进入SQS,由Lambda调用分析流程
  • 输出:Slack中的结构化摘要,含可能根因、证据、受影响服务和负责人、建议修复步骤

从Flows到AgentCore的迁移

最初版本用Amazon Bedrock Flows编排三个专门代理:AWSResourceExplorerAgent查ECS任务、负载均衡器健康和CloudWatch指标,OpenSearchExplorerAgent查应用日志和分布式追踪,GitHubExplorerAgent在前两者结果基础上搜索代码、基础设施定义和近期提交。三份输出汇入一次模型调用,生成摘要。

随着日志量和知识库增长,部分事件需要更长的分析时间。团队先通过更激进地过滤日志、缩短上下文窗口、拆分Flow来优化,随后迁移到Amazon Bedrock AgentCore Runtime,把三个代理合并为一个会话中的单个代理,Lambda在15分钟超时内取回结果。AgentCore Gateway把OpenSearch、Knowledge Bases和GitHub暴露为代理可调用的工具,集中管理访问权限。

文章称AgentCore Runtime支持最长8小时的会话,并提供会话持久化、基于OpenTelemetry的观测能力和框架灵活性。文章没有说明单次分析实际使用了多长的会话时间。

  • 迁移前:多个代理分步执行,简单事件10分钟以内
  • 迁移后:单代理会话,简单事件5–8分钟,复杂事件15分钟内
  • 数据源访问:经AgentCore Gateway统一代理

文章给出的四条经验

文章列出Circle K团队在构建过程中总结的四点做法,均针对这套初筛系统本身。

  • 提示词直接包含日志内容:早期只传日志组名和时间范围,让代理通过action groups查询CloudWatch,延迟高且返回数据过多;改为由Lambda预先查询并把相关日志行直接交给代理。
  • 知识库检索用默认配置:团队测试后认为Amazon Bedrock Knowledge Bases默认配置对其数据效果最好,由服务端处理嵌入、索引和向量存储。
  • 先用日志缩小代码搜索范围:GitHub搜索放在AWS资源和日志分析之后,避免无目标地返回大量仓库结果。
  • 分析逻辑与编排层解耦:提示词、工具定义和分析步骤独立于流程结构,使迁移到AgentCore时无需重写初筛逻辑。

效果边界与下一步

文章所述效果来自Circle K团队内部事件响应指标,属于公司自述,没有公开的第三方评测或跨公司对比数据。文章只描述初筛时间的变化,没有给出误报率、漏报率或工程师实际修复时长的数据。

目前系统定位根因并提出建议,修复仍由工程师执行。团队计划接入AWS DevOps Agent,让系统处理重启任务、扩容服务、回滚部署等简单操作,每一步在Slack中由工程师批准后执行;还计划接入Jira关联工单、Confluence补充内部文档,并把runbook加入知识库以匹配已知故障模式。

  • 已实现:告警到Slack摘要的自动初筛
  • 未实现:自动修复、工单关联、文档和runbook接入
  • 效果数据范围:Circle K单家公司内部指标

信息来源

更多

新闻专题
外观