Orca Security用Amazon Bedrock打造自然语言查询代理，成本降 90%
Orca Security与AWS合作构建Discovery AI，将自然语言问题转换为Sonar查询。据AWS博客，相比初始基线，查询成本降低 90%、输入token减少 93%、延迟降低 75%。
AI解读：Orca Security的Sonar查询系统覆盖 900 多个云基础设施和应用模型，用户需用JSON指定精确模型名、从 18 个操作符中选择并导航父子层级关系，对模式熟悉度要求高。
初始概念验证将全部Sonar模式加载到单一提示中，输出质量获设计伙伴和内部用户认可，但每工作负载约消耗 200 万输入token、端到端响应约 60 秒，且复杂多模型查询准确性有限。
生产版采用九阶段流水线，结合RAG与模式感知查询构建，按阶段分配不同基础模型：Anthropic Claude Haiku 4.5负责模型选择器和生成器，Amazon Nova 2 Lite负责护栏和验证器，Amazon Titan提供嵌入，Cohere Rerank 3.5重排候选示例。
据AWS博客，部署后输入token从约 200 万降至 14 万每可比工作负载，成本降低 90%，端到端响应时间从约 60 秒降至 15 秒。
Discovery AI自 2026 年 3 月起每天处理数千次查询。Orca还建立了人工标注工具，让产品经理、支持工程师和安全研究员标记查询并推送修正到示例库，无需部署即可改进后续结果。
Orca Security与AWS合作构建了Discovery AI，一个在Amazon Bedrock上的自然语言查询代理，可将纯文本问题转换为Sonar查询。根据AWS机器学习博客发布的架构说明，相比初始概念验证基线，该方案将查询成本降低 90%、输入token减少 93%、端到端延迟降低 75%。
Orca Security提供面向云、代码和AI的上下文感知安全，Sonar是其领域特定查询系统，用户可在整个数据图上搜索、过滤和探索。
为什么需要自然语言查询
Sonar查询系统支持 900 多个云基础设施和应用模型，模型之间存在复杂关系。用户需构建JSON对象指定精确模型名、从 18 个操作符中筛选，并跨云提供商导航父子层级。做好这一点需要深入了解Sonar模式。
Orca团队的目标是构建一个自然语言界面，能从纯文本生成有效的Sonar查询。初始概念验证将完整Sonar模式加载到单一提示中，包含 900 多个模型定义、每种关系类型和大量示例查询。
- 输出质量强，设计伙伴和内部用户反应积极
- 但生产规模下出现三个问题：token消耗低效、延迟高、复杂查询准确性有限
- 每工作负载约 200 万输入token；端到端响应时间约 60 秒
九阶段流水线与模型分配
Discovery AI设计为Amazon Bedrock上的混合方案，结合检索增强生成（RAG）与模式感知查询构建。系统通过九阶段流水线将自然语言问题转换为有效的Discovery过滤器，每个阶段匹配最合适的Amazon Bedrock模型。
Orca选择Amazon Bedrock的原因包括：通过单一API提供多模型访问，使团队无需管理单独集成即可为每个流水线阶段分配不同基础模型；通过AWS Identity and Access Management、VPC终端节点和AWS CloudTrail继承AWS治理控制；模型无关架构允许在不重新架构流水线的情况下换入更新模型版本。
- 请求进入与上下文设置：合并用户请求与组织、连接云提供商和请求元数据
- 快速确定性匹配器：用正则和规则匹配识别IP地址、CVE、ARN、文件哈希、AMI ID、Oracle Cloud标识符、EC2 ID、URL和告警ID；匹配时走快速路径返回预定义过滤器，不调用LLM
- LLM护栏筛查：检查请求是否安全、相关、技术性和受支持，阻止提示注入、离题和不受支持的输入
- 基于嵌入的语义候选召回：使用Amazon Titan Text Embeddings从向量库检索 20 个最近示例
- 神经相关性重排：用Cohere Rerank 3.5选出五个最高信号示例；找到精确或高置信匹配时直接复用已知良好过滤器
- LLM驱动的相关模型选择：将 900 多个Sonar模型缩小到与请求相关的少量模型，以紧凑微模式或更详细的迷你模式提供给生成器
- 工具增强的代理式过滤器生成：生成器基于选定模型模式、检索示例、用户上下文和可用工具构建最终过滤器，可迭代细化
- 静态与API验证：先静态验证，再对照Orca Sonar API验证；失败时将错误返回生成器纠正，达到最大重试次数仍无效则返回无效过滤器响应
- 后处理与响应：准备最终响应
示例检索与评估方法
示例检索被Orca团队视为流水线中最大的准确性杠杆。强示例比仅靠模式更能教生成器将问题转换为Sonar查询。团队在Amazon Bedrock上对多种检索策略进行了基准测试。
纯top-K语义搜索速度快，但趋于返回近似重复示例，缺乏多样性。最大边际相关性（MMR）改善多样性，但当前列候选是正确答案时会牺牲相关性。检索更大候选集再重排可拉入更广池子，并用重排器选出最相关子集，这指向了获胜方案。
获胜方案是使用Amazon Titan嵌入进行top-20最近邻检索，再用Cohere Rerank 3.5重排至前五。这为生成器提供了小、多样且高度相关的示例集，无需在检索时权衡覆盖率和精确度。
Orca团队还建立了持续评估框架，结合精选数据集、自动评分层和基于切片的测量方法。精选评估数据集覆盖生产中的问题类型、模型家族和复杂度层级；LLM作为裁判根据正确性、完整性和与参考查询的语义等价性对生成查询评分；测量方法按切片分解差异，定位回归位置。
生产结果与持续改进
据AWS博客，部署Discovery AI到生产后，新方案在成本、延迟和准确性上均优于初始基线。输入token使用量下降 93%，从约 200 万降至每可比工作负载 14 万。整体成本下降 90%，由更低的token消耗和跨Amazon Bedrock的按阶段模型分配共同驱动。延迟改善 75%，端到端响应时间从约 60 秒降至 15 秒。复杂多模型查询的准确性也有所提高，通过评估框架持续测量。
Discovery AI自 2026 年 3 月起每天处理数千次查询，内部主题专家和客户反馈验证了质量。Orca安全AI总监Or Gabay表示：“标注UI是我们为长期质量做的最重要投资。它将Discovery AI从静态部署转变为活系统，领域专家在日常工作流程中持续改进它。”
为持续改进，Orca团队构建了内部标注工具。产品经理、支持工程师和安全研究员可标记查询、更正输出，并一键将更正推送到示例库。系统自动收集低置信度匹配示例的生产查询，并路由给相应领域专家每日标注。下一次流水线运行通过Cohere Rerank 3.5检索新示例，该类问题的准确性即刻改善，无需部署。
- 输入token：约 200 万降至 14 万每可比工作负载，降 93%
- 成本：降 90%
- 延迟：约 60 秒降至 15 秒，降 75%
- 自 2026 年 3 月起每天处理数千次查询