AWS为Bedrock AgentCore增加DeepEval与AutoEval评估器
AWS发文介绍AgentCore Evaluations的评估器目录：内置评估器、托管的DeepEval/AutoEval指标与自定义LLM-as-a-judge，并给出按智能体类型组合评估器的示例。
AI解读：作者称内置评估器由AWS编写并做质量测试，可用ID（如Builtin.GoalSuccessRate、Builtin.Helpfulness及另外 13 个）引用。
DeepEval和AutoEval两个开源评估库的指标可以托管模式在AgentCore上运行，由AgentCore托管代码、选择评判模型并在自有算力上推理。自定义评估器以内置或第三方评估器为基础，可换模型、改提示词或评分标准。
AgentCore支持三种运行方式：按需评估直接把会话传给client.evaluate()；在线评估接入线上智能体运行时并按设定比例采样真实流量；批量评估针对固定会话集运行评估器组合，用于发布前的回归测试。三种模式使用同一套评估器ID。
文中给出按智能体类型的起步组合示例：客服智能体从Builtin.GoalSuccessRate、DeepEval.ConversationCompleteness、DeepEval.PIILeakage开始；需要与预期答案或预期工具路径比对的评估器只在批量评估中运行，因为线上流量没有参考答案。
多维度评估器是一次评判调用中对多个维度分别打分并分别返回结果、不产生综合分。文章建议在成功标准可能各自失败（如准确但不合规）且证据来源相同时使用，并说明它要求各维度共用同一评估层级和评判模型。
这些内容来自AWS官方博客，属于厂商对产品能力和用法的说明。文中没有给出AgentCore Evaluations的公开效果数据或与替代方案的对比评测。
AWS于其机器学习博客发文，介绍Amazon Bedrock AgentCore Evaluations中可用的评估器：AWS内置评估器、由AgentCore托管的DeepEval与AutoEval指标，以及自定义LLM-as-a-judge。作者Bharathi Srinivasan称，内置评估器有两个以上之外共 15 个，可通过ID引用。
评估器目录的三类来源
文章把评估器分为三层。内置评估器由AWS编写并做质量测试，覆盖响应质量、任务完成、工具使用、技能和安全等维度，例如Builtin.Correctness、Builtin.GoalSuccessRate、Builtin.TrajectoryAnyOrderMatch。DeepEval和AutoEval为开源评估库，在托管模式下由AgentCore托管代码、选择评判模型并在自有算力上推理。自定义评估器以已有评估器为基础，允许替换模型并修改提示词或评分标准。
DeepEval提供TaskCompletion、GoalAccuracy、ConversationCompleteness、KnowledgeRetention、PIILeakage等指标，文章称其适合多轮智能体。AutoEval提供Security、Possible、Humor等更专门的信号。作者建议在自建评判器前先通过ListEvaluators API查看现有目录。
三种运行模式
AgentCore支持按需评估、在线评估与批量评估。按需评估在开发或调试时把会话直接传给client.evaluate()，所有评估器在此可用。在线评估接入线上智能体运行时，按配置比例采样真实流量，内置与第三方评估器可混用。批量评估对固定会话集运行评估器组合，用于发布前确认提示词改动或模型升级未损害质量。
文章强调三种模式使用同一套评估器ID，从按需测试切换到线上评估属于配置变更，不需重写代码。
多维度评估器与使用边界
多维度评估器在一次评判调用中按多个维度分别打分，每个维度有独立名称、指令和量表，AgentCore按维度分别返回结果，不提供综合分。文章称它适用于成功标准可能各自独立失败的情况，例如回答准确但不合规，或问题解决但语气失当；前提是这些标准能从同一证据判断，且共用同一评估层级与评判模型。
若某标准已有内置或第三方指标覆盖，或需要不同的评估层级、评判模型和参考答案，文章建议拆成独立评估器。带参考答案或预期工具路径的评估器只在批量评估中运行，因为线上流量没有这些基准。
按智能体类型的起步组合
文章给出三组示例组合。客服智能体以Builtin.GoalSuccessRate为核心，搭配DeepEval.ConversationCompleteness和PIILeakage，用于捕捉遗漏请求和信息泄露。多步骤研究智能体用DeepEval.GoalAccuracy、KnowledgeRetention，加上需要参考答案的Builtin.Correctness，以及PIILeakage。医疗、法律、金融等领域内容智能体用Builtin.Correctness、PIILeakage和AutoEval.Security，对应文章所称“错误答案比没有答案更糟”的风险。