LangChain在LangSmith推出AI Search：用自然语言检索智能体轨迹
AI Search目前以公开测试形式上线LangSmith Cloud的GCP美国、欧洲和亚太区域，不额外收费，组织管理员可在设置中开启。
AI解读：AI Search解决的是标签和全文检索覆盖不了的检索需求。LangChain举例，像“是否泄露了PII”“用户是否变得沮丧”这类问题不对应单一trace属性，也无法靠全文检索回答，需要理解轨迹内容。
检索对象是轨迹而不是原始trace。SmithDB会把不同来源格式的trace整理成统一的trajectory：每条消息、工具调用和工具结果只列一次，从而让一次搜索可以跨OpenAI、Anthropic SDK、LangChain、LangGraph、Vercel AI SDK、OpenTelemetry等不同SDK构建的智能体生效。
AI Search不采用向量检索。LangChain称嵌入会把整条trace压缩成一个向量，这种压缩是有损的；一个成功完成任务的trace和一个只是声称完成的trace可能得到几乎相同的嵌入，因此需要由模型读取轨迹原文并针对问题做判断。
为了控制成本与延迟，每条轨迹有固定的 8K token预算，按优先级填充：用户消息和智能体回复优先进入，其余预算分给中间AI消息、工具结果和系统消息；超出预算的部分会被截断或丢弃。LangChain抽样Open SWE的 150 段对话发现，少数对话超过百万token，而中位对话 72K token中约 2K来自用户消息和智能体回复，约 85% 是工具输出。
AI Search可以与现有过滤器组合使用，例如只在报错的trace或特定标签的trace上运行搜索；匹配结果会随查找过程流式返回。
LangChain表示仍在研究分类困难的情况，例如区分“用户放弃”与“用户得到所需后离开”，以及从工具结果中识别智能体忽略工具报错等问题，并探索按问题选择上下文和加入不确定信号。
LangChain在其博客宣布，为LangSmith增加AI Search，一种用自然语言查询智能体轨迹的方式。用户描述想要查找的行为，LangSmith返回发生该行为的轨迹。
据LangChain介绍，AI Search已作为公开测试在LangSmith Cloud的GCP美国、欧洲和亚太区域上线，不额外收费。组织管理员可在设置中开启，开启后它会出现在tracing页面上。
AI Search面向标签和全文检索覆盖不了的问题
LangChain称，每条trace包含用户输入、智能体推理、工具调用和响应，适合用来理解智能体在何处表现良好、在何处失败。团队常从trace中寻找评估数据集样本或标注队列中的对话，但定位合适的trace比较麻烦。
LangChain举例，像“是否泄露了PII”或“用户是否变得沮丧”这类问题不对应单一trace属性，也无法靠全文检索回答，需要理解trace内容。此前要做到这一点，需要提前设置评估器或人工浏览轨迹。
- 可搜索trace内容中出现的任意行为，例如智能体声称完成任务但实际没有完成、用户表现出沮丧或反驳回答、请求模型时泄露PII、用户尝试取消订阅。
- 产品团队可以搜索“我们不支持的集成请求”“被提及的竞品”“对引导流程感到困惑的用户”，查看产品在用户原话中的不足。
- AI Search可与现有过滤器配合，例如只在报错的trace或带特定标签的trace上运行搜索。
实现方式：模型读取轨迹，而非向量检索
LangChain解释，向量检索把查询和每条trace转成嵌入，再返回嵌入最接近的trace，适合按主题搜索，例如查找关于账单的对话。但嵌入把整条trace压缩进一个向量，这种压缩是有损的，与查询相关的重要细节可能丢失。一个成功完成任务的trace和一个只是声称完成的trace可能得到几乎相同的嵌入。
LangChain称，要区分它们，需要模型读取trace原文并针对问题做推理。该公司表示，此前在搜索时这样做太慢、太贵；快速决策模型改变了这一点，它们能快速、廉价地回答关于输入的狭窄问题，足以规模化运行。AI Search将决策模型推理与LangSmith的智能体可观测性数据层SmithDB配合使用。
- 过滤条件先缩小候选轨迹，决策模型再逐条检查剩余轨迹，许多轨迹并行处理。
- 当模型检查一批轨迹时，SmithDB已在获取并准备下一批；匹配结果随查找过程流式返回。
- SmithDB在trace到达时将其转为trajectory；一个trajectory是一次会话的蒸馏视图，每条消息、工具调用和工具结果只列一次。
- 不同来源格式被整理成相同形状，因此一次搜索可跨不同SDK构建的智能体生效；去掉重复消息还能减少上下文膨胀。
轨迹仍然很长，AI Search使用固定token预算
LangChain称，即使去除重复，智能体轨迹仍然很长。该公司抽样了其团队日常使用的开源编码智能体Open SWE的 150 段随机对话，每个任务在独立沙箱中运行并有shell访问权限，还可以把工作交给子智能体，因此对话规模很大。少数对话超过百万token。
搜索罕见行为意味着要读大量对话，因此AI Search经常遇到这种规模的轨迹，无法读取每一个token。不过LangChain表示，多数问题关注的是用户问什么以及智能体如何回复。在多段对话的中位数上，72K token中约 2K来自用户消息和智能体回复，约 85% 是工具输出，主要是文件读取和shell命令。
- 每条轨迹获得固定的 8K token预算，按优先级填充：用户消息和智能体对用户的回复优先进入。
- 其余预算分给中间AI消息（智能体推理与工具调用）、工具结果和系统消息。
- 如果下一条消息只能部分放入，会被裁剪以填满预算，之后的任何内容都会被丢弃；保留下来的消息按原始顺序发送给决策模型。
尚在探索的边界
LangChain表示仍在了解用户最常问哪些问题。最难分类的对话是差异微妙的情况，例如区分“用户放弃”和“用户得到所需后离开”，这可能取决于长轨迹中的一两轮对话。该公司想观察一个在轨迹上微调过的模型是否能更可靠地区分它们。
LangChain称，当答案存在于用户与智能体所说内容中时，token预算效果良好；其他问题需要不同证据。例如智能体忽略工具报错只会出现在工具结果中。该公司正在探索根据问题选择上下文，以及加入模型不确定时的信号，使其能用更多上下文进行第二轮检查。此外，LangChain还希望超越简单的匹配列表，对相似结果分组或总结共同点。