MRH Trowe用Strands Agents、AgentCore和LibreChat让约400名员工首月用上自服务AI智能体
这家德国商业保险经纪商在首个生产月以每席位约14美元的基础设施和token成本,为约400名员工提供受治理的自服务AI智能体,数据留在德国法兰克福区域,并计划到2026年底由领域专家创建和维护10至15个智能体。
AI解读:MRH Trowe是一家主要在德国、瑞士和奥地利运营的商业与工业保险经纪商,员工开始分散尝试生成式AI,带来了工具碎片化和敏感客户数据外泄的风险。公司想要的是让员工自己快速搭建AI智能体,同时所有操作都留在受中央治理、符合金融行业合规要求的环境里。
他们用三个开源加云服务的组合来解这个矛盾:Strands Agents负责写智能体逻辑,Amazon Bedrock AgentCore负责在生产环境里隔离运行,LibreChat提供员工熟悉的聊天入口。首个生产月约400名员工接入,每人每月基础设施和token成本约14美元,后续还可以通过调整实例规格和按计划伸缩再降约40%的基础设施成本。
对德国金融行业来说,真正有约束力的不是模型能力,而是数据留在德国境内、每个请求以登录员工自己的身份运行、会话在计算和文件系统层面隔离。这些条件决定了普通AI聊天工具不能直接拿来用,也解释了为什么这套方案要把身份、区域和治理单独拆出来设计。
最有代表性的第一个智能体是把Microsoft Teams会议转成会议纪要。员工用德语提出请求,智能体找到对应日历会议、取出转录文本,并写出含日期、参会人、议程、主题和行动项的结构化摘要。对一家受监管的保险经纪商来说,这比通用聊天机器人的价值更直接:重复的记录工作变成了单行请求。
目前披露的效果数据只有首个生产月的成本和约400人的规模,没有公开准确率、节省工时或客服替代等指标。可以确认的是MRH Trowe计划到2026年底由领域专家创建和维护10至15个智能体,以及已经出现“与你的数据对话”这类面向业务分析的新用例。
MRH Trowe是一家主要在德国、瑞士和奥地利运营的商业与工业保险经纪商。根据AWS Machine Learning博客作者Marouane El Bostahi的描述,该公司在首个生产月就让约400名员工用上了受治理的自服务AI智能体,基础设施和token成本约为每席位每月14美元。
这套方案由Strands Agents、Amazon Bedrock AgentCore和LibreChat三部分组成。MRH Trowe是德国最早完全基于云IT基础设施运营的保险经纪商之一,AWS是其首选合作伙伴,使用AI也是公司的战略目标,用于简化内部流程和提升效率。
MRH Trowe面临的矛盾是:员工对生成式AI的需求在增长,各团队开始自行试验,带来工具碎片化和敏感客户及保险数据暴露的风险;公司又需要员工自己动手搭建和使用智能体,不必具备深厚技术能力,同时一切都要留在安全、中央治理、符合金融行业数据保护和合规要求的环境中。
该公司提出的愿景是:每个问题都应先由AI回答、再进入人工干预,重复性流程应由过去做这些流程的人来自动化。基础聊天界面在几项能力上不够用,包括基于内部数据的上下文回答、多步骤工作流、与内部系统和文档库的安全连接,以及用一个受治理的应用替代各团队分散的影子AI工具。
选型决定:为什么用Strands Agents、AgentCore和LibreChat
MRH Trowe的构建者使用Strands Agents,这是一个开源SDK,用几行代码就能创建智能体。Strands负责编排和推理等智能体模式,并能从构建者的笔记本电脑扩展到生产环境,让团队专注用例而不是基础设施。
Amazon Bedrock AgentCore是MRH Trowe用于在生产环境运行智能体的平台,可构建、连接和优化大规模智能体,且不限定框架或模型。作者称AgentCore是决定性因素:它原生支持Strands Agents这类开源框架,在计算和文件系统层面隔离每个智能体会话,并提供按用量计费的模式,让团队在采用量增长时保持成本透明。这意味着团队保留Strands灵活性的同时,不必牺牲受监管经纪商需要的安全和会话隔离。
LibreChat是商业AI聊天界面的开源替代品,为MRH Trowe提供熟悉、可品牌化的聊天体验,以推动员工立即采用。其受监管组织需要的控制包括:用户管理,通过稳健的身份验证和授权在整个员工群中按权限管理访问;token预算,LibreChat内置的token预算系统避免意外成本;多模型支持,可按用例选择最合适的模型并避免供应商锁定;对话管理,让员工组织自己的AI交互;可定制界面,匹配MRH Trowe的品牌形象。
第一个上线的智能体:从Teams会议到结构化纪要
MRH Trowe投入生产的第一个智能体把Microsoft Teams会议变成可直接使用的会议纪要。员工在LibreChat中用德语请求某位参会者最近的一次会议。智能体在员工日历上找到该会议,取回转录文本,并起草包含日期、参会人、议程、主题和行动项的结构化会议摘要。之前每次通话后的手工记录,现在变成了一行请求。
有两个设计选择让它对受监管经纪商足够安全。第一,每个请求都以登录员工的身份运行。LibreChat通过Microsoft Entra ID认证,并在服务端把用户身份传给智能体,因此智能体只能访问该员工自己的日历和转录文本,身份无法从聊天框里设置。第二,处理留在区域内:智能体、模型和数据都在AWS欧洲(法兰克福)区域运行,客户和会议数据留在德国。Amazon Bedrock AgentCore和该方案使用的基础模型在欧洲(法兰克福)区域eu-central-1可用,但服务和模型的可用性因AWS区域而异。
架构与请求流转
解决方案部署在单个AWS账户内的虚拟私有云VPC中,员工从企业网络连接。员工使用中转网关结合零信任提供商从任何地点访问系统,流量走私有专用连接而不是公共互联网。内部应用负载均衡器ALB将请求路由到应用层。
应用层是容器化的LibreChat服务,运行在Amazon Elastic Container Service(Amazon ECS)上,启动类型为AWS Fargate,还包括一个检索增强生成RAG API服务和用于快速文本搜索的MeiliSearch服务,后者不需要把数据向量化。数据层使用Amazon DocumentDB(兼容MongoDB)存放用户、会话和对话数据,Amazon ElastiCache做缓存和会话状态,Amazon Relational Database Service(Amazon RDS)for PostgreSQL作为关系型和向量存储支撑LibreChat的上传文档RAG API,Amazon OpenSearch Service作为Amazon Bedrock的向量存储支撑对Confluence内容检索,Amazon Elastic File System(Amazon EFS)存放MeiliSearch索引,Amazon Simple Storage Service(Amazon S3)存放上传文件和聊天产物。
智能体层方面,Strands Agents托管在AgentCore runtime上,通过AWS Lambda和Amazon API Gateway支持的自定义端点暴露给LibreChat。这种模式让团队可以在不更新聊天应用、不造成停机的情况下向LibreChat加载新智能体,并随着采用量增长独立推出新的智能体应用。
一次典型请求的流程是:员工打开LibreChat并从切换面板选择智能体;LibreChat通过MRH Trowe现有的身份提供商Microsoft Entra ID认证用户;LibreChat管理面板中的访问控制列表ACL决定用户可以访问哪些端点和模型;用户调用智能体时,LibreChat通过API Gateway调用带API密钥保护的自定义端点,如果端点支持代理身份验证OBO流程也可以用于用户认证;一个Lambda函数使用AWS Identity and Access Management IAM角色调用运行在AgentCore runtime上的Strands智能体;智能体对请求进行推理,调用工具和已授权的数据源,并在隔离、受治理的会话中通过LibreChat返回响应。
成本、治理与后续计划
该方案运行的基础设施和token成本约为每席位每月14美元。作者称通过调整规格和按计划伸缩,有明确路径把基础设施成本降低约40%。MRH Trowe还构建了使用量看板来跟踪采用情况和成本,包括独立用户数、按模型区分的token消耗和每用户成本。
在德国金融行业运营意味着数据保护和治理不是可选项。该架构采用分层做法:敏感客户和保险数据留在选定的AWS区域;通过中转网关和零信任让员工流量离开公共互联网;AgentCore runtime在计算和文件系统层面隔离每个智能体会话;用单一受管环境替代分散、不受管理的工具,让组织对AI的使用有可见性和控制;基于Active Directory组的角色和权限支撑单点登录SSO和零信任方案。
这套环境也成为新用例的工厂。最新的一个用例是“与你的数据对话”,支持业务主导的分析,例如把CRM数据与公开信息结合进行交叉销售和追加销售审查。为了推动采用,MRH Trowe配套做了组织变革:跨团队举办用例研讨会,建立并维护一个高级用户组;利用采用数据识别高级用户,并在组织内推广他们的工作流。
MRH Trowe董事会成员Leonid Karlinsky称:“如果你和你的同事在做两遍同样的事,考虑创建一个LibreChat智能体。”作者表示,通过塑造数据和AI实践社区,MRH Trowe的目标是到2026年底由主题专家创建和维护10至15个智能体。