Indegene在AWS上构建LLM数据质量代理,为生命科学企业生成SQL和Python校验规则
Indegene与AWS联合发布的技术文章介绍,该数据质量代理运行在NEXT统一数据平台上,结合内部企业知识库与外部参考知识库生成上下文感知的质量规则,由人工审核后输出可执行的SQL和Python代码。公司称其可减少搭建和维护数据质量项目所需的工作量,但文章未给出公开的效果数据。
AI解读:文章由AWS机器学习博客发布,作者为Bhagyashree Chandak,与Indegene的Shravan K S合写。内容属于技术方案介绍,非独立评测。
Indegene(BSE: 544172,NSE: INDGN)称其为生命科学行业的战略运营合作伙伴,服务对象包括全球前20大生物制药公司。
数据质量代理是NEXT统一数据平台(NEXT UDP)中的独立AI代理之一,同平台还有数据摄取、编排、数据目录和SQL Bot生成器等代理。
技术栈以Amazon Bedrock、Strands Agents和Amazon Bedrock AgentCore为核心,使用Claude Sonnet 4.5生成规则和代码,并接入Bedrock Guardrails与AgentCore memory。
代理从表/列元数据、数据画像、异常检测结果、现有规则、外部参考标准和内部企业知识库六类来源组装上下文,生成列级、表级和自定义查询三种模式的规则。
整个流程保留人工审核环节:每条建议由数据管理员编辑或批准后,代理才生成SQL和Python并做验证,批准后的规则存入中央规则库供执行、监控和审计。
AWS机器学习博客发布了一篇由Indegene Limited的Shravan K S参与合写的技术文章,介绍Indegene如何在AWS上构建由大语言模型驱动的数据质量代理(Data Quality Agent),并将其部署在面向生命科学的NEXT统一数据平台(NEXT UDP)中。
文章称,该代理能生成上下文感知的数据质量规则、对规则进行验证,并产出可直接运行的SQL和Python代码,整个过程处于集中式、人工参与的治理之下。
代理在NEXT UDP中的位置与构建方式
NEXT UDP被描述为一个面向生命科学的AI驱动数据平台,把商业、医学、临床和企业数据汇集到单一受治理环境中,覆盖从数据摄取到分析的完整生命周期。平台提供数据摄取、数据质量、编排、数据目录和SQL Bot生成器等多个独立AI代理,可单独用于数据管道,也可定制用于代理间通信。
数据质量代理的核心构建组件包括Amazon Bedrock、Strands Agents和Amazon Bedrock AgentCore。文章称,Amazon Bedrock提供多种基础模型选择以及安全、隐私和负责任AI控制;Strands Agents简化代理的构建与更新,其评估工具用于测试规则准确性;AgentCore提供可按任意框架或模型大规模构建、连接和优化代理的平台,并继承现有AWS安全与审计控制。规则和代码生成使用Claude Sonnet 4.5,代码检查通过AgentCore Code Interpreter完成。
- 运行环境:Strands Agents运行在AgentCore runtime上,提供会话隔离的托管环境,AgentCore memory保留审核者反馈以改进后续建议。
- 安全与治理:使用AWS IAM、KMS、Secrets Manager、CloudTrail、Config、GuardDuty、Security Hub、Inspector和VPC端点,负责认证、加密、密钥、审计和威胁检测。
- 数据源支持:文章列出的源包括Amazon Redshift,并称也支持Snowflake连接器、Amazon S3和JDBC/ODBC源。
两个知识库支撑上下文感知规则
文章把数据质量问题分为两层:技术规则确认数据结构是否正确,例如医疗专业人士ID(HCP ID)非空、格式合规、唯一且映射到有效参考记录;业务规则判断数据在运营语境中是否合理,例如某区域内产品市场份额合计为100%,或HCP的处方活动与其专科和资格条件相符。文章称,技术规则常留在代码里,业务规则散落在词汇表、SOP和专家经验中,两者难以保持一致治理。
为此,代理使用两个互补知识库。内部企业知识库汇集业务词汇表、数据字典、SOP、监管指引、已批准的数据质量规则、已验证脚本、画像结果、历史异常和主题专家反馈,内容经摄取、向量化后通过检索增强生成(RAG)检索。外部参考知识库用经批准的标准化数据质量框架、网络搜索和受控网络抓取构建并定期更新。文章举例称,对NPI(国家提供者标识符)列,代理可识别适用质量标准,建议10位数字格式并执行参考值校验。
- 六类上下文来源分别回答:这是什么数据、数据现在长什么样、发生了什么变化或哪里可疑、已有哪些规则、行业标准是什么、本组织如何定义质量。
- 代理建议覆盖列级、表级和自定义查询三种模式。自定义查询模式允许用户用自然语言描述业务校验,由代理生成对应SQL。
- 异常检查针对技术上有效但不符合医药市场实际的值,例如负的转换百分比、市场份额合计不等于100%、排名第一的药物份额低于排名第二、评分超出定义量表、样本量过小或与受访者数量不符。
人在回路中的流程与边界
文章描述的流程从选择数据源开始:连接Amazon Redshift或Snowflake,选择数据库和模式,查看各表的规则数量和启用状态,然后进行数据画像、对照历史基线检测异常、管理现有规则、选择规则模式并生成带严重级别的建议。用户逐条编辑或批准建议后,代理才为已批准规则生成SQL和Python,并经过验证步骤,最终存入中央规则库供执行、监控和审计。编排与人工审核层使用AWS Step Functions、Lambda、SQS、SNS和EventBridge协调画像、LLM调用、规则生成、执行、状态更新和人工审核。
文章将代理定位为提升数据工程师和数据管理员生产力的工具,称其可加速规则创建、简化验证并帮助在企業范围维持一致治理。这些属于Indegene和AWS方面的方案主张,文章未披露规则生成准确率、处理耗时、人力节省比例或客户部署规模等可核验的量化结果,也未提供独立第三方的评测数据。
- 已批准规则执行后可写出违规数量和详细异常,展示层可用CloudWatch、AgentCore Observability或应用界面,也可对接Amazon Quick和OpenSearch Dashboards。
- 文章称该方案面向受监管的生命科学环境,数据可能包含敏感医疗专业人士和患者信息,因此强调安全、审计和人工审核控制。
- 代理可定制用于代理间通信,但文章未说明跨代理协作在生产环境中的运行效果和限制。