Numan披露AI健康教练Nu的评测方案：用模拟对话守住医疗监管边界
英国数字健康公司Numan在LangChain博客发文，介绍其AI健康教练Nu如何通过按类别打分、模拟对话和临床安全闸门，保持在“健康产品而非医疗器械”的范围内。公司称迁移模型供应商的测试时间从数周缩短到一天，但未公布用户规模或效果数据。
AI解读：Numan称Nu定位为健康生活方式辅导与教育产品，不做诊断、处方、疾病监测或临床决策；依据MHRA指引，具备医疗用途的软件产品会被视为医疗器械。
早期单轮固定用例评测存在两类问题：单一平均分掩盖局部失败；预设脚本的多轮对话在Nu说出预期外内容后失效。
现行做法是按辅导质量、安全、用药问题、路由、摘要等主题分数据集，由LLM评判器按类别打分，并让评测跑在与患者对话相同的LangGraph图上。
原型阶段的模拟对话层由较便宜模型扮演患者，按人设、场景和轮次上限与真实智能体对话，再由评判器按类别打分，用于测试越狱等对抗场景。
安全闸门在每次对话中检查每一条外发回复，不合格则退回主管代理重新生成，持续失败则替换为安全兜底话术；模拟对话层的标准尚未由临床医生签署，因此不用于发布闸门或安全声明。
英国数字健康公司Numan在LangChain博客发文，介绍其AI健康教练Nu的评测体系建设过程。Nu面向体重、激素和性健康等长期病症管理，公司将其定位为健康辅导与教育产品，明确不用于诊断、处方、疾病监测或临床决策。
文章称，Nu运行在LangGraph上，由主管模型调度各领域专科子代理，评测通过LangSmith测量。公司强调“发布的东西就是测试的东西”：评测不走独立测试框架，而是直接跑在患者实际对话所用的同一张图上。
单轮固定评测为何不够用
Numan称其起点是多数团队的常规做法：准备输入与预期输出数据集，由LLM评判器给每条回复打分。文章认为这套方法适合问答型代理，但辅导是对话而非单个答案。
公司列出两类失败。其一，对整份数据集取平均分，会掩盖局部失败，少量糟糕回复不足以拉低总分；有一次低分集群实为评测标准之误——评判标准要求在仅两轮对话内同时体现共情、探查和给建议，而人类教练会把这些分散在更长的对话里。其二，预先写好患者每轮回复的脚本式多轮测试，在Nu说出脚本未预料的内容后，后续轮次就在回应一场并未发生的对话。
按类别打分与同图评测
现行框架下，可由单条回复判断的项目——主管是否正确路由到专科代理、用药问题是否得到安全回答、安全防护是否拦截到位——使用按主题划分的数据集，覆盖辅导质量、安全、用药查询、路由和摘要。
与早期做法的区别有两点：每个数据集由LLM评判器按类别分别打分，不再只报一个平均值，使某一类别的失败集群保持可见；每条评判标准只考察单条回复能体现的内容，不再因对话节奏而误判。需要看整段对话形态的检查，则放到另一层处理。
文章称，由于评测跑在真实的LangGraph图上，新增专科代理可直接继承这套评测面。Nu目前使用两家前沿模型供应商，按代理分工选择：主管用一家，专科代理用另一家。公司称，借助可指向任意配置的开放主题数据集，原本需数周手动测试的供应商迁移只用了一天；该对比结果从LangSmith读出。
模拟对话层的用途与限制
原型阶段的新一层不再写脚本，而是模拟对话：给定患者人设、场景、Nu应引导出的关键问题以及轮次上限，由较便宜的模型扮演患者，与真实代理多轮互动并对Nu的发言作出反应，最后由评判器按类别给整段对话打分。
Numan称这一层能探查固定用例遇不到的对抗情况，例如把临床请求包装成普通问题的措辞，以及Nu急于给出答案而未像教练那样先做了解。文章称，用模拟对话做提示加固后，越狱场景中针对监管边界的严重越界有所减少；公司未公布具体数字或基准。
公司同时披露，起草这一层的标准时曾出现两条标准在漏服药物处理上互相矛盾：一条要求拒绝并引导就医，另一条要求以药品说明书中的一般事实做安全回应。文章据此认为，稀缺资产是评测标准而非提示词，且涉及监管边界时必须由同时理解监管线的临床医生撰写并签署。由于模拟对话层的结果目前按工程团队起草的标准评判，该层不用于发布闸门，也不支撑任何安全声明。
发布前的临床安全闸门
按MHRA指引，具备医疗用途（提供临床建议、诊断或推荐治疗）的软件产品会成为医疗器械。Numan称，让Nu留在健康产品范围内是每次改动都要检查的事项；安全探针作为分类指标运行并卡住发布，出现回退即阻止自动发布。
在对话过程中，图内的安全防护节点会依据一组固定的临床安全规则审查每条外发回复；不安全的草稿退回主管代理重新生成，若反复失败则用安全兜底内容替换，而不是发出不安全回复。安全防护位于图内，因此也在同一评测面内，其中一个主题数据集专门测试防护是否拦得住。此外，健康教练每天抽查真实对话，标记疑似安全疏漏，由人工专家校准“安全”的判定。
后续方向
Numan称下一步是让同一套标准持续跑在进入LangSmith的真实对话上，评分Nu一侧的发言；人工复核将从每天抽样的对话，转为从评测器已标记的对话入手，以在生产中观察边界并把误报反馈给标准。
公司还称在早期实验中，离线提示优化循环指向单一行为基准后，分数有明显提升，无需人工调参；并提到把已复核对话整理成排序待办、按固定基准调优提示词等后续流程的自动化尝试。这些均为公司自述，未附公开数据。