Google资助的专利律师实验:AI让初级律师起草质量提升最大,撤掉AI后只有资深律师保有优势
一项为期三个月、133 名专利律师参与的实地实验显示,使用Google Labs未发布助手InFlow后,初级律师在专利权利要求起草任务中的得分提升明显大于资深律师;但在无AI的红线修订任务中,初级律师未获任何增益,优势仅出现在资深律师身上。研究者称样本小、观察期短,实验无法解释初级律师内部结果分化的原因。
AI解读:实验由Google资助,133 名专利律师参与,为期约三个月;三分之二参与者可使用Google Labs未发布的AI助手InFlow,其余三分之一全程不用AI。
两项起草任务中,使用InFlow的组在 10 天和 90 天节点均优于对照组,五个评分维度都有改善;分数提升主要来自差评减少、中档评分增多,最高分几乎没变。
从业不足七年的初级律师获益远大于资深律师,这与写作、客服、软件开发等领域已有研究中“AI缩小经验差距”的结果一致。
第三项红线修订任务要求所有人不用AI审阅现有专利草稿,结果使用过InFlow的组整体略好,但增益全部来自资深律师,初级律师没有获益。
初级律师在红线任务中的得分分布反而更分散:中档评分减少,差评和好评都增多,顶部没有增长;作者认为这可能意味着AI对部分人加速了技能积累、对另一部分人形成了替代,但实验无法解释分化原因。
作者列出多项限制:样本量小(资深律师计费费率高),参与律所不能代表整个专业服务业,缺少基线技能测量,三个月窗口远短于专利专业能力的养成周期。
一项由Google资助、133 名专利律师参与的为期三个月实地实验发现,使用AI助手能提升专利起草的即时质量,初级律师的提升幅度大于资深律师;但在撤掉AI后进行的审阅任务中,只有资深律师保留了优势,初级律师没有获益。该研究由The Decoder报道,实验使用了Google Labs一款未发布的AI助手InFlow。
实验怎么做的
研究把“AI辅助下的表现”和“撤掉AI后的独立判断”分开测量:参与者先在有AI辅助的条件下完成任务,再在不使用AI的情况下评估结果。所有结果由一家独立律所的专利律师在盲评条件下按五个类别打分:可执行性、技术准确性、策略模糊性、完整性和清晰度。
133 名参与者中,三分之二获得InFlow使用权限,其余三分之一不使用任何AI。前两项任务是专利权利要求起草,只有实验组能用InFlow,对照组独立完成同样的任务;第三项任务是红线修订,所有参与者都必须在不使用AI的情况下审阅一份现有专利草稿。作者称,起草衡量的是AI辅助下的即时表现,红线修订衡量的是内化的判断力,而这类审阅日常工作本就不依赖工具。
起草任务:初级律师获益最大
在两项起草任务中,使用InFlow的组在 10 天和 90 天两个节点都明显优于对照组,五个评分维度均出现改善。分数提升主要来自差评减少和中档评分增多,最高档评分几乎没有变化。
从业不足七年的初级律师获得的增益远大于资深律师。研究者称,这与越来越多研究显示的“AI缩小高低经验者之间的表现差距”一致,类似效应已在写作、客服和软件开发领域被观察到。
红线修订:增益只出现在资深律师身上
不使用AI的红线修订任务出现了相反的结果:使用过InFlow的组整体得分更好,但这一优势完全来自资深律师,初级律师没有任何获益,尽管他们在AI辅助起草阶段提升最大。
初级律师的红线修订结果分布更分散:中档评分大幅减少,被更多差评和更多好评取代,但最高档没有增长。作者将此解读为AI对部分初级律师加速了技能积累、对另一部分则形成了替代;实验本身无法解释这种分化。
研究者据此提出,基线专业能力可能是把AI辅助实践转化为持久能力的先决条件——从AI中获益最多的人,保留下来的持久技能反而最少。
文本分析给出的一种解释
补充的文本分析显示,资深律师更常重构有缺陷的草稿,并把修改建立在法律原则之上;初级律师则常能指出严重缺陷却不加以修正,留下的批注读起来像给AI助手的指令。作者指出这种行为在对照组中同样出现,因此不将其归因于使用AI养成的习惯,而视为初级律师层面的基线能力缺口,AI的使用并未弥补这一缺口。
研究者的限制说明与其他领域证据
作者列出多项限制:样本量小(受顶级律师高计费费率影响)、参与律所不能代表整个专业服务业、缺少基线技能测量,三个月的研究窗口相比养成专利专业能力所需的数年时间偏短。研究者认为,只要专业工作仍需要在没有AI的情况下作判断,即时生产力提升与持久技能发展之间的张力就值得关注;即便AI将来能支持红线修订,在客户会议和法庭程序中也不太可能实时供律师使用。
报道还引用其他领域的类似结果:Anthropic一项研究发现,借助AI学习新编程库的年轻开发者,在后续知识测试中得分比不用AI者低 17%;MIT Media Lab在论文写作中发现外包思考带来“认知债务”的迹象;BCG 2023年的一项研究显示,较弱的管理咨询顾问使用GPT-4后的提升远大于强者。斯坦福研究者则将多行业初级岗位减少解释为AI能替代学校教科书知识,而资深从业者还拥有AI难以替代的实操经验。