Adobe与UCSD提出EditAgent:让语言模型凭测量数据挑选修图结果
一篇新论文称,Adobe Research与加州大学圣地亚哥分校构建的EditAgent把通用图像编辑器与专用工具并列使用,由未经微调的语言模型依据验证数据选出最佳候选;研究者在600次编辑测试中发现,通用编辑器Flux-2-Klein-9B有42.7%的结果不可用,而该智能体所需的计算量约为单一编辑器的十倍。
AI解读:研究者比较了两种策略:逐步迭代细化会累积小误差,而从原图并行生成多个变体更受专业人士偏好——在专业人士明确选择一方的比较中,78.5%选择了并行变体,且评估轮次只需一半。
EditAgent据此把请求拆成有依赖关系的步骤,每步并行生成多个候选,再由标准语言模型基于验证记录一次比较;验证记录包含局部特写、改动区域图和亮度、色彩等测量统计。
在七款语言模型的测试中,没有验证记录时无一能超过微调过的评估模型EditScore-72B(74.8%);加入验证记录后七款全部超过,Qwen3.8-27B的可用选择率为81.3%。
EditAgent在三个基准上提升了开源编辑器Qwen-Image-Edit-2511和Flux-2-Klein-9B,并在EdiVal基准第三轮编辑中让Qwen变体略超商用模型Seedream 4.0和GPT-Image-1.5;代价是约十倍计算量,且效果取决于接入的工具。
研究者还用该智能体生成约2.6万条经验证训练样本,微调后的编辑器在三个基准上均有提升;而直接用FLUX生成的训练数据反而使FLUX变差。
Adobe Research与加州大学圣地亚哥分校的研究者在一篇新论文中提出图像编辑智能体EditAgent,让通用编辑器与专用工具在每一步并行产出候选,再由一个未经修改的语言模型根据测量数据选出最佳结果。该论文由The Decoder报道。
研究者称,在一项600次图像编辑的测试中,五名专业人士盲评发现通用编辑器Flux-2-Klein-9B有42.7%的编辑未能产出可用结果;专用工具解决了其中约三分之二的失败,尤其在锐化、旋转和缩放任务上。用同一编辑器反复重试帮助很小。
EditAgent目前是研究系统,不是已发布产品。Adobe于6月将AI智能体以公开测试形式引入Photoshop、Premiere等Creative Cloud应用,用户描述需求后由智能体执行各步骤;论文的测试结果与这些已上线智能体如何选择工具、如何检查输出直接相关,但论文未报告这些产品的表现。
论文的两个出发点:并行变体胜过反复重试
研究者比较了逐步迭代细化和从原图并行生成多个变体两种方式。迭代细化每一轮都建立在已被改动的图像上,小误差会累积。在专业人士明确选择一方的比较中,78.5%偏好从原图并行生成的变体;该方式所需的评估轮次也只有一半。
EditAgent据此设计:把请求拆成有依赖关系的步骤,每步让通用编辑器与匹配的专用工具竞争,生成多个候选,再由语言模型一次比较全部候选。
验证记录:局部特写和亮度、色彩统计
每个候选附带一份验证记录,包括编辑区域的局部特写、改动区域的变化图,以及亮度和色彩的测量统计。论文举例说,一条要求轻微提亮照片的指令中,数据表明通用编辑器曝光过度并使色彩偏暖,专用工具则保持在要求范围内。研究者称,局部特写和测量统计能暴露语言模型只看整图时漏掉的错误。
在600次编辑的基准上,评估模型需从多个候选中选出专业人士也认为可用的结果。没有验证记录时,测试的七款语言模型都无法匹敌微调过的评估模型EditScore-72B;加入验证记录后,七款全部超过所有微调模型。Qwen3.8-27B的可用选择率为81.3%,EditScore-72B为74.8%。研究者据此认为,评估模型看到什么可能比它如何训练更重要。
结果边界:基准提升与十倍计算量
EditAgent在三个基准上提升了开源编辑器Qwen-Image-Edit-2511和Flux-2-Klein-9B,并称超过另外七种AI智能体。在EdiVal基准上,Qwen变体在第三轮编辑中略超商用模型Seedream 4.0和GPT-Image-1.5。
研究者同时指出,该智能体需要约十倍于单一编辑器的计算量,性能也取决于接入哪些工具。每轮编辑后,它还会检查后续改动是否无意中撤销了先前的修改,论文举例说“让更多日光进来”的指令使原本磨砂的窗户变透明,智能体能发现并修正这一冲突。
研究者还把EditAgent当作数据来源:由于只保留经验证的结果,它产出了约2.6万条训练样本,用这些数据微调的编辑器在三个基准上均有提升;而直接用FLUX生成的训练数据反而使FLUX变差。研究者认为,这种权衡可能使高计算成本随时间变得值得。报道提到,论文测试所用的通用模型已被Black Forest Labs更新的Flux 3 Image Klein取代。