小红书开源 Iris,榜单分数要连 Harness 一起看
Iris-mini 的 BrowseComp 从 64.7 提到 82.2,Iris-pro 从 72.6 提到 88.6,差距来自模型与上下文处理共同作用。训练数据和配方尚未公开,榜单成绩还不能当成独立模型能力。
Iris 开源了什么
小红书 AllSpark Research 团队 9 月 14 日公开 Iris-mini 和 Iris-pro 两个搜索 Agent,权重放在 Hugging Face,代码放在 GitHub,许可证为 Apache 2.0。它们面向需要多轮联网搜索、阅读网页并整理证据的任务。
Iris-mini 基于 Qwen3.6-35B-A3B,总参数 35B、激活参数 3B;Iris-pro 基于 Qwen3.5-397B-A17B,总参数 397B、激活参数 17B。两个版本都标注 256K 上下文。参数总量和每步激活量需要分开看,前者不能直接当成每次推理的计算量。
论文介绍的训练方法,是把网页的超链接关系整理成实体图,再生成需要多步查找的问题;模型经过监督微调和强化学习,练习决定搜什么、读哪些页面、何时继续以及何时给出答案。训练数据构造和完整配方尚未随仓库发布。
同一个模型,换个 Harness 分数差很远
官方模型卡给了两组结果。Iris-mini 在不做上下文处理时,BrowseComp 是 64.7;启用 discard-all 后是 82.2,加上 retry 后是 85.9。Iris-pro 的对应数字是 72.6、88.6 和 90.3。这里的比较使用同一套工具、上下文上限和评分器,数字来自项目方自己的评测。
discard-all 的做法并不神秘:运行中的提示超过阈值后,清掉累积的工具历史,从最初的问题重新开始。retry 只在一轮没有得到可解析答案时重启,并带上一段已经排除过的内容。它们改变的是 Agent 看到什么、何时重来,不是权重本身。
这也是 Iris 发布里最容易被忽略的地方。分数差距有一部分来自模型,另一部分来自搜索工具、上下文处理和答案解析。项目方把两种设置都列出来,说明他们知道‘模型分数’这个说法并不完整。
搜索任务为什么特别依赖外壳
搜索 Agent 每找到一页资料,就会多出一段网页内容、工具返回和中间判断。任务持续得越久,早期问题和后来的噪音越容易混在一起。上下文处理把旧材料移走或清掉,模型才有机会重新围绕问题组织证据。
但清掉也会带来损失。被丢掉的页面里可能藏着一条尚未验证的线索,重启后模型需要重新搜索;retry 只携带短摘要,也可能漏掉细节。Iris 的表格说明这些选择会改变成绩,却没有告诉读者每类问题分别丢了多少信息。
因此,BrowseComp 82.2 或 88.6 应理解为‘在这套模型、工具、阈值和评分器下得到的结果’。把它剪成一句‘开源模型达到某某分’,会把系统配置从报道里删掉。
开源了权重,复现门槛仍然不低
仓库同时开放 Iris-Harness,里面有 Agent 循环、搜索和抓取工具、上下文处理策略、四套基准和评分器。模型卡给出了 SGLang 服务示例和评测命令,运行时还要固定模型版本、服务端配置、搜索工具和评分器,才能和表格做有意义的比较。
基准数据不会随仓库直接分发,准备脚本会按项目说明取得所需数据;HLE 还涉及访问条件。即便命令顺利跑通,也只能说明这套已知配置可以复现一次结果,不能推出它在开放网页研究中的稳定性。
训练数据和配方尚未公开,外部团队暂时无法完整检查问题如何生成、哪些样本被筛掉、强化学习用了什么奖励。模型权重的开放,解决了下载和部署的一部分,研究过程仍有空白。
使用时,先把配置写在成绩旁边
准备把 Iris 或其他搜索 Agent 放进业务的人,至少要记录模型修订版本、Harness 提交版本、上下文阈值、工具服务商、重试规则、搜索地区和评分器。少了这些字段,下一次升级后分数变了,很难判断是模型变了,还是外壳换了。
验收也要看证据能否找回、搜索调用用了多少次、压缩后是否还记得原问题,以及失败后会不会重复查同一批页面。对研究任务来说,答案碰巧正确和过程可复查是两回事。
Iris 的公开表格给了一个很实用的提醒:评测报告应该把模型和运行方法一起写清楚。等训练数据和更多复现实验出现后,才能判断它的提升有多少来自训练,有多少来自任务外壳。
后续 3—6 个月 · 待核查问题
接下来怎么看
需要继续核对的是 Iris 的训练数据和配方何时公开,社区能否在固定工具与评分器下重复得到表格结果,以及不同上下文阈值在真实网页任务上会牺牲多少证据。若这些信息长期缺席,Iris 仍然是一份可下载的系统样例,尚不能当作通用搜索能力的定论。
持续检查:训练数据是否发布;同一配置的独立复现是否出现;上下文丢弃后答案引用是否完整;模型升级后 Harness 是否保持兼容。