Dharma-AI称保留原模型、仅替换分词器即让作文评分器推理成本下降 77%
Dharma-AI在Hugging Face博客中披露，面向葡萄牙语作文评分的Qwen3-4B系统在模型、数据和训练配方都不变的情况下，改用按成本加权的词表后，平均输出从 350 个token降到 101 个，实测推理成本下降 77.0%，bench分数从 0.703 升到 0.810。相关论文尚未发表。
AI解读：Dharma-AI称，其生产环境中的葡萄牙语作文评分器基于Qwen3-4B，沿用的通用词表把JSON外壳、能力项名称等重复出现的文本切成多个token，同时每生成一个token都要对 151,669 个词表条目打分。
该方法名为VocabX，同时重建子词切分并引入跨词宏token，选择标准按每个token的实际成本加权；在评分器中，生成token的成本被测量为读取token的 7.4 倍。
用同一基座、数据、训练配方和随机种子训练七个仅分词器不同的版本，同一台RTX 5090与vLLM上跑 500 个请求：平均输出从 350 token降至 101 token，成本下降 77.0%，bench分数从 0.703 升至 0.810。
作者称，对齐度首次尝试将评分与JSON结构合并成单个宏token，成本降 73.3% 但bench分数跌至 0.689，低于原生产版本的 0.703；让评分单独占一个token后多了 2 个token，成本降幅反而更大。
在合同、医学论文、科学论文、新闻和Python代码五个公开领域与Qwen3、Llama-3.1、Gemma-3三个模型家族的 15 种组合中，作者称VocabX的压缩率均高于三种参考方法 1.2 至 9.3 个百分点。
上述数字来自仍在审稿、尚未发表的论文，作者称正式发表前可能变化；成本与质量结果均限于其自有评分器和实验设置，未提供其他生产部署的独立验证。
Dharma-AI在Hugging Face博客中介绍其词表适配方法VocabX，并称在一个已上线的葡萄牙语作文自动评分系统上，保持Qwen3-4B基座、数据和训练配方不变，仅替换分词器，就使实测推理成本下降 77.0%。
该评分器接收作文、题目和支持文本，返回包含各能力项分数与评语的JSON。作者称，其词表仍是原版Qwen3-4B的通用词表，包含 151,669 个条目。
博客说明，文中数字来自一篇仍在审稿、尚未发表的论文，发表前可能变化。
被替换的是分词器，不是模型
作者把通用词表在单一领域任务上的浪费分为两类。一是碎片化：评分器每次响应都重复相同的JSON外壳、能力项名称和评语措辞，这些片段被切成多个token。二是冗余：词表里大量条目在该任务中几乎不会出现，但模型每生成一个token仍要为全部条目计算分数。
VocabX的做法分两层：在子词层重建领域词汇的切分方式，在多词层把反复出现的完整片段合并为单个“宏token”，两层在同一个成本标准下选择，各有预算。评分器的输出层由约 152,000 行降至约 65,000 行。
作者称，选择候选时不只数它能省多少token，而是把省下的token乘以它所在字段的单价：系统提示、用户输入和模型响应价格不同。在其测量中，响应中省一个token的价值是输入中省一个token的 7.4 倍。
测量结果与一次失败尝试
作者训练了七个评分器版本，基座模型、数据、训练配方和随机种子均相同，只有分词器不同。七个版本在同一台配备RTX 5090的机器、同一vLLM推理服务上跑同样的 500 个请求，成本由实测运行时间算出。
结果是平均响应从 350 个token降到 101 个token，成本下降 77.0%，bench分数从 0.703 升到 0.810。该分数综合评分准确率与筛除跑题、违规作文的准确率。
作者还报告了一次质量回退：最初版本把每个能力项的分数和周边JSON结构合并成一个宏token，成本降 73.3%，但bench分数跌到 0.689，低于原生产版本的 0.703。让分数单独占一个token后，每次响应多 2 个token，bench升到 0.810，成本降幅反而扩大到 77.0%。作者的解读是，被压缩的片段若承载模型需要作出的判断，压缩会付出质量代价。
跨领域对比的范围与限制
为检验增益是否只适用于自身案例，作者在合同、医学论文、科学论文、新闻和Python代码五个公开领域，以及Qwen3、Llama-3.1、Gemma-3三个模型家族上，与快速词表迁移（FVT）、多词分词（MWT）和Liquid AI的原地分词器扩展三种参考方法比较。各方法使用相同的挖掘文档、测试文档和词表上限。
作者称，VocabX在全部 15 种组合中的压缩率都高于最强参考方法，领先 1.2 至 9.3 个百分点；按估算推理成本计，其剪枝版本也在 15 种组合中领先。以合同领域为例，剪枝版本在 113,426 个词表条目下达到 62.6% 的token缩减，作者称原地BPE的最佳配置为 61.8%，使用 207,803 个条目。
这些对比由提出方法的团队自行开展，参考方法按其描述配置，尚无第三方复现。博客明确VocabX不提升模型能力，改变的是模型为不需要逐字生成的文本和几乎不会使用的词表条目所付的代价。该结论目前只覆盖作者自有的评分器与这组公开领域实验。