IBM发布Granite Speech 5.0系列:新增 2B语音模型,并更新Turbo CTC与 4.1 2B Plus
IBM在Hugging Face博客公布三款Granite Speech模型更新:新的granite-speech-5.0-2b负责高精度多语种转写与翻译,granite-speech-5.0-470m-turboctc主打边缘端高速转写,granite-speech-4.1-2b-plus改进说话人归属与时间戳。
AI解读:三款模型均以Apache 2.0许可发布。
granite-speech-5.0-2b与 4.1 2B参数量相同,支持英语、法语、德语、西班牙语、葡萄牙语、日语转写,并在这些语言与英语之间互译,另支持英语译意大利语和普通话;训练使用 39 万小时公开音频,加上针对日语ASR、关键词偏置和翻译的合成数据。
Turbo CTC保持 4.7 亿参数编码器,新增多语种转写(英、日、西、德、法、意、葡)、原生标点与大小写,IBM称其在Open ASR Leaderboard上达到 19,870 RTFx,较发布时的约 12,600 提升约 1.6 倍,精度不变。
granite-speech-4.1-2b-plus架构与API不变,可直接替换旧权重;IBM称说话人归属WDER下降 7%、cpWER下降 7%,平均时间戳偏移减少一半以上,长语音测试集WER下降 24%,20 词关键词偏置下的偏置词WER从 11.79 降至 6.48。
IBM给出的英文平均WER 5.06% 排名为“非官方”结果,统计截至 2026 年 10 月 15 日,取自Open ASR Leaderboard公开英文短语音测试集的平均值,属于厂商自行汇总的对比,未经独立验证。
IBM在Hugging Face博客公布Granite Speech系列三项更新:新增granite-speech-5.0-2b语音语言模型,同时更新granite-speech-5.0-470m-turboctc和granite-speech-4.1-2b-plus。三款模型均采用Apache 2.0许可,并在Transformers中提供原生支持。
新模型granite-speech-5.0-2b的能力范围
granite-speech-5.0-2b是granite-speech-4.1-2b的继任者,参数量保持不变。它可转写英语、法语、德语、西班牙语、葡萄牙语和日语,并在这些语言与英语之间互译,另外支持英语译意大利语和普通话。IBM称其训练数据为 39 万小时公开音频,加上为日语ASR、关键词偏置和翻译构建的合成数据。
相比 4.1 2B,IBM列出的改进包括:英文短语音基准准确率更高,对噪声、混响和远场麦克风语音的处理更好;支持在提示中指定输入语言,以引导多语种转写;长语音和对话式翻译表现更稳定;关键词列表最多支持 2,000 个词条,可用于每个支持语言的转写和翻译;可在提示中要求输出标点与大小写,IBM称其测试集上的大小写F1在 89.7 至 99.5 之间。
该模型支持Transformers、vLLM、llama.cpp,以及面向Apple Silicon的mlx-audio。IBM还给出一个对比数字:在Open ASR Leaderboard公开英文短语音测试集上平均英文WER为 5.06%,在开源权重ASR模型中排第二;博客注明这是截至 2026 年 10 月 15 日的非官方结果。
Turbo CTC更新:多语种、原生标点与速度提升
granite-speech-5.0-470m-turboctc保持 4.7 亿参数编码器规模,从最初仅支持英语扩展到英语、日语、西班牙语、德语、法语、意大利语和葡萄牙语。更新后转录直接输出标点与大小写,不需要单独的标点或大小写还原步骤;IBM称其训练明确针对混响音频,因此在回声房间和远场录音中更稳健。
速度方面,IBM称通过编译单个Conformer块并在整个堆叠中复用其计算图,缩短了预热时间,使Turbo CTC在Open ASR Leaderboard上达到 19,870 RTFx,而发布时约为 12,600 RTFx,约提升 1.6 倍,精度持平。RTFx衡量单位时间内可处理的音频量,数值越高越快。
4.1 2B Plus:说话人归属与时间戳改进
更新版granite-speech-4.1-2b-plus面向会议、客服通话、多人访谈等长时多说话人录音。IBM保留 4.1 的名称,是因为架构、提示格式和API未变,属于权重改进后的直接替换。
IBM给出的四项指标均为错误率、越低越好:说话人归属方面,词级说话人分离错误率(WDER)从 4.40 降至 4.10,带说话人归属的cpWER从 30.50 降至 28.48,均下降约 7%;时间戳方面,全部语音的平均时间戳偏移从 210.86 降至 98.54,减少一半以上;长语音测试集WER从 13.53 降至 10.22,下降 24%;使用 20 词关键词列表时,偏置词WER从 11.79 降至 6.48,下降 45%。
适用选择与部署说明
IBM在博客中按用途给出选择:需要高精度转写、翻译或关键词偏置时用granite-speech-5.0-2b;需要极速或设备端转写时用granite-speech-5.0-470m-turboctc;处理会议或多人通话时用granite-speech-4.1-2b-plus。IBM还建议在生产部署中搭配其Granite Guardian做额外的风险检测。
上述性能数字均来自IBM自述,其中Open ASR Leaderboard的排名被标注为非官方结果;博客未提供独立第三方的复现评测,也未给出各模型的具体硬件与延迟条件。