研究Hugging Face Blog·原文 2026年9月30日本站收录 2026年10月1日

Hugging Face推出Open TTS Leaderboard,用客观指标评测多语言TTS与语音克隆

该榜单用WER/CER、RTFx、TTFA和说话人相似度等客观指标替代投票式竞技场评测,首屏默认按英语WER排名,Kokoro-82M、supertonic-3、s2-pro领先。

AI解读:Hugging Face上线了Open TTS Leaderboard,专门评测开源和多语言文本转语音模型。它不做人类投票,而是用客观指标算分,因此不直接衡量自然度、表现力或听感偏好。

真正受影响的是选模型做语音助手、有声内容或语音克隆的开发者。榜单默认看英语WER,切换语言后能看到中文、日文、韩文按CER统计,语音克隆模式下还会多出说话人相似度这一列。

客观指标能在几小时内跑完,而竞技场收集投票要花约两周,但榜单不取代人类偏好排名,两者定位不同。

评测脚本后续会开源,作者表示希望社区通过GitHub Issues和PR参与改进,说明当前结果还不是最终形态。

Hugging Face发布Open TTS Leaderboard,一个面向开源与多语言文本转语音(TTS)及语音克隆的可扩展评测榜单。

该榜单不再只靠人类偏好投票,而是用客观指标对模型打分:可懂度用词错误率(WER)和字错误率(CER),速度用批量离线推理的逆实时因子(RTFx)与流式首音频时间(TTFA),音色保持用WavLM说话人嵌入的余弦相似度(SIM)。

Hugging Face称,依赖客观指标后,单个模型的评测时间从收集投票所需的约两周降到约几小时。

榜单明确表示不取代人类偏好排名:基于ASR的WER只是可懂度的代理指标,说话人相似度估计的是音色身份保持,两者都不直接衡量自然度、表现力或听者偏好,但可以反过来帮助投票式榜单决定把哪些模型纳入评测。

默认按英语WER排名,Kokoro-82M等居前

榜单默认视图按Seed TTS Eval英语子集与CV3 Eval(zero shot)英语子集的宏观平均WER排名。

hexgrad/Kokoro-82M、Supertone/supertonic-3、fishaudio/s2-pro在这两个子集的英语WER平均值上处于前列。帕累托图则用于展示哪些模型在WER、批量推理(RTFx)和模型体积之间取得较好平衡。

多语言与语音克隆分开评

英语表现不一定能迁移到其他语言,因此榜单支持切换多语言视图排名。Seed TTS Eval只有英语和中文音频,所以其他语言只取CV3 Eval(zero shot)上的分数。

中文、日文、韩文属于基于字符的语言,因此报告CER;“跨语言平均WER”是对各语言做宏观平均。

根据榜单,k2-fsa/OmniVoice、fishaudio/s2-pro、FunAudioLLM/Fun-CosyVoice3-0.5B-2512是表现较强的多语言模型。

打开“Voice cloning”开关后,可以比较在所选语言上支持语音克隆的模型,表格会新增SIM(说话人相似度)列,并多出两个帕累托图,用于观察SIM、批量推理和体积之间的权衡。

榜单提到,在提供参考音频的语音克隆条件下,bosonai/higgs-tts-3-4b和openbmb/VoxCPM2等模型的平均WER会有所改善。

流式性能单独看TTFA

“Streaming”标签页比较流式能力,按TTFA(首音频时间)排名,衡量用户向模型发起请求后要等多久才能拿到可播放的音频,这对语音智能体和其他交互式应用很重要。

对支持流式的模型(“Streaming API”下打勾),TTFA是首个音频块到达的时间;对非流式模型,则是整段语音生成完成的时间,因为在此之前无法开始播放。

所有模型都按批大小 1 运行,只用一条音频,使用CV3-Eval中相同的 50 条英语提示词,在相同硬件上以默认音色运行;前 3 次运行作为预热丢弃,报告其余运行的中位TTFA。

默认视图比较H200 GPU上的表现,也可查看CPU结果,但覆盖的模型还较少。榜单称kyutai/pocket-tts在GPU和CPU上都是不错的流式模型。

Listen标签与社区反馈

“Listen”标签页可以试听指标背后的生成输出,用户可选语言/数据集、是否比较语音克隆,也可指定模型或随机抽取模型对比。榜单称这填补了现有TTS榜单的一个空缺,即提供一个浏览各模型输出的地方,并允许对生成结果给出反馈。

投票需要登录Hugging Face账号,以过滤垃圾信息和机器人;随着社区投票增加,这些数据未来可能会纳入榜单。

Hugging Face表示,榜单目标是跟上TTS模型发布节奏并让社区塑造评测方向,目前重点关注开源模型与多语言。评测脚本将很快开源,类似Open ASR Leaderboard的仓库,届时可通过GitHub Issues和PR反馈。

信息来源

Hugging Face Blog原始来源