Sierra发布 τ-i18n语音智能体多语言评测:韩语任务完成率落后英语 22.6 个百分点
Sierra将 τ-Voice扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五种语言,在 2,700 通主通话中同时报告任务完成、互动和生成质量三项指标;三个参测智能体各有短板。
AI解读:τ-i18n在原有英语之外增加西班牙语、巴西葡萄牙语、印地语、韩语和普通话,沿用相同的航空、零售和电信任务,任务、政策、工具与成功标准固定不变。
Sierra称,在任务完成率上,西班牙语、印地语和葡萄牙语平均落后英语 2.4、3.8 和 6.4 个百分点,韩语和普通话落后 22.6 和 9.1 个百分点;韩语是三个智能体表现都最弱的语言。
互动维度上,韩语和普通话通话的工具调用失败最多;Sierra称GPT Live 1与Gemini 3.8 Live在超过 80% 的通话中出现漏接话轮、回复慢或未让出话轮,Grok Voice Think Fast 2.0为 16%。
生成质量上,GPT Live 1以 79.9% 的任务完成率和 63.4% 的生成质量领先;Grok Voice Think Fast 2.0以 52.6% 领跑互动,但生成质量仅 17.7%。
Sierra开源了代码库和语言包框架LanguageFactory,希望母语者和研究社区补充更多语言与地区。
Sierra发布 τ-i18n语音智能体评测,把 τ-Voice从英语扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五种语言,任务、政策、工具和成功标准在各语言间保持一致,以便直接比较表现。
语言包处理称呼、姓名顺序与语气
Sierra用“语言包”承载各语言和地区的本地化选择,由母语者定义打电话者的身份与匹配的数据库记录、人设、声音、说话习惯和评测规则,底层的服务任务保持不变。
Sierra举了两个例子:印地语中女性声音的智能体可能用阳性自称“कर सकता हूँ”而非“कर सकती हूँ”;普通话中可能说“执行取消操作”,而人通常说“帮您取消”。
姓名顺序也会影响结果:韩语和普通话来电者通常先说姓氏,智能体若把先听到的名字填进名字字段,即使听对了姓名也可能认证失败。
三项指标分开报告
除任务完成率外,τ-i18n增加两项指标。互动衡量智能体是否在合适时机回应或让出话轮、是否避免打断和长篇独白、能否分辨“嗯”这类附和或无关声音无需回应(Sierra称之为选择性),也衡量工具调用参数是否正确、是否出现智能体自身造成的错误。
生成质量衡量来电者实际听到的内容:自然度考察翻译腔、语法性别错误、语域不当和敬语缺失;语音保真度考察音频是否准确传达预期的词、姓名和数字。Sierra表示分开报告是因为智能体可能完成任务,却在互动或语言本身上不达标。
2,700 通通话中的差距
Sierra称,在 τ-i18n排行榜上三个语音智能体、2,700 通主通话的测试中,各语言表现差异明显。任务完成率上,西班牙语、印地语和葡萄牙语平均落后英语 2.4、3.8 和 6.4 个百分点;韩语和普通话落后 22.6 和 9.1 个百分点,韩语是三个智能体都最弱的语言。
互动方面,韩语和普通话通话中每个智能体的工具失败都最多。响应性上,Sierra称GPT Live 1和Gemini 3.8 Live在超过 80% 的通话中漏接来电者话轮、回复过慢或未让出话轮,Grok Voice Think Fast 2.0为 16%。选择性偏弱:在 26% 至 60% 的通话中,智能体对附和声、口头习惯音或并非对它说的话回应超过三次。
生成质量上,GPT Live 1同时领先任务完成率(79.9%)和生成质量(63.4%);Grok Voice Think Fast 2.0以 52.6% 领跑互动,生成质量仅 17.7%。Sierra由此指出,响应最快的智能体未必说得最自然。
开源代码与语言包框架
Sierra将代码库和语言包框架LanguageFactory开源,供母语者、研究者和语言社区为更多语言和地区改编 τ-i18n;贡献者可构建代表性来电者、审阅声音和样例对话,并定义评测所依据的惯例。
该工作由Sierra的Edgard dos Santos Paiva、Ruben Valenzuela、Keshav Dhandhania,普林斯顿大学的Karthik Narasimhan和Mercor的Victor Barres完成。