Sierra发布 𝜏-Entity语音智能体基准：GPT Live 1常规条件 60.3%，三条件下 34.0%
Sierra博客称，𝜏-Entity用 200 个任务测试语音智能体能否准确记下姓名、电话、地址、邮箱等信息，识别可能的错误并修正；在其排行榜上，GPT Live 1六语言混合常规条件成功率 60.3%，三种环境全部通过仅 34.0%。
AI解读：Sierra发布 𝜏-Entity，衡量语音智能体能否正确捕获单项实体信息、察觉可能出错并修复错误。基准共 200 个任务、十类实体，覆盖姓名、电话、地址、邮箱等，每次通话只涉及一个字段，测试方设定来电者配合，被要求拼写时会准确拼写，多数通话不到两分钟。
排行榜汇总六种语言，GPT Live 1在常规通话中正确捕获 60.3%，在常规、强噪声、强语音三种条件下全部成功仅 34.0%；Gemini 3.8 Live和Grok Voice Think Fast 2.0常规条件分别为 43.8% 和 44.2%，三条件降至 19.5% 和 24.0%。
仅英语更简单：GPT Live 1常规 74.0%、三条件 47.5%。西班牙语、葡萄牙语和印地语接近英语，部分系统在这三种语言上高于英语；韩语Pass³ 降至 3.5–8.5%，普通话为 12.5–24.5%。
Sierra在 𝜏-Elicitation论文中统计回读和拼写请求次数，发现各系统对难值、不熟悉实体更谨慎，但只有Grok在噪声下增加核验，没有系统对自身表现最差的来电者声音增加核验。
固定“询问—拼写或回读—确认并纠正—提交”序列后，三种条件下全部成功从 14–41% 升至 37–54%，提高 14–31 个百分点，但每次通话延长 21–28 秒。论文称，被核验的初始错误捕获只有 24–37% 最终改对。
多字段任务中，单字段准确率 75% 时三字段通话全部成功仅 53%；同一多字段任务上，逐字段校验并允许重试使成功率从 64% 升至 82%，但两种干预合并，无法拆分各自贡献。
Sierra博客发布 𝜏-Entity语音智能体基准，衡量智能体能否正确记下姓名、电话、地址、邮箱等单项信息、识别可能出错并修复。该基准包含 200 个任务、十类实体，每次通话只测一个字段，多数不到两分钟。
基准怎么测
Sierra称，每个任务从一个缺失值开始，智能体须向来电者询问并正确提交，存储值与预期值完全一致才算成功。测试改变三项：值本身的难度、来电者行为（如纠正和重新开始）、音频环境。
Pass³ 指同一任务在常规、强噪声、强语音三种条件下都成功。Sierra借此区分“能否捕获值”和“条件变化时能否稳定捕获”。
当前系统得分
𝜏-Entity排行榜汇总 𝜏-i18n的六种语言。GPT Live 1常规通话正确捕获 60.3%，三种条件全部成功 34.0%；Gemini 3.8 Live和Grok Voice Think Fast 2.0常规为 43.8% 和 44.2%，三条件降至 19.5% 和 24.0%。
英语单独测试更容易：GPT Live 1常规 74.0%，三条件 47.5%。西班牙语、葡萄牙语和印地语接近英语，Gemini和Grok在其中部分语言高于英语；韩语Pass³ 为 3.5–8.5%，普通话为 12.5–24.5%。
核验行为与修复缺口
Sierra在 𝜏-Elicitation论文中以回读和拼写请求次数衡量核验投入，比较熟悉与不熟悉实体、易与难的值、噪声与安静环境、不同来电者声音。各系统会对难值和不熟悉实体增加核验；只有Grok在噪声下增加核验；没有系统对自身表现最差的来电者声音增加核验。
固定核验步骤为询问、让对方拼写或回读、确认并纠正、提交后，三种条件下全部成功从 14–41% 升至 37–54%，提高 14–31 个百分点，代价是通话延长 21–28 秒。论文称，被核验的初始错误捕获只有 24–37% 最终改对，有的重复原错误，有的换成另一个错误值。
多字段误差累积
论文的多字段研究中，单字段准确率保持 75%，三字段通话全部成功仅 53%。同一批多字段任务上，逐字段校验并允许重试使成功率从 64% 升至 82%；Sierra说明该干预合并了校验与重试，无法拆分各自贡献。