谷歌联合多校发布StreamVibe：能判断何时开口的视频助手
谷歌与斯坦福、牛津等机构研究人员提出StreamVibe视频智能体，区分明确、隐含和变化中的用户意图，并训练模型每秒钟决定保持沉默还是提供帮助；测试显示，长视频中所有受测模型都更难选对开口时机。
AI解读：团队构建约4100个示例、超过183小时日常与软件录屏的基准，覆盖明确指令、模糊目标和随时间变化的需求三个阶段；Gemini 2.5 Flash提出建议，四名人工评估者须一致通过。
StreamVibe-VL据称基于阿里Qwen3.5-9B，先训练模型每秒判断是否开口，再用强化学习让其更克制；独立的记忆系统追踪待办请求与已完成步骤，但由模型决定何时说、说什么。
论文称StreamVibe-VL在响应时机和质量上比其他模型提升10.7%，记忆系统在主动交互上再提升12.3%并减少不必要打断；谷歌专有模型Gemini 3.8 Flash在多项测试中得分更高。
测试发现，视频越长，模型越难选对时机；当模型需基于自己此前的回答继续处理整段视频时，错误累积，一项关键内容指标最多下降61.5%。超过五分钟的视频中，模型很少选对时刻，也难以追踪长时间内变更的指令。
研究者承认真实场景可能比测试设置更复杂，后续将考察用户偏好与环境如何随时间相互影响。
谷歌联合斯坦福、牛津及多所美国高校的研究人员提出视频智能体StreamVibe，目标是让助手在用户做饭或组装家具时自行判断何时开口，并能处理“如果我遇到困难就帮帮我”这类模糊请求。相关论文将现有视频助手的问题归纳为：只擅长“水烧开时告诉我”这类明确指令，难以捕捉未说出口的意图，也不易追踪已完成步骤，导致重复建议或响应过晚；用户中途改变请求时，助手常固守原指令。
基准与训练方式
为衡量这一问题，团队构建了约4100个示例、来自超过183小时日常生活和软件录屏的基准。Gemini 2.5 Flash负责提出“何时提供帮助、说什么”的建议，四名人工评估者须一致通过每个示例。测试覆盖三个阶段：明确指令、模糊目标、随时间变化的请求。论文举例，一名用户拆解玩具挖掘机时先要求进度更新，三分钟后转为要求质量检查。
研究人员据此训练StreamVibe-VL，文章称其似乎基于阿里Qwen3.5-9B，每秒判断保持沉默还是开口。第二阶段用强化学习让模型更克制，避免频繁打断。独立的记忆系统追踪哪些请求待办、哪些步骤完成，但由模型本身决定是否说话以及说什么。
测试结果与限制
研究者称，StreamVibe-VL在响应时机和质量上比其他模型提升10.7%，记忆系统设计上使主动交互再提升12.3%，并减少不必要打断等。StreamVibe-VL总体大幅领先其基座模型和其他开源模型，但谷歌专有模型Gemini 3.8 Flash在多项测试中得分更高。论文称专门训练未损害通用视频理解能力。
测试也显示，视频变长后，模型选对响应时机的可能性明显下降，记忆系统主要减少不必要打断。模型若只在特定时刻判断提示是否合适，往往能作出正确决定；但当它们处理整段视频并需基于自己此前的回答继续时，所有受测系统的表现都大幅下滑，错误累积，基于系统自身历史的一项关键内容指标最多下降61.5%。在超过五分钟的视频中，模型很少选对时刻，尤其难以在长时间跨度内追踪已变更的指令。
论文记录了一个GIMP教程案例：对比模型JoyAI在用户尚未打开图片时就说成品已保存，StreamVibe-VL则在正确时机给出“颜色”再到“去饱和”的下一步；在果酱卷吐司教程中，其他模型只描述面包被压平，StreamVibe-VL建议先切掉面包边。研究者承认真实场景可能比测试设置更复杂，未来将考察用户偏好与环境如何随时间相互影响。