Google在Gemini Live推出Guided Vision,面向盲人和低视力用户提供实时视觉解说
该功能通过与Aira合作、用数万小时真人数据训练,在Android 9及以上设备上线,可用相机共享获得语音引导和画面描述,Google明确它不能替代白手杖或用于导航。
AI解读:Google在Gemini Live里加了Guided Vision,本质是把手机摄像头变成盲人和低视力用户的“语音眼睛”:开启后共享相机画面,Gemini会用说话的方式描述周围环境、回答追问,并在镜头偏了的时候主动提示你往右平移、往下倾斜或者后退一点。
这件事真正有用的地方是它处理的是日常小事——读食品包装上的小字营养标签、看洗衣机旋钮、在昏暗餐厅里读菜单、在地上找掉落的耳机、确认一件条纹衬衫和裤子搭不搭。这些场景需要的不是长篇分析,而是快速、准确的一次确认。
为了训练这种“聊着聊着看东西”的能力,Google和Aira合作,用数万小时的真人视觉解说数据,并让Aira的 1000 多名受信任测试者日常使用、反复打磨模型。这让它在印度、巴西、新加坡、印度尼西亚、日本等多语言环境下也做过测试。
值得注意的是边界写得很清楚:Guided Vision是会出错的辅助工具,不是医疗设备、不是行动辅助器,也不能替代白手杖,不用于导航、安全出行指引或障碍物检测。Google建议用户继续依赖已有的行动辅助工具和安全出行习惯。
功能现在已在支持Gemini Live的地区和语言上线,要求设备运行Android 9及以上,并把Gemini应用和Android系统更新到最新版本。入口有三个:Gemini应用设置里打开“Use Guided Vision in Live”、Android无障碍设置里配置快捷方式,或通过TalkBack菜单三指点击呼出。
Google在Gemini Live中推出Guided Vision,面向盲人、低视力用户以及需要直观视觉帮助的人群,在兼容的Android设备上提供以语音为主的实时视觉解读。
开启方式是在Gemini Live会话中共享摄像头画面,用户可以听到对周围环境的清晰描述、提出更细的追问,并收到主动的语音提示。当镜头指得太高、太近或偏到一边时,Gemini会用自然语言提示用户慢慢向右平移、向下倾斜或后退,以便获得回答所需的清晰画面。
Google表示Guided Vision是与无障碍社区密切合作开发的,本月早些时候已经做过预览。为了训练Gemini Live理解对话式的真实场景,Google与Aira合作,用数万小时的真人视觉解读数据;Aira信任测试者网络中超过 1000 名成员在日常生活场景中帮助压力测试和改进模型,Aira专家也直接参与,帮助建立和评估安全护栏。
它具体能读什么、找什么、看什么
Google给出的使用场景集中在需要快速视觉确认的日常任务上。读细小和复杂文字:读取食品包装上的小号营养标签、辨认家电旋钮和洗衣机程序、在灯光昏暗的餐厅里读纸质菜单。
寻找和定位物品:在附近找掉在地上的耳机,或在塞满香料的柜子里找到黑胡椒。描述物体和匹配细节:询问颜色、图案和形状,例如确认条纹衬衫是否与某条裤子搭配,或辨认某件外套的颜色。了解周边环境:获取对陌生空间、房间布局或桌上物品的描述性概览。
多语言、多入口和适用人群
Guided Vision支持多种语言下的对话,Google称这反映了来自印度、巴西、新加坡、印度尼西亚、日本等地盲人和低视力社区的广泛测试与反馈,目的是让描述、重新取景提示和回答显得自然有用。
Google还表示,像许多无障碍创新一样,Guided Vision对老年人、识字有限的人,或在低光下试图看清小字的人也能提供实用的视觉帮助。
在入口上,Google提供了三种方式:在Gemini移动应用的个人资料设置中打开“Use Guided Vision in Live”,然后打开Gemini Live点按共享摄像头;在Android设置 > 无障碍 > 视觉辅助 > Guided Vision中配置无障碍快捷方式,通过悬浮无障碍按钮、双指滑动手势或同时按两个音量键启动;使用Google TalkBack的用户可以三指点击调出TalkBack菜单,直接选择Guided Vision。
Google划出的限制
Google明确指出,与任何生成式AI技术一样,Guided Vision是一种辅助工具,可能会出错。它不是医疗设备、行动辅助器,也不能替代白手杖,不打算用于导航、安全出行指引或障碍物检测。用户应在物理环境中继续依赖已有的行动辅助工具和安全出行习惯。
可用范围方面,Guided Vision现已在支持Gemini Live的地区和语言中,面向运行Android 9及以上的Android设备上线,用户需要把Gemini应用和Android系统软件更新到最新版本才能开始使用。