TwelveLabs Pegasus 1.5上线Amazon Bedrock,单次可分析两小时视频并返回带时间戳的JSON
AWS称该视频语言模型新增按时间段输出结构化元数据、参考图多模态提示和免预索引处理;视频可直接从S3或base64字符串传入,目前仅在美国西部(俄勒冈)区域提供。
AI解读:模型ID为twelvelabs.pegasus-1-5-v1:0,可用区域为美国西部(俄勒冈)us-west-2,通过按需的InvokeModel和InvokeModelWithResponseStream接口调用。
与Pegasus 1.2相比,新版本的主要变化是按用户定义的时间段返回元数据:用户提交若干“片段定义”,模型返回视频中所有匹配片段,带起止时间和指定字段的JSON。单次请求可分析最长两小时的视频,此前为 1 小时。
另两项新增能力是多模态提示和即时处理。前者允许在文本描述之外附带参考图,用于定位特定产品、logo或人物;后者指无需预先建立索引或数据摄取流程,视频可直接从S3 URI或最长约 25 MB的base64字符串传入。
请求分两种分析模式:general模式接受文本提示,可返回文本或按用户提供的JSON Schema约束的JSON;time_based_metadata模式用片段定义替代inputPrompt,返回segments列表。一次请求可携带多个片段定义,结果以 _definition_id区分,最多可附 30 张参考图。
AWS表示数据保留在AWS数据边界内,但这一表述出自AWS博文,未经独立验证。博文中的体育比赛和绿色独木舟示例为演示输出,并非公开的准确率或效果评测数据。
AWS于 2026 年 10 月 9 日宣布,TwelveLabs的视频语言模型Pegasus 1.5已在Amazon Bedrock上可用。据AWS博文,该版本可对整段视频按用户定义的条件找出所有匹配片段,并以带起止时间的JSON返回;单次请求可处理最长两小时的视频,上一版Pegasus 1.2为一小时。
Pegasus 1.5在Bedrock上的调用方式
模型ID为twelvelabs.pegasus-1-5-v1:0,区域为us-west-2,调用入口是bedrock-runtime上的InvokeModel或流式接口InvokeModelWithResponseStream。博文示例使用global跨区域推理端点,并说明可替换为us.前缀以指定美国地理端点。
视频有两种传入方式:S3位置需提供对象uri和bucketOwner账号ID,面向长视频;base64字符串直接嵌入请求体,上限 25 MB,面向短片。启用includeMetering后,非流式响应会附带outputTokenCount和inputVideoSecond两个计费相关字段。
使用前需具备Bedrock访问权限、Python 3.10及以上的Boto3、bedrock:InvokeModel与bedrock:InvokeModelWithResponseStream的IAM权限,并在控制台开通该模型。博文还提到可用Bedrock API key认证,生产环境建议使用短期令牌。
按时间段提取结构化元数据
time_based_metadata模式是Pegasus 1.5与早期版本差异最大的部分。用户不再只问一个问题,而是提交一个或多个片段定义,每个定义包含id、描述匹配画面的description,以及要提取的fields(字段名、类型和说明)。模型返回segments列表,每个片段带start_sec、end_sec和所请求的字段。
时间格式由segmentTimeFormat控制:seconds返回可计算的数字,hh:mm:ss和hh:mm:ss.fff返回字符串时间戳。响应中的definition_errors在全部定义处理成功时为空列表。由于同一套定义可复用于整个视频库,博文称这能产出格式一致的元数据。
博文给出的体育片段示例返回了三段结果,分别覆盖补时与换人、最后阶段的进攻与终场哨、以及 3-3 平局后的点球大战准备;这些是示例输出,不是准确率评测。
多模态提示与适用范围
Pegasus 1.5支持在文本之外附参考图。general模式下,参考图放在promptV2.mediaSources,与promptV2.inputText一同提交;分段模式下,参考图挂在各片段定义的mediaSources内,使定义能同时匹配视觉参考和文字描述。每张图需有名称、media_type为image,以及base64String或s3Location之一作为来源,单次请求最多 30 张。
语言方面,博文称完整支持英语,对阿拉伯语、中文、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语、西班牙语、泰语和越南语为部分支持。博文未说明部分支持的具体范围。
博文未公布Pegasus 1.5的基准测试结果、定价或与其他视频模型的对比数据,因此无法据此判断其在具体任务上的准确率或成本表现。