产品Runway News·原文 2026年9月29日

世界杂耍联合会用Runway补观众席、做字幕图形,一人完成ESPN转播包装

Jason Garfield在荷兰两天的比赛里,第一晚满座、第二晚侧机位拍到成排空座;他用Runway的Aleph 2.0往已有画面里加人,并从头生成排行榜、选手卡和舞台烟火,整套约一小时特别节目由他一人剪辑完成。

AI解读:杂耍比赛要上电视,观众席看起来满不满是硬指标。Jason Garfield的团队在荷兰办了两天比赛,第一晚坐满,第二晚开场早、观众还在入场,侧机位拍到成排空座。他要么放弃这些机位,要么把人补进去。

他选了补人。用Runway往已有素材里加观众,早先试Seedance能用但不稳定,换到Aleph 2.0后能在不改动画面其他部分的前提下加人。唯一失败的是一个极端广角,那个镜头回到After Effects处理。

这套工具不只补观众:开场动画、选手资料卡、排行榜、红绿比分板、舞台烟花都是生成的,而现场其实没有放烟花。对一个人包办全部后期的人来说,省下的是逐个镜头抠像和搭模板的时间。

真正卡住这类工具的是文字:名字拼错、分数显示不对,对体育转播就是不能用。Garfield说去年选手名字要调好几天,今年一次过,这也是他继续用下去的原因。

影响还在拍摄端:以后前排人少时他会改取景,而不是靠生成人撑场面;预算不够租摇臂时,可以用生成画面补上那种机位。今年成功的选手卡等素材也会成为明年的起点。

Jason Garfield于 2000 年创办世界杂耍联合会(WJF),目标是把杂耍送进奥运会;该组织自 2004 年起为ESPN制作比赛节目。节目需要多机位覆盖、动画排行榜、开场片头和看起来坐满的观众,这些工作过去几乎全部由Garfield在Final Cut Pro和After Effects中完成。

今年,Runway让他重建缺失的机位覆盖、制作整场节目的图形包装,并从一晚的真实素材出发重建出一个满座观众席。按来源说法,这类工作在以前需要rotoscoping和遮罩,甚至根本做不了。

WJF今年在荷兰举办两天比赛,第一晚满座,观众填满舞台的前、左、右三侧。第二天安排得更早,摄像机开始拍摄时很多人还在入场,因此当天的侧机位出现成排空座。

Garfield说,要么不用这些镜头、只剩一个角度可剪,要么把人放进座位里。他前一年测试过Runway但搁置了,因为当时的视频模型对文本的遵循程度不够;空座问题出现后,他重新回来,意识到可以用它在不改变画面其余部分的情况下往已有素材里加人。

成品特别节目约一小时,在Final Cut Pro中剪辑拼接,每段生成内容上限约 15 秒,Garfield一人完成整个转播包。补观众不只改变了剪辑方式,也改变了WJF下一场赛事的拍摄方式。

空座怎么补:先建接触表,再用Aleph 2.0加人

Garfield先为已经拍到的机位建立接触表(contact sheet),然后提示生成一段无人机式飞越帐篷的镜头,带出舞台和观众。他还输入了一名选手走上舞台的素材,让模型按剪辑需要的角度重建该选手的动作。

早期用Seedance的尝试可用但不稳定。来源称,改用Aleph 2.0后效果改善,因为它能把人物加到确切的源素材上,而不改动画面中的其他内容。

由于杂耍动作对转播的 30 帧/秒素材来说太快、会闪,他把片段以慢动作导出后再放进Runway,然后用Topaz重建被丢弃的帧。他的标准很简单:在观众看来,第二天要像第一天一样满。除一个极端广角外,每个镜头都达到了这个标准,那个广角镜头回到After Effects处理。

Garfield说,他们试验了很多不同的提示词,他会把某些区域涂白,让模型在那个人身后填上人群。

  • 第一晚满座,第二晚侧机位拍到成排空座
  • 早期Seedance可用但不稳定,Aleph 2.0可在不改动画面其余部分的前提下加人
  • 杂耍动作快于 30 帧/秒,先慢动作导出、后用Topaz补帧
  • 唯一未达标的是极端广角,回到After Effects完成

图形也生成:选手卡、排行榜、比分板和现场没有的烟花

观众处理只是Garfield过去在Final Cut Pro和After Effects中完成的后期工作的一部分:每场转播还需要开场动画、选手资料、排行榜和计分图形。

图形方面,他建立了一条由多步图像生成加一步视频生成组成的流程。他先为一名运动员生成资料卡,直到效果可用,再把它作为其他选手及其数据的参考。把三张卡合成一张静态图后,他配合一个摇臂推进的镜头,围绕它生成视频序列。

同样的“生成再合成”方法产出了节目片头、排行榜、区分红绿比分的复赛计分板,以及舞台周围的烟火效果——尽管活动现场并没有放烟花。排行榜方面,他直接输入裁判打印的计分表截图,而不是把分数重新录入After Effects模板。

他还为转播的标题安全边距做了Photoshop与Runway配合的变通方案。前一年要花好几天提示才能拼对的选手名字,今年第一次就成功了。

  • 流程为多步图像生成加一步视频生成
  • 输入裁判计分表截图生成排行榜,省去重录分数
  • 舞台烟花是生成的,现场没有烟花
  • 前一年选手名字需数天提示,今年首次成功

文本遵循是底线,也是明年的起点

Garfield说,Runway对文本的遵循程度比其他地方都好;如果一个工具不能让名字拼写正确,或者不能按提示中输入的方式呈现分数,那就是不可接受的。

谈到下一步,他计划从今年成功的生成内容出发制作明年的图形,包括选手卡,并继续用Runway做排行榜和计分图形——这是他目前剪辑中最耗时的部分。他还计划用Runway处理全屏划像和转场,这些目前仍在After Effects中制作。

当舞台附近观众稀少时,Garfield会改变取景,而不是依赖生成人物;当摇臂超出预算时,他可以生成摇臂本可提供的机位覆盖。

  • 名字拼写和分数呈现错误被视为不可接受
  • 明年图形将基于今年成功的生成内容,包括选手卡
  • 排行榜和计分图形是目前最耗时的剪辑环节
  • 全屏划像和转场计划从After Effects迁到Runway
  • 观众少时改取景;租不起摇臂时用生成画面补机位

信息来源

Runway News原始来源