Runway：把視頻生成出來

吳洋洋

Runway創始人Cristóbal Valenzuela。

2023年4月，Twitter（現已改名為X）上出現了一個轟動性的廣告。配合富有動感韻律的背景音樂，一個中年男性聲音在向人們推銷名為“PepperoniHugSpot”的比薩店，賣點是芝士夠多，并且提供外賣服務。

整個廣告片長30秒，內容沒什么新奇的，引人點擊的是制作方法。名為PizzaLater的Twitter用戶創作了這個視頻，所用工具從腳本到鏡頭、從旁白聲音到音樂，全是AI：餐廳的名字和廣告腳本都來自于GPT-4，包括那句“（這家店的比薩）像家人一樣，但有更多芝士”；視頻中的靜止幀來自于Midjourney，它負責生成了“有1980年代比薩店外觀、畫面有顆粒感”的照片；接著，他打開了文生視頻工具Gen-2，讓它根據腳本生成了30多個視頻片段，Later選擇了其中最好的16個片段用于最終剪輯；他還使用了另一項AI服務ElevenLabs，將GPT-4編寫的腳本輸入到一系列預設的AI聲音中，修改音調直到滿意為止；最后，他用Adobe的剪輯工具AfterEffects把以上所有AI生成的東西組裝到一起，一部完全由AI創作的廣告片就完成了。

這部廣告片在品質上遠稱不上優秀，甚至有點怪異，畫面中顧客的下巴有時候會不受控地抽搐，還有顧客的嘴巴并不能真的把比薩吃進去，反而會因進食動作導致嘴巴本身變形。不過，數以萬計的人積極地想要觀看這部廣告，光是在Twitter上它就有35萬點擊，YouTube上的點擊則達到116萬，超過不少比薩品牌聘請大型廣告公司精心制作的作品。

整個廣告制作涉及文字生成、圖片生成、聲音生成和視頻生成，其中最難的是視頻。為上述廣告片生成視頻片段的AI工具Gen-2，來自于美國紐約的人工智能公司RunwayML（以下簡稱“Runway”）。

Runway公司的創立有點像好萊塢電影鼓吹的“美國夢”創業故事。

克里斯托瓦爾·瓦倫蘇埃拉（CristóbalValenzuela）在智利工作期間發現了美國新媒體藝術家金·高根（GeneKogan）關于神經風格遷移的工作成果，開始對神經網絡產生興趣，而后辭掉工作，于2016年去紐約大學學習交互通訊（InteractiveTelecommunicationsProgram，ITP）課程。也就是在學習ITP課程期間，他遇到了智利人亞歷杭德羅·馬塔馬拉-奧爾蒂斯（AlejandroMatamala-Ortiz）、希臘人安娜斯塔西婭·杰曼尼蒂斯（AnastasisGermanidis），與他們組成了創業團隊。

瓦倫蘇埃拉本身沒有技術背景，他本科學的是經濟和商業管理，而后又獲得了設計專業的碩士學位，曾經在智利圣地亞哥的阿道夫·伊瓦涅斯大學教授設計。

95a4fef22061de3419dbe919c3792a1d

相比之下，另兩位聯合創始人都在技術和產品領域有工作經驗。杰曼尼蒂斯曾經在衛斯理大學學習計算機科學，做過產品工程，還曾在IBM擔任計算機視覺研究員。奧爾蒂斯有產品設計和前端開發經驗，還在智利創立過牙醫在線預約平臺Deenty。

瓦倫蘇埃拉的創業項目來自于ITP項目的研究成果。在紐約大學學習期間，他花了兩年學習AI技術和知識，包括李飛飛的圖像數據庫ImageNET、卷積神經網絡AlexNET。他嘗試著把圖像分割、圖像理解、視頻理解等模型集成到Photoshop和Premiere中，幫助用戶加快圖像的風格化、著色或編輯工作，并將研究成果發在了Twitter上。很多藝術家和設計師都對呈現效果感興趣，也有人因為操作簡單而愿意嘗試。這些與瓦倫蘇埃拉相似的創意人士，就是Runway最早期的用戶群體。

而當他在紐約大學將Runway作為研究論文介紹時，現場的Adobe公司員工對他發出了工作邀請，這可以說是夢想中的工作：“我作為移民來到紐約兩年了，一家完美的、夢想中的公司，為你提供夢想的工作、簽證和完美的薪水—這就是夢想?！钡罱K拒絕了Adobe公司，而是希望親手把Runway從研究項目變成商業公司。

Runway創業初期進展迅速，瓦倫蘇埃拉著手創辦公司時，很多風險投資機構已經表示意向，他們在4周內就完成了早期融資。

不過，把研究項目轉變成創業公司的難度后續才開始顯現。

“2020年的A輪融資可以說是我們最艱難的一輪。”在英國播客節目《20VC》中，瓦倫蘇埃拉回憶公司的融資歷程時這樣說過。他向投資機構兜售“構建一個生成式AI公司”的想法，收獲的則是數百封拒信，當時投資者們對于生成式AI不感興趣。

在此之前，Runway實際上是個模型社區，同時托管了自研及獨立開發者創建的數十個模型，能完成創意人士的多元需求，有些模型看上去甚至有點奇怪。例如，有個開發者用韓國流行樂隊防彈少年團的歌詞訓練，開發了一個特殊版本的GPT-2文本生成器。

用戶名為Pizza Later的作者用Runway為一家比薩店生成了30秒廣告。

模型社區的概念可能過于超前。在模型沒有相當的數量、也沒有獲得終端用戶認可之前，模型社區這種平臺模式的吸引力并不大。2023年，阿里云、亞馬遜、百度才陸續推出大模型平臺，發布時間基本都是在自研大模型發布之后。

A輪融資改變了Runway的戰略方向，讓它從開源創意模型社區轉向了“下一代創意工具包”，對標對象也變成了圖像編輯公司Adobe。瓦倫蘇埃拉希望利用平臺上的模型和算法，在系統層面構建接口，幫助終端用戶提升效率，產品開發則聚焦在影視創作。在融資新聞中，A輪領投方AmplifyPartners表示，“我們相信這將產生與相機一樣深遠的影響?！碑敃r的報道提到了Runway著手開發的視頻編輯工具綠幕（GreenScreen），它能幫助創意人士清除畫面中不需要的素材。

這種轉向受到了影視工業的歡迎。2022年的大熱電影《瞬息全宇宙》的視覺效果團隊的視覺特效師埃文·哈勒克（EvanHalleck）找到瓦倫蘇埃拉尋找技術解決方案后，使用了包括GreenScreen在內的AI工具。在電影中兩顆石頭對話的場景中，《瞬息全宇宙》在片場使用滑軌移動兩顆石頭，后期再使用GreenScreen擦除滑軌。

今天，Runway官網提供的工具聚焦影視創作，包括視頻生成與編輯、圖像生成與編輯、3D捕捉與貼圖等。

2022年10月，在開源模型托管服務平臺HuggingFace上，文生圖公司StabilityAI（以下簡稱“Stability”）與Runway發生了爭吵，Stability指責Runway公司發布文生圖產品StableDiffusion1.5版本屬于泄漏公司知識產權的行為，要求Runway刪除已經發布的模型。在當時的公眾認知中，Stability公司是StableDiffusion的算法開發商，是當時新興的AIGC明星公司，Runway則是個陌生得多的名字。StableDiffusion是如今大部分文生圖模型的基礎算法。

瓦倫蘇埃拉的回應表明Runway才是StableDiffusion背后的主要開發者：2022年4月，Runway公司首席研究科學家帕特里克·埃瑟（PatrickEsser）與德國慕尼黑大學機器視覺與學習研究小組成員羅賓·羅姆巴赫（RobinRombach）（后加入Stability擔任研究團隊負責人）合作開發了文生圖工具StableDiffusion的首個版本LatentDiffusion，Runway公司持續參與了版本迭代。Stability則在研發后期提供了計算資源與資金，將研究項目轉變成了商業產品。

這起爭議事件讓創立于2018年的Runway獲得了更多曝光。2023年6月底，Runway完成了Google、英偉達、Salesforce等公司投資的1.41億美元C+輪融資。彭博社爆料稱，C+輪融資已經將這家初創公司的估值從5億美元推高到了15億美元。

也正是在與Stability發生矛盾之后，Runway的研究重心從圖像生成轉向視頻生成。

2023年2月，Runway發布第一代視頻生視頻模型Gen-1，1個月后，它又發布了二代模型Gen-2。兩代模型中，Gen-1允許用戶修改現有的視頻片段，比如將視頻轉換為從水彩畫到黏土化的任何內容，而Gen-2可以將文本提示轉換為簡短的、由AI生成的移動剪輯。此外，兩者最大的差別就是生成時長，Gen-1能生成15秒的視頻，Gen-2生成時長延長到了18秒。

時長是文生視頻模型的最大挑戰之一。拆解了看，視頻只是一系列幀（靜止圖像）以某種方式組合在一起，給人一種運動錯覺。然而，人眼經過訓練可以檢測出視頻幀中最細微的缺陷，因而模型生成視頻的結果需要足夠好，才能維持畫面的運動錯覺，而文生視頻模型的核心，就在于需要理解每幀之間的關系和一致性。

生成時長的競爭仍在持續中，短時間內，這項技術還無法取代拍攝，也無法撼動龐大的電影工業。不過，瓦倫蘇埃拉看中的是視頻生成的增長空間。2023年年初，他就堅信“2023年將是視頻年”。

這兩年，AI與視頻的結合也的確成為重要的細分市場。2022年9月，Facebook母公司Meta發布了視頻生成模型Make-A-Video，原理同樣是基于圖像生成。次月，Google接力推出了視頻生成模型ImagenVideo。但Meta和Google都沒有將模型推向市場。Google給出的理由是ImagenVideo可能由于訓練數據中有問題的內容而生成暴力或露骨的色情視頻。2023年1月，OpenAI創始人山姆·阿爾特曼（SamAltman）也披露了推出視頻模型的計劃，但沒有給出具體時間表。Adobe公司則在2023年3月推出了生成式AI引擎Firefly，并將它陸續加入旗下的音頻、圖像、視頻編輯工具中。

對于Runway而言，競爭對手不只是AI同行們，還有影視特效公司—它們已經自己下場開發視頻生成模型了。2023年6月上映的《奪寶奇兵5：命運轉盤》中，年輕版的印第安納·瓊斯實際上是通過工業光魔開發的技術實現的，而非由真人出演。工業光魔的視覺特效主管羅伯特·韋弗（RobertWeaver）表示，公司使用計算機匯集了哈里森·福特過去出演的印第安納·瓊斯系列電影，再通過開發的FaceSwap技術讓演員在電影中看起來年輕，并結合機器學習等技術實現影片片段。

當影視行業大公司愿意自研視頻生成技術，它們購買Runway產品的意愿就可能隨之降低，這對于專注于影視領域的Runway不是個好消息?！陡２妓埂?022年年底援引信源消息稱，Runway的年化收入徘徊在100萬美元左右，這對于昂貴的模型訓練和視頻生成是不夠的。