人工智能技術在視頻編輯中的應用實踐

摘? 要：隨著互聯網技術以及傳媒業的發展，短視頻已成為了人們獲取新聞資訊的一種主要形態。近年來，自然語言、語音、圖像領域的人工智能技術不斷取得突破，使得人工智能技術在生產系統中的工程化應用成為可能。在視頻編輯中合理地運用人工智能技術，能有效地降低視頻編輯的難度和工作量，讓更多的人參與到短視頻制作中來，實現短視頻發稿量和質量的快速提升。新華AI視頻是人工智能技術在視頻編輯中的應用實踐，提供了字幕自動配音、視頻字幕提取、多語種字幕翻譯、虛擬主播、智能編目與檢索、圖片視頻化、文字視頻化等多種智能輔助編輯功能，有效地降低了視頻制作門檻，為新華社短視頻專線的快速發展起到積極作用。

關鍵詞：新媒體;人工智能;短視頻;視頻編輯? ? ? ? ? ? ? ? ? ? ? ? ? ? ?中圖分類號：TP393? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A

文章編號：1671-0134（2020）08-125-04? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?DOI：10.19483/j.cnki.11-4653/n.2020.08.034

本文著錄格式：譚樂娟.人工智能技術在視頻編輯中的應用實踐[J].中國傳媒科技，2020（8）：125-128.

隨著互聯網技術以及傳媒業的發展，短視頻具有播放時間短、傳播速度快等傳播特點，深度切合當前用戶碎片化的使用場景，已成為人們獲取新聞資訊的一種主要形態。根據網信辦第45次《中國互聯網絡發展狀況統計報告》，截至2020年3月，我國網絡視頻（含短視頻）用戶規模達8.50億，占網民整體的94.1%，其中短視頻用戶規模為7.33億，占網民整體的85.6。網絡視頻（含短視頻）已成為僅次于即時通信的第二大互聯網應用類型。[1]2019年，我國5G商用環境持續完善、標準技術取得新突破、應用孵化進入全面啟動期。[2]隨著5G時代到來，短視頻預計會迎來新一輪爆發，可以預見，短視頻會成為了下一輪各類媒體開展競爭的最重要領域。

專業視頻制作的學習高門檻、制作的復雜度和時間成本讓很多傳統文字及圖片編輯望而卻步，難以參與短視頻制作中去，限制了媒體通過短視頻作為報道手段的發展。近年來，人工智能關鍵技術日趨成熟，自然語言處理、語音圖像領域的人工智能技術不斷取得突破，使得人工智能技術在生產系統中的工程化應用成為可能。[3]如果能在視頻編輯中合理地運用人工智能技術，就能有效地降低視頻編輯的難度和工作量，讓更多的人參與到短視頻制作中來，實現短視頻發稿量的快速增長，文稿質量的不斷提升。

1.新華AI視頻編輯工具的設計

為了更好地整合內部編輯系統，新華AI視頻編輯工具設計為基于瀏覽器的輕量級智能化在線短視頻制作工具。設計的目標用戶為所有有短視頻制作需求的采編業務人員，特別是非專業視頻編輯。設計上需要兼顧以下功能：

1.1強大的視頻編輯能力

支持多軌道、幀精度的非線性視頻編輯，提供剪切、配音、字幕條、唱詞字幕、貼圖、轉場特效、幀動畫、摳像、模糊、數據圖等多種實用編輯功能。提供多種字幕條模板、轉場模板、特效模板、數據圖模板。高清橫屏16：9、標清橫屏4：3、手機豎屏9：16、twitter方屏1：1四種畫幅編輯模式靈活切換。支持一鍵添加預設的片頭片尾角標。支持多種分辨率輸出。所有素材拖曳上軌，所有編輯操作所見即所得，方便非專業人員使用。

1.2智能化能力

提供多種智能化輔助編輯功能，包括字幕自動配音、視頻字幕提取、多語種字幕翻譯、虛擬主播、智能編目與檢索、圖片視頻化、文字視頻化等。此外，還可以基于一篇文字稿或一組圖片稿自動生成視頻。

1.3資源整合

和內部的資源整合，支持和新華社內部稿件、素材中的視頻、音頻、圖片素材導入視頻編輯項目中再利用，提高了資源的利用率。

1.4與采編流程無縫對接

與新華社核心發稿系統無縫對接，支持成品視頻一鍵建稿，支持對稿件中的視頻進行編輯修改。實現了稿件編簽過程中的多人、異地共享編輯修改視頻。

2.人工智能技術的運用

相較于傳統的視頻編輯軟件，新華AI視頻編輯工具的一個最大的特色就是對人工智能技術的運用，大大簡化了視頻編輯的工作，對非專業視頻編輯人員來說易于操作。該工具靈活運用了自然語言處理、語音識別、語音合成、智能翻譯、虛擬主播合成、視頻內容識別等人工智能技術，提供了字幕自動配音、視頻字幕提取、多語種字幕翻譯、虛擬主播、智能編目與檢索、圖片視頻化、文字視頻化等多種智能編輯輔助功能。

2.1字幕自動配音

視頻編輯過程中經常需要對編排好的解說詞進行配音播報。一般是通過人工錄制的方式進行配音，配音后還需要對字幕的時間進行調整，讓字幕和配音的時間點對應上，工作量很大。而且非專業配音人員的配音，也存在發音不夠標準的問題。通過語音合成的智能服務，就能一鍵將字幕生成配音，并自動將字幕時間與配音進行同步。新華AI視頻支持中、英、西、法、俄、阿、葡、日、韓9個語種的字幕配音功能，提供多種男聲、女聲模板供選擇，并可對語速進行調節。

2.2視頻字幕提取

另一種需求是給視頻中的同期聲配上字幕，一般在會議發言、采訪訪談等場景中比較常見。傳統編輯需要逐句聽打同期聲上字幕，還需要對字幕的時間進行人工調整，也是一件很繁瑣的工作。在語音識別技術的支持下，可以實現一鍵識別視頻中的語音生成唱詞字幕，且字幕和語音自動匹配，只需要少許糾錯即可。目前，在環境和發音情況良好的情況下，中英文語音轉寫的準確率能達到98%以上，可用性較高。

2.3多語種字幕翻譯

在國際化發稿中，為了滿足各小語種專線的發稿需求，需要給同一個視頻配上不同語種的字幕和配音，通常需要先制作一個不帶字幕和配音的裸視頻，再找不同語種的專業人員翻譯后分別制作不同字幕和配音。通過智能翻譯服務，可以在一個項目中一鍵生成多種不同語種的字幕，只需要專業小語種編輯對智能翻譯后的結果進行人工審核和糾錯，再結合字幕的小語種配音功能，自動生成不同語種的配音，就能在一個項目里輸出多個不同語種版本。新華AI視頻支持中、英、西、法、俄、日、西、阿、葡、泰、藏11個語種的字幕互譯，支持同時合成多個語種的成品。操作非常簡單，沒有視頻制作經驗的小語種編輯也能很快上手制作，極大地節省了視頻國際化的工作量和時間。

2.4虛擬主播

除了字幕和配音，新聞主播也可以由人工智能自動生成。在需要添加新聞主播的場景下，只需要輸入主播的解說詞，就可以一鍵生成虛擬主播，主播口型與語音播報的內容完全匹配。主播可以選擇不同的形象和背景，還可以調整語速，生成后按需插入到視頻項目中即可。綠幕背景的主播可以進一步通過AI視頻編輯的摳像功能一鍵去掉背景，完美嵌入到視頻內容中。

2.5智能編目與檢索

在視頻制作過程中，素材的挑選也是一項很困難的工作。特別是視頻素材庫編目做得不夠細致的情況下，要在龐大的歷史素材中找到想要的片段，更是難上加難。傳統的人工編目工作費時費力，編目的標準也不是很適合做內容檢索。通過智能視頻內容識別技術，可以自動識別視頻素材中的關鍵要素，包括人臉識別、文字OCR識別、語音識別、物體/場景識別，從而實現片段級的內容檢索，快速找到所需要的片段加入項目，節省大量的時間。

2.6圖片視頻化

針對攝影部圖片視頻化的需求，使用AI視頻編輯可以快速將稿庫的一組圖片稿轉換成視頻項目，并自動添加轉場特效、字幕說明、配樂/配音，用戶只需要對自動生成的項目進行微調后就可以完成視頻制作。

攝影部圖片稿通常使用組圖的方式，一組圖片稿講述同一個事件，通常有十幾二十多張，圖片之間的關聯度很高，并配有圖片總說明和分說明，很適合做成一個短視頻。除了組圖，盤點型的新聞，例如一周看天下，也很適合制作短視頻。在稿庫批量選取圖片后，再選擇圖片時長、轉場特效、背景音樂，就能一鍵生成一個視頻項目。再根據具體的音樂節拍和時長對圖片時長進行調節，根據畫面內容對圖片進行適度的縮放、位移、背景模糊，對字幕內容進行修改，使之適合視頻顯示，加上包裝，就完成了短視頻的制作。

下一步，還可以針對具體的節目要求，將圖片視頻化的效果和細節模板化，一個模板生產一檔節目，結合音樂的自動分析，優化素材的拼接效果，提高自動化項目的成片度，進一步節省用戶工作量。

2.7文字視頻化

AI視頻編輯還將文字稿當做文字腳本創作視頻。選擇一篇文字稿后，對文字進行自然語言處理提取關鍵詞，在資源庫檢索視頻、圖片素材后挑選匹配度最高的素材自動上軌，生成視頻項目，并自動將文字腳本生成字幕和配音。

關鍵詞提取和片段檢索的準確度是合成效果好壞的關鍵。通常一個素材如果很長，內容也會比較復雜，特別是成品素材，通常由多個新聞組成，還包括片頭片尾等要素，在使用時需要精準定位到具體的片段進行切割。在一篇文章關鍵詞提取后，還需要留意它的時效性，比如兩會、奧運會這種周期性的報道需要明確年份。還有關鍵詞之間的邏輯關系，同一事件的不同階段或者不同角度，報道的內容也是有區別的，例如港珠澳大橋通車，報道的是工程建設的情況還是車流通行情況，選取的素材也是不一樣的。對于比較長的多個段落的文章，可能每個段落講述的內容有所區別，為了更好的效果，還可以分段進行關鍵詞提取和素材篩選。

為了提高項目的成片度，我們在自動篩選素材的基礎上增加了人工二次篩選，可以人工修改檢索的關鍵詞并設置更多的檢索條件，刪除不合適的素材或增加新的素材，讓選中的素材更符合腳本上下文。

3.AI視頻編輯技術實現

新華AI視頻編輯工具采用B/S架構，系統由前端發布層、后端業務層、底層服務層、數據存儲層四層構成。

前端發布層包括web頁面和流媒體播放服務。web頁面使用最新的HTML5 canvas和webgl技術實現，無須安裝任何額外軟件或插件，全程在瀏覽器上訪問操作，所有編輯操作所見即所得，Windows 操作系統和 Mac OSX 操作系統均可使用。流媒體服務基于nginx構建，負責視音頻、圖片等文件的預覽和下載。

后端業務層負責進行編輯的業務邏輯處理和數據管理，提供包括項目管理、素材檢索、剪輯操作、成品發布、素材管理、成品管理、模板管理、用戶管理等功能。后端業務層也是前端和底層的橋梁，前端的用戶編輯操作，通過業務層轉換成底層渲染可以識別的指令。底層渲染的進度和狀態，也通過業務層實時通知前端頁面。

底層服務層包括渲染服務和智能服務兩部分。渲染服務負責進行素材的預處理和成品的渲染合成。智能服務負責所有的人工智能處理，包括自然語言處理、全文檢索、語音識別、語音合成、智能翻譯、虛擬主播等。

數據存儲層使用NAS存儲用戶素材、系統素材、編輯過程文件和成品文件，使用mysql存儲業務數據。

AI視頻編輯還提供開放API接口，供第三方系統調用。除了用戶直接創建視頻項目進行編輯以外，也支持對稿件中的視頻進行編輯，或者由智能分析服務自動創建項目。項目創建后，需要導入素材，包括本地上傳的素材和資源庫里的素材。素材導入后，要先通過渲染服務初始化成適合前端預覽的一系列小碼流文件，包括預覽用的低碼視頻、縮略圖、序列圖、音頻、波形數據等。編輯時用戶預覽的是小碼流文件，以及通過canvas繪制的特效。編輯過程中，所有的項目數據將實時轉換成一個json結構傳遞給后臺。項目編輯完合成時，由渲染服務對json數據進行解析并轉換成具體的ffmpeg命令進行渲染合成，最終生成成品。合成使用的素材為用戶上傳的原始數據，保證成品的質量。

結語

新華AI視頻編輯工具上線以后，截至2020年5月16日，訪問用戶數達1587人，視頻生成數量達23397個。

新華AI視頻編輯工具作為一種新形態、輕量級、智能化、簡單易用的在線視頻編輯工具，是傳統視頻編輯軟件的一種補充。人工智能技術的運用降低了視頻制作的門檻，提高了資源的利用率，讓傳統的文字、圖片編輯也能快速參與到短視頻制作中來，提高了短視頻生產的效率和數量，為新華社短視頻專線的快速發展起到積極作用。

參考文獻

[1]第45次《中國互聯網絡發展狀況統計報告》[R].網信辦，2020：53-55.

[2]第45次《中國互聯網絡發展狀況統計報告》[R].網信辦，2020：81-82.

[3]第45次《中國互聯網絡發展狀況統計報告》[R].網信辦，2020：82-83.

作者簡介：譚樂娟（1987-），女，湖南省瀏陽市，工程師。