AI機器人搖臂在全媒體交互式演播室的應用

何金道

（浙江省廣播電視工程公司，浙江 杭州 310015）

0 引 言

當前，隨著媒體融合向縱深發展，傳統電視演播室已向全媒體多景區交互式高清演播室演進。全媒體演播室節目的畫面拍攝，除了傳統電視節目制作中常見的坐播、站播、走播以及訪談等主持人播報形態之外，還需要能實現新媒體傳播需求催生的豎屏點評、外景連線、虛實結合、交互與沉浸等多種形式的融媒體節目制作[1]。因此，攝像機機位大都是多機位的三維運動狀態與靜態結合的拍攝。通常情況下，大型搖臂和可伸縮搖臂需要雙人操作才能完成，為了拍攝出符合藝術審美要求的畫面，既要求攝像師具有較高的攝像機操控技術以完成高質量的連續畫面拍攝，又要求搖臂操作者能嫻熟掌握搖臂操作技能，以確保搖臂在演播室這一特殊的封閉環境內運動時平滑、順暢無遲滯，并確保不與燈光、顯示屏、主播桌等設備設施發生碰撞，以保證拍攝安全。

為此，麗水市廣播電視總臺（以下簡稱麗水臺）對原建于2008年的兩個140 m2新聞演播室和兩個100 m2虛擬演播室進行全媒體交互式高清演播室群技術改造時，在140 m2演播室引入了人工智能（Artificial Intelligence，AI）機器人搖臂攝像系統，以AI識別技術賦能自動化機器人搖臂的解決方案，代替傳統的攝像師人工拍攝。

1 系統拍攝模式

AI機器人搖臂系統可按預設運動軌跡動作，可以對走動的主持人進行自動、實時追蹤，還可以對空間中靜止的物體如播報臺、屏幕以及虛擬畫面物體進行定點跟蹤，以完成節目需要的畫面錄制。

與傳統的手搖電控搖臂相比，AI機器人搖臂在減少人力投入的同時使演播室拍攝動態畫面的智能化水平得到大幅提升，并降低了操作上的難度和人為因素帶來的不穩定性，使節目的錄制效率和質量得到大幅提升。考慮到演播室多景區、多功能的拍攝要求，不僅要求攝像搖臂在制作節目時要便捷地實現自動化和無人化，還要兼顧安全性和穩定性。經過多方面的對比，麗水臺140 m2全媒體演播室最終選擇了一款承托重量為25 kg的中小型AI機器人搖臂。實物如圖1所示。

圖1 AI機器人搖臂實物圖

該機器人搖臂可在錄制現場無人的情況下，遠程對節目進行精準穩定的錄制，并提供精確穩定的跟蹤數據用于VR/AR/XR等虛擬場景，可廣泛用于新聞、訪談、會議、時事等類型節目。機器人搖臂配備觸屏及物理按鍵組合式工控，可遠程對臂身、云臺、鏡頭、速度進行控制及預設軌跡，而且各種操作均使用物理按鍵，反饋直接；可設置8檔節目，各節目設20個機位存儲點，把臂身、云臺及鏡頭的位置存在相應的存儲點后，對多點軌跡可形成單點運動、單次連續運動及循環連續曲線運動三種搖移模式。操縱桿頂鍵的極低速微調功能，方便在存儲軌跡時對畫面進行精準卡邊。搖臂支持遠程遙控拍攝模式、程序化自動拍攝模式以及傳統手動搖臂拍攝等三種模式。

1.1 遠程遙控拍攝模式

通過手搖左右搖桿遠程控制臂身和云臺的水平、俯仰及鏡頭的運動。在任意時間切換為手動模式時，只需撥動切換按鈕，即可切換至手動狀態。遠程遙控模式可以根據節目臨時安排，提供不同角度的攝像效果，展現不同的節目主題。

1.2 程序自動拍攝模式

可通過操作面板進行簡單編程，根據節目需要預設和存儲拍攝位置使設備進入程序化的自動拍攝過程。搖臂可在程序化運動控制下進行自動搖移、鏡頭變焦聚焦及固定軌跡的精準重復，實現演播室錄制的無人化。在多點運動過程中，可選擇連續搖移多軌跡單次運動或連續不間斷的軌跡運動，可實時向導播提供所需要的畫面素材。程序自動拍攝模式既可以節約人力，降低攝像人員的重復勞動，又可以使畫面更加順暢、更具動感。

1.3 傳統手動搖臂拍攝模式

系統配置了手動操控系統，提供了控制手柄、觸屏電控盒以及安裝在搖臂尾端的雙監視器。使用傳統手動拍攝模式時，打開臂身水平及俯仰鎖止結構，攝像師即可通過手柄對云臺、鏡頭進行控制，通過搖移操作拍出自己風格的運動軌跡。這套操控系統還附帶幾個智能拍攝功能，可降低攝像師的操作要求，讓初學者也能搖出炫酷的畫面。

2 關鍵技術應用

為了使機器人搖臂能滿足全媒體演播室的拍攝需求，系統引入了最為關健的AI追蹤技術，通過該技術與搖臂的自動化動態畫面錄制技術相結合，實現了AI機器人搖臂的各項功能。

2.1 AI追蹤

機器人搖臂在云臺處EFP攝像機下方安裝了智能攝像頭及算法系統的一體模塊。該攝像頭可以獲取目標人體的肢體特征，并識別目標人物在空間中的相對角度和位置坐標。當人體在離鏡頭較遠位置時，系統開啟人體外形特征識別并鎖定，確保人體的肢體都涵蓋在運動畫面的中間位置，有效規避了基于紅外射線識別技術的信號中斷問題以及一定距離時無法有效進行人臉識別的問題。其原理如圖2所示。

圖2 人體特征識別模式

當目標人物靠近攝像頭時，系統即轉為人臉位置識別模式，追蹤的攝像機鏡頭立刻對主持人的面部進行跟蹤拍攝。該識別系統可使搖臂機器人精準識別目標人物，應用于多人物場景拍攝。目標主持人在做轉身、側身、下蹲等動作時，搖臂機器人也可進行平滑流暢的追蹤。

該功能應用在主持人播報錄制過程中時，主持人可任意行走、轉體。上述AI技術將使主持人在進行新聞類播報時不受腳本的嚴格限制[2]。這不僅提升了主持人發揮的空間和節目創作的自由度，還降低了對攝像師技能的高要求，播報效率也大幅提高。

2.2 自動化動態畫面錄制

2.2.1 搖臂編碼器

編碼器是將數據進行編制，轉換為可通信、傳輸和存儲的信號形式的設備。機器人搖臂內置多種高精度編碼器以獲取對系統的控制數據、位置數據，通過匯編形成多種用于拍攝虛擬跟蹤畫面的數據。它既可檢測角度位移，又可在機械轉換裝置的幫助下檢測直線位移。多圈光電編碼器可以檢測相當長量程的直線位移[3]。

通過將搖臂機器人臂身和云臺的水平、俯仰數據與攝像機鏡頭傳感器的數據整合并與同步信號鎖定，可以實時發送搖臂各運動軸數據。利用這些運動軸數據，結合搖臂機器人本身所確定的物理參數，可以通過函數關系精確測算所拍攝物體位于空間中的相對位置，通過對云臺進行實時的角度控制就可以獲取所需的畫面構圖。與此同時，通過程序軟件算法與此類數據的整合，以標準數據接口協議傳送給虛擬圖像服務器，可以最終實現虛擬畫面與攝像機空間位置及鏡頭狀態的完美結合。

2.2.2 空間定位跟蹤

以搖臂臂身水平旋轉軸和俯仰旋轉軸的交點OXYZ建立空間直角坐標系，臂身長度a和云臺吊臂長度b為已知量。系統輸入臂身的水平、俯仰角和云臺的水平、俯仰角4個變量，可輸出攝像機位置坐標x，y，z，攝像機旋轉角度pancamera、tiltcamera和rollcamera等6個結果。以兩軸旋轉云臺為例，攝像機翻滾數值rollcamera=0；攝像機水平角度為臂身水平和云臺水平的累加，pancamera=panarm+panhead。云臺可以保持垂直地面狀態，與臂身的俯仰角度無關，所以云臺俯仰角度為tiltcamera=tilthead。搖臂坐標系統如圖3所示。

圖3 搖臂坐標系統

以四元數進行計算，以Oa為原點建立坐標系，Ob點坐標為（0，0，-b），將Ob點擴充至四元數，即pob=0+0×i+0×j+(-b)×k。搖臂做俯仰運動時，云臺可以實時保持垂直與地面，即圖中角α=tiltarm，攝像機以（1，0，0）為旋轉軸轉動α，以四元數形式 表 示 為qoa=cos(α/2)+i(1×sinα/2)+j(0×sinα/2)+k(0×sinα/2)，則旋轉后的攝像機坐標四元數為pcamera=qoa×qob×qoa-1，即可求得攝像機相對于坐標原點Oxyz的位置和角度關系，如圖4所示。

圖4 臂身空間定位跟蹤視角

3 安全性設計

考慮到AI機器人搖臂需要在封閉的演播室內進行大幅度的三維運動這一特殊應用場景，演播室內專業燈光、LED顯示屏、播音臺、多機位攝像機等密布，節目制作的首要任務是確保搖臂自動拍攝時的運動安全，不能與室內其他物體和主持人等發生哪怕是輕微的碰撞。因此，機器人搖臂在多個環節進行了針對性的安全設計。

首先，系統可以在手動和自動模式間進行實時切換。該設計確保系統既可以在預設軌跡模式下穩定運行，又可以在制作安全性要求特別高的特殊節目時，直接打開臂身鎖，從自動模式切換到傳統搖臂的手動拍攝模式[4]。其次，為了避免搖臂在自動拍攝時碰撞到其他物體，系統可以根據所處演播室的具體環境，在臂身和云臺所有旋轉軸位提前預設限位角度，以確保所有預設軌跡均在安全空間范圍內。此外，搖臂系統還內置了力矩感應檢測裝置，確保搖臂一旦在運動中發生外力影響即可實時檢測到異常，在最短時間內停止搖臂運動，確保不發生意外事故[5]。

為了達到上述設計目的，在硬件方面，系統以高精度編碼器定位配合精密減速機的應用，確保定位精度達到1 mm以內。在軟件方面，采用S型曲線進行加速和減速軟件控制，相對于梯形加減速而言，可以獲得更好的控制性能，從而確保搖臂運動的安全可控。

4 遇到的問題和解決辦法

在與虛擬引擎對接的過程中，搖臂執行預設軌跡拍攝時出現畫面卡頓現象，初步判斷是虛擬植入引擎的刷新率的問題。經反復驗證，卻發現沒進虛擬引擎的畫面就有卡頓的問題，因此推測是搖臂系統本身的問題。首先檢查電源相序、同步信號，均為正常；再執行臂身和云臺軌跡，同樣正常；但執行軌跡有鏡頭變焦時就會出現卡頓的現象，而且換鏡頭無效。于是定位故障應該在鏡頭和搖臂之間的通信。將問題反饋給廠家，廠家通過復現故障后分析得出是鏡頭內編碼器數據傳輸受外界干擾所致。考慮到全媒體演播室內各種電子、電氣設備品種和數量繁多，可能存在未知信號干擾源，于是在鏡頭和搖臂傳輸鏈路增強屏蔽。后經多次測試，卡頓現象均未再現，順利解決了問題。

5 結 語

演播室AI機器人搖臂拍攝簡化了傳統拍攝流程，減少了人、財、物的投入并提高了工作效率，還能增強電視畫面的藝術美感，為觀眾帶來視覺沖擊和視覺享受，成為媒體融合發展背景下頗受歡迎的攝像機承托解決方案。當前，AI搖臂拍攝依舊存在智能程度不夠高等局限性，但隨著科技的發展，AI機器人搖臂拍攝技術一定會得到進一步發展，從而更好地助力電視媒體的融合發展。