基于運動估計的無人機視頻與遙測同步方法

，， ，

(1.國家海洋技術中心，天津 300112； 2.天津航天中為數據系統科技有限公司，天津 300301)

基于運動估計的無人機視頻與遙測同步方法

趙恩偉2，王厚軍1，韓蓉2，丁寧1

(1.國家海洋技術中心，天津300112； 2.天津航天中為數據系統科技有限公司，天津300301)

針對無人機遙測數據和視頻由于通訊延遲、鏈路不穩等因素，視頻和遙測數據無法一一對應起來，需要對其進行同步處理的技術需求，提出了基于運動估計的視頻與遙測同步方法;對于無人機飛行獲取的遙測數據進行載荷和無人機的數據解析，計算載荷和無人機的運動編碼，再根據無人機運動規律將無人機和載荷的運動編碼映射到視頻的運動編碼;對于視頻進行基于灰度投影的運動估計得到運動編碼，然后基于遙測計算和視頻運動估計得到的兩種運動編碼進行匹配，進而根據匹配結果，對遙測數據進行插值處理，實現遙測與視頻的同步;通過灰度投影的方法進行運動估計以完成視頻的運動編碼，大大提高了視頻運動估計的效率和速度，最終實現視頻與遙測的同步;實現對遙測數據的高精度匹配和插值，提高同步的精度。

無人機；運動估計；視頻；遙測；離線同步

0 引言

無人機具有機動、靈活、生存力強、使用方便等特點，在多種行業的應用越來越廣泛。在無人機飛行過程中，視頻圖像數據與遙測數據是分別記錄和存儲的(視頻圖像數據是無人機載荷產生與存儲，遙測數據是飛控系統產生與存儲)，并在飛行結束后生成視頻和遙測文件。隨著無人機應用的推廣，對無人機數據的分析以及進一步的深化和細化，需要對無人機遙測數據和視頻進行同步處理，由于通訊延遲、鏈路不穩等因素，視頻和遙測數據無法準確對應起來，需要人工根據無人機位置所在的區域的地貌或景物情況和視頻內容進行對比與同步，費時費力，且同步結果也不夠理想，同步的效果完全憑人工主觀判斷為依據，可靠性和可重復性不高。為了滿足后續視頻數據處理，如視頻拼接，視頻中目標物定位等，需要降低人工操作的復雜，并提高視頻與遙測的同步準確性和可靠性。

為解決視頻和遙測數據的自動同步的準確性、可靠度以及效率問題，現有的一種做法是采用人工方式根據無人機位置和視頻內容進行對比與同步，這種方式不僅費時費力，而且由于人工處理的局限性導致同步結果也不理想。另一種做法是利用SIFT或光流法等圖像匹配方法對相鄰的視頻幀進行圖像匹配，根據匹配結果來計算相鄰幀的相對位置關系，從而得到視頻的相對運動情況，再根據視頻的相對運動情況與遙測定位技術結合，實現視頻與遙測的同步，但在視頻相鄰幀匹配過程中，由于圖像匹配算法的計算量大、效率低，消耗的計算資源與時間過多，無法有效地應用在實際的視頻處理中。

視頻編碼的關鍵技術之一就是基于塊的運動估計[1-4]，它能夠去除圖像幀之間的冗余。將相鄰視頻圖像幀分成若干塊，找出每個塊在相鄰圖像幀的位置，得出的圖像幀間的相對偏移量即是運動矢量，得到運動矢量的過程稱為運動估計。灰度投影算法能夠充分利用視頻圖像序列灰度變化的特點，對圖像序列的行列灰度投影曲線作一次相關運算，就可以準確地獲取圖像運動矢量[5-7]。

綜上，目前亟需一種更為有效的遙測數據和視頻圖像數據的離線同步方法，在實現遙測數據與視頻圖像數據的離線同步的基礎上，提高數據同步的效率和準確性。

1 視頻與遙測同步算法實現

算法主要可以分為如下3個階段:

1)基于無人機遙測協議對遙測數據進行解析獲得無人機的經度，維度，高度，橫滾，俯仰，偏航等實時數據再計算出相對運動幅度和方向并根據無人機及載荷的運動規律計算遙測信息的運動編碼。

2)基于灰度投影算法來估算視頻幀間相對運動的幅度和方向再根據無人機以及載荷的運動特性計算視頻運動編碼，根據載荷和無人機本身運動特性按照時間維度對載荷和視頻相對運動數據進行分類，從而獲取遙測和視頻的運動編碼。

3)對視頻和遙測的運動編碼進行數據歸一化預處理，并根據運動編碼的分布特征對運動編碼進行匹配。

4)根據匹配結果對遙測數據進行插值處理。通過匹配和插值處理后，可得到與視頻圖像數據中的圖像幀對應的遙測數據。

基于運動估計的視頻與遙測離線同步方法的整體流程如圖1所示。

圖1 視頻與遙測同步流程圖

采用灰度投影法進行視頻運動估計，大大提高了運動估計的效率，進而從整體上提高了數據同步的效率。下面將分別就遙測數據分析算法，視頻數據分析算法，運動數據預處理和匹配算法以及遙測數據插值算法進行討論。

1.1 無人機及載荷運動與視頻運動的關系

在一般作業活動中拍攝視頻中的運動現象是由于無人機以及載荷的復合運動造成的。下面將分析造成無人機拍攝視頻的運動特點以及原因，從而建立起無人機以及載荷運動與視頻運動的映射關系，從而能將遙測數據與視頻數據關聯起來。

無人機本身的運動對視頻造成的影響可以分為五類：平緩飛行、轉彎、機身震動、起飛以及降落。對于視頻的影響如下所示。

1)無人機的平緩飛行運動一般會造成視頻出現小幅度的向著固定方向的持續移動；

2)無人機轉彎運動由于機身姿態的劇烈變化會造成視頻出現大幅度的向著固定方向的持續移動；

3)機身震動則會造成視頻出現小幅度的無規則的振蕩運動；

4)無人機起飛或降落會造成視頻的大幅度無規則振蕩運動。

載荷的運動主要是由載荷操作人員的控制決定，操作人員的控制一般都會造成載荷視角的大范圍的移動，反映在視頻上就會造成大幅度向著固定方向的持續的移動，特別的若操作人員改變載荷的焦距則一般只是視頻范圍的放大或縮小并不會造成視頻的運動。

按照上面分析的視頻運動規律可以將在一段時間內無人機視頻的運動分為大幅單向運動、小幅單向運動、大幅震蕩運動以及小幅震蕩運動這4種類型，運動類型和無人機及載荷運動情況如表1所示。

表1 視頻運動類型與無人機及載荷運動的關系

根據上面分析可得到的無人機及載荷的運動與視頻運動的映射關系。

1.2 遙測數據分析算法

本節講著重討論遙測數據分析算法，通過遙測數據分析的主要過程是將遙測數據解析并轉換為無人機及載荷的運動編碼，再根據無人機及載荷的運動而映射為視頻運動編碼分布。

遙測數據分析算法主要流程如圖2所示。

圖2 遙測數據分析流程圖

算法主要步驟如下所示：

1)解析無人機實時狀態參數。

根據無人機遙測協議對遙測數據進行解析，得到經度、緯度、高度、俯仰、橫滾、偏航等無人機狀態參數；

2)解析載荷實時狀態參數。

根據載荷遙測協議對載荷的遙測數據進行解析，得到載荷的姿態以及焦距等狀態參數；

3)對無人機及載荷的狀態參數計算無人機及載荷的運動參數。

根據解析得到的無人機狀態參數、載荷狀態參數，根據遙測數據以時間為軸進無人機以及載荷的運動模式編碼，即將按照時間維度將無人機的運動劃分為上升U、下降D、轉彎R、一般飛行F以及載荷運動L階段。劃分依據如下所示：

a)若無人機的高度參數在一段時間內連續的增大則被判定為上升階段U；

b)若無人機的高度參數在一段時間內連續的降低則被判定為下降階段D；

c)若無人機的位置(經度和緯度)在一段時間內連續的平緩的變化則判定為飛行階段F；

d)若無人機的姿態(橫滾，俯仰，偏航等參數)在一定時間內劇烈變化則判定為轉彎R階段；

e)若載荷的姿態數據在一定時間內持續變化則被判定為載荷運動階段L；

f)各階段的優先級順序為上升U=下降D>載荷運動L>轉彎R>飛行F。

無人機運動分布圖如圖3所示。

圖3 無人機運動編碼分布圖

4)將無人機及載荷的運動參數轉換為視頻運動編碼。

根據表1所示的無人機及載荷運動以及視頻運動的關系，將無人機及載荷運動轉換為視頻運動模式，即大幅單向運動BS，小幅單向運動SS，大幅震蕩運動BV以及小幅震蕩SV運動。映射后的視頻運動分布如圖4所示。

圖4 視頻運動編碼分布圖

1.3 視頻圖像數據分析算法

通過視頻圖像數據分析算法對視頻圖像數據進行處理，流程如圖5所示。

圖5 視頻數據分析流程圖

采用如下式所示灰度投影算法計算視頻圖像相鄰幀之間的相互運動[5]：

式中,Gk(j)，Gk(i)分別為第k幀圖像中第j列和第i行的灰度投影值；Gk(i,j)為(i,j)位置處像素灰度值。

灰度投影算法主要思路是將第k幀圖像的行、列灰度投影曲線做互相關運算，根據兩條相關曲線的波谷值即可確定當前幀圖像相對參考幀圖像的行、列位移矢量。再根據行列位移矢量就可以計算相鄰兩幀運動的大小和方向。

利用灰度投算法對整個視頻序列進行視頻運動幅度和方向的計算。根據視頻相鄰幀之間的相對運動情況對視頻序列進行劃分，即對一組連續的視頻幀進行運動模式的分類，分為大幅單向運動BS，小幅單向運動SS，大幅震蕩運動BV以及小幅震蕩SV運動。從而得到基于運動估計的視頻運動編碼。

1.4 視頻與遙測同步算法

視頻與遙測同步算法主要步驟如下：

1)為了解決視頻幀數和遙測幀數相差較大的問題，需要將視頻和遙測數據的運動編碼進行歸一化處理。具體實現為對運動編碼的縱坐標數值進行歸一化，并再將橫坐標數據歸一化到0至1000內；

2)通過對視頻運動編碼進行拉伸和平移，再計算與遙測運動編碼的符合程度來實現視頻運動編碼和遙測運動編碼的匹配從而實現視頻和遙測的同步；規定視頻運動編碼為f(x)，遙測運動編碼為g(x)，f(x)的拉伸和平移可以變現為f(ax+b)，a表示拉伸，b表示平移距離，即同視頻和遙測編碼匹配的過程可以理解為對能量函數E=∑(f(ax+b)*g(x))的優化過程，即找到合適的a和b使E最大；

3)通過梯度下降最大法來搜索E最大時對應的a和b為視頻和遙測的匹配結果。

4)根據匹配結果，采用二項式擬合公式對遙測運動編碼進行插值，即可得到與視頻同步的遙測數據。

算法流程圖如圖6所示。

圖6 視頻與遙測同步流程圖

2 實驗與分析

針對本文提出的基于運動估計的視頻與遙測同步方法，采用如下數據進行驗證，采用無人機MD4-1000在三亞鳳凰島進行飛行驗證，對無人機采集的視頻與遙測數據進行同步處理，通過對比人工和算法處理結果來驗證算法的有效性。

圖7 三亞鳳凰島視頻與遙測數據同步結果

無人機采集的視頻總長度12分28秒，實際飛行長度12分27秒。

視頻數據是無人機載荷產生，但是由于通訊延遲、鏈路不穩等因素，信息本身在一定程度上是粗糙模糊的，所以處理起來難度很大。只能通過初步觀察確定：在無人機起飛和降落時，視頻隨之出現連續的高強度的無規律運動；而在飛機姿態存在較大的波動時，視頻也都對應著較大的相對運動。表2即為三亞鳳凰島視頻變化記錄。

根據人工觀察的視頻變化情況對比根據載荷與無人機協議解析的載荷及無人機位置姿態數據變化情況，視頻與無人機及載荷的運動關系是符合1.1節中描述的情況的。

基于遙測和視頻數據分析得到的運動編碼數據，如圖7(a)為基于視頻數據得到的視頻運動編碼，如圖7(b)基于遙測數據得到的遙測運動編碼。根據視頻與遙測運動編碼，通過1.4中的同步方法，計算出視頻與遙測匹配成功的點位，點位在圖7中如a1與b1， a2與b2，最終基于匹配結果對遙測運動編碼進行二項式擬合插值，完成了視頻與遙測的同步。

根據飛機飛行高度來限定平移的范圍，獲取在飛機平穩飛行階段的數據，從而縮小計算范圍，提高計算效率。

3 結論

本文提出了一種基于運動估計編碼的無人機視頻與遙測離線同步技術，該技術具有如下優勢：

1)本文利用無人機與載荷運動與視頻的運動關系，將遙測數據所反映的無人機運動變化情況映射為視頻的運動變化情況，實現了了視頻與遙測的自動化匹配。

2)利用灰度投影算法大大提高了視頻運動估計的效率和速度；

3)實現對遙測數據的高精度匹配和插值，提高了同步的精度。

本文完成了離線視頻與遙測的同步處理，目前僅在實驗環境中驗證了方法，具體深入應用還需要進一步探索。

綜上所述，本文采用的方法在無人機遙測數據和視頻離線同步處理的領域將會得到更加廣泛的應用。

表2 三亞鳳凰島視頻變化記錄

[1] 沈 秋,李小凡,孔繁鏘,等. 于仿射模型的無人機視頻實時壓縮算法[J].電子與信息學報,2014,36(12):2355-2360.

[2] 譚 熊,余旭初,劉景正,等. 基于無人機視頻的運動目標快速跟蹤[J].測繪通報,2011(9):32-34.

[3] 吳曉軍,白世軍,盧文濤. 基于H.264視頻編碼的運動估計算法優化[J].電子學報,2009,37(11):2541-2545.

[4] 吳銀花,金龍旭,張 寧,等. 針對H.264改進的快速整像素運動估計算法[J].光學精密工程,2013,21(4):1017-1024.

[5] 任 航,張 濤. 基于灰度投影法運動估計的成像CCD平移補償法[J].應用光學,2009,30(3):417-421.

[6] 楊光宇,朱 丹,佟新鑫,等.基于灰度投影法的電子穩像平臺設計與實現[J]. 電視技術,2011,35(19):115-118.

[7] 吳 浩,鄧宏彬.一種基于分塊灰度投影運動估計的視頻穩像方法[J]. 兵工學報,2013,34(4):406-411.

SynchronizationMethodofUAVVideoandTelemetryBasedonMotionEstimation

Zhao Enwei2，Wang Houjun1，Han Rong2，Ding Ning1

(1.National Ocean Technology Center, Tianjin 300112, China; 2.Tianjin Zhong Wei Aerospace Data System Technology Co.,Ltd., Tianjin 300301, China)

Aiming at the technical requirement of UAV telemetry data and video synchronization, video and telemetry data can not be matched one by one because of communication delay and link instability. The video and telemetry synchronization method based on motion estimation is proposed. For UAV flight for telemetry data and video data, respectively for motion estimation, get the exercise based on remote sensing data coding and based on video data movement, and then based on the analysis of motion coding matching, and then according to the result of the match, the telemetry data interpolation processing, to realize the synchronization of telemetry and video. By matching the overall motion pattern, the video and the telemetry are synchronized according to the motion pattern even if the content of UAV telemetry or the load telemetry protocol is unknown. The motion estimation of the video is completed by the gray projection method, which greatly improves the efficiency and speed of the video motion estimation, and finally synchronizes the video and telemetry.The method realized high accuracy matching and interpolation of the telemetry data, improved the accuracy of synchronization.

unmanned aerial vehicle (UAV); motion estimation; video; telemetry; offline synchronization

2017-03-13；

2017-05-15。

海洋公益性行業科研專項經費項目(201405028)。

趙恩偉(1986-)，男，天津市人，碩士研究生，工程師，主要從事圖像處理，模式識別、軟件工程方向的研究。

丁 寧(1984-)，女，碩士研究生，工程師，主要從事海洋開發管理及海域動態監測方向的研究。

1671-4598(2017)11-0111-04

10.16526/j.cnki.11-4762/tp.2017.11.029

TP399

A