輸電線路直升機/無人機巡檢光電吊艙電子穩像方法研究

徐瑞 張潔 燕正亮

摘? 要：直升機/無人機在巡檢輸電線路過程中，機載攝像機會不可避免地產生輕微或劇烈的抖動，為了獲取穩定、清晰的巡檢視頻，需要對抖動視頻進行去抖增穩。本文通過對輸電線路巡檢視頻連續幀進行智能處理，在傳統的運動估計模塊與運動補償模塊之外，增加運動初判模塊，采用相位相關法進行運動初判，基于FAST特征點的光流法進行運動估計，進而基于主運動識別的方法進行運動補償，算法可根據可見光和紅外視頻抖動程度自動采取合適的處理策略及方法，實現直升機巡視光電吊艙視頻的去抖增穩，實驗表明，算法運動估計精度達0.024像素，抖動判斷準確率為91%，標清巡檢視頻處理速度為25幀/s。

關鍵詞：電子穩像? 運動估計? 抖動判斷? 運動補償? 巡檢視頻分析

中圖分類號：TM755? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2020）09（c）-0137-05

Abstract： During inspection of transmission line by Helicopter/UAV， airborne camera will inevitably vibrate slightly or violently. In order to obtain stable and clear inspection video， it is necessary to stabilize the jitter video. In this paper， the continuous frame of transmission line inspection video is intelligently processed， and the motion preliminary judgment module is added in addition to the traditional motion estimation and motion compensation module. Phase correlation method is used to judge preliminary main motion mode. Then motion is estimated by optical flow method based on FAST feature points. Then motion compensation is based on the method of main motion recognition. The proposed method can automatically adopt appropriate processing strategies and methods according to the jitter degree of visible and infrared video. Experimental result showed the precision of motion estimation is 0.024 pixel， the accuracy of jitter judgement is 91% and the processing speed of SD inspection video is 25 frames per second.

Key Words： Electronic stabilization; Motion estimation; Jitter judgement; Motion compensation; Inspection video analysis

直升機/無人機被越來越多的應用于架空輸電線路巡檢，然而光電吊艙受多變的載體姿態和復雜的飛行環境等因素影響，導致所攝取的巡視視頻失穩、模糊不清，分辨率嚴重下降，影響后續對巡檢視頻的應用。因此需要利用電子穩像技術對所攝取的巡視視頻進行穩像處理，去除隨機抖動的干擾，為進一步的線路目標檢測識別與跟蹤等提供基礎[1]。

運動估計和運動補償是電子穩像的關鍵步驟，而實時性和準確性是決定電子穩像技術能應用于直升機巡視系統等實際領域的關鍵指標，近年來，國內外諸多的算法中，基于特征點提取的運動估計方法結合適當的運動補償方法的電子穩像算法具有良好的應用。

基于特征點提取的運動估計的研究方向是選取適當的算子，快速準確的提取和匹配特征點，進而提高電子穩像的準確性和實時性。目前常見的提取特征點的算子有SIFT（Scale Invariant Feature Transfer，尺度不變特征變換）算子、SURF（Speed-Up Robust Feature，加速魯棒特征）算子、GFTT（Good Feature To Track，易于跟蹤特征）算子、BRISK（Binary Robust Invariant Scalable Keypoint，二進制局部特征）算子、SUSAN（Small univalue segment assimilating nucleus，吸收核同值）算子、FAST（Features From Accelerated Segment Test，加速段試驗特征）算子等[2-3]。可以基于算子的描述子匹配得到運動參數，也可以基于特征點提取結合如相位相關法、位平面匹配法、光流法和灰度投影法等方法進行運動參數估計[4-5]。運動補償研究通常側重于利用改進的Kalman濾波法、均值法或粒子濾波法等方法，平滑運動參數、獲取運動補償參數，提高電子穩像的準確性[5-6]。

1? 電子穩像方法

1.1 技術路線

輸電線路直升機巡視光電吊艙電子穩像算法在傳統的運動估計模塊與運動補償模塊之外，增加運動初判模塊。具體技術路線如圖1所示：對于輸入視頻初始幀，采用基于相位相關法的運動初判，獲取初始運動狀態;對于視頻的后續幀，提取FAST特征點，并通過LK光流法得到特征點的運3到全局運動參數;利用初始運動狀態和全局運動矢量矩陣，采用基于主運動識別方向的方法進行運動補償，輸出穩定視頻。

1.2 基于相位相關法的運動初判

攝像機的拍攝狀態包括靜態拍攝、運動拍攝及靜態拍攝與運動拍攝的相互切換三種狀態。運動初判是指利用視頻的初始幀，計算攝像機的二維平移量，并進行攝像機運動的初步判斷，得到攝像機的初始運動狀態，為后續穩像處理提供基礎。相位相關法對相鄰兩視頻幀進行快速傅里葉變換，將視頻幀從空域變換到頻域，然后通過他們的互功率譜可直接計算兩視頻幀間的平移量。

分別為和的共軛，對上式進行傅里葉逆變換，在空間形成的脈沖函數脈沖峰值的位置為兩幀之間的平移量。在巡檢開始時，以該平移量近似作為攝像機的二維平移量，實現主運動方向和運動狀態的初始化。

1.3 運動估計

1.3.1 FAST特征點提取

FAST算子[4]提取特征點的原理是若在某一像素點P的鄰域內有足夠多的像素點的灰度值大于或小于該點的灰度值，則選擇該點為特征點。

1.3.2 基于 LK （Lucas&Kanade）光流法的運動估計

基于光流的亮度恒常性假設和速度平滑性假設，利用LK法[7]的局部約束條件，假設面積為的小區域內各點的光流相同。在此情況下，LK法通過對區域內不同的FAST特征點賦予不同的權重，可將光流的計算轉化為ELK的最小化，表示在時刻上坐標的灰度值，ELK如下式所示，

1.3.3 基于仿射變換模型的全局運動參數估計

根據估計出的n個FAST特征點的光流矢量，可以求出兩幀間的仿射變換矩陣，得到兩幀間的仿射變換矩陣即為全局運動參數，，分別為水平運動矢量和垂直運動矢量。

1.4 運動補償

基于主運動方向識別的運動補償流程如圖2所示，利用當前運動狀態和主運動方向對抖動進行判斷，實現運動補償。

具體的實現步驟如下。

1.4.1 主運動方向識別

在電子穩像過程中連續輸入視頻的運動估計參數，若運動估計參數方向一致性大道幀數閾值，則識別出主運動方向，否則判定為無主運動方向[8]。若能夠識別出主運動方向，則判定當前運動狀態為運動拍攝;若不能夠識別出主運動方向，則判定當前運動狀態為靜態拍攝。

1.4.2 抖動判斷

針對每兩幀之間的運動矢量，如果當前運動狀態為運動拍攝，若當前水平方向運動矢量、垂直方向運動矢量與主運動方向不一致，則判定為動態抖動，若當前運動量與主運動方向一致，則判定為非抖動。如果當前運動狀態為靜態拍攝，對當前水平方向運動矢量、垂直方向運動矢量進行判定，若大于一定閾值則判定為靜態抖動，否則判定為非抖動。

1.4.3 運動補償

若判定為靜態抖動則以當前運動矢量為補償參數;若判定為動態抖動，采用高斯權值的均值濾波對得到的運動矢量進行平滑，如下式所示，為視頻第i幀運動矢量。

利用濾波后的運動矢量，對當前幀進行仿射變換，得到穩定的視頻。

2? 試驗分析

本算法在Visual Studio 2010平臺基于OpenCV3.0 beta的C++語言開發算法，實驗平臺為Inter（R） Core（TM） i7-4790CPU @3.60GHz，RAM16GB。采用11個視頻進行算法的實驗驗證，各視頻縮略圖如圖3所示，編號1～4視頻為仿真視頻，編號5～11視頻為真實架空輸電線路直升機/無人機巡視視頻，其中5～9為可見光視頻，10～11為紅外視頻。

視頻1和視頻2是仿真的靜態拍攝視頻，生成方法是對靜態圖像加入隨機抖動量生成多幀圖像，并將多幀圖像合成仿真視頻，視頻的抖動量的大小和方向已知，可以用于評價穩像精度和統計抖動判斷誤差。

通過計算估計抖動量和真實抖動量的均方根誤差RMSE（Root Mean Square Error），評價穩像精度。RMSE定義如下，

其中和分別為視頻第i幀與第i+1幀間估計補償量和真實抖動量，N為視頻總幀數。

視頻3和視頻4是仿真的動態拍攝視頻，生成方法是對平滑視頻加入具有一定方向性的隨機抖動量合成仿真視頻，視頻的抖動方向為已知，可用于統計抖動判斷誤差。仿真視頻穩像處理結果如表1所示，抖動判斷準確率平均值為91%，抖動量估計的均方根誤差的平均值為0.024（像素），表明穩像精度達到亞像素級。

對于真實巡視視頻穩像處理中，為表示穩像算法對標清視頻的處理時間效率，將視頻分辨率統一轉換為720×576，對各視頻處理的時間效率匯總表如表2所示，平均每幀處理時間為39ms，處理幀率為25fps，與原視頻幀率相同，因此本電子穩像算法可以滿足標清可見光視頻和紅外視頻的實時處理。

圖4是可見光視頻8的第804、2328幀原始視頻（左）和穩像后的視頻幀（右）對比情況，圖5是紅外視頻10原始視頻幀和穩像后的視頻幀的對比情況，自左向右、自上而下分別為第950、2376幀。

3? 結語

直升機/無人機巡檢光電吊艙電子穩像算法包括運動初判模塊、運動估計模塊和運動補償模塊。通過對仿真視頻和真實架空輸電線路巡視視頻的實驗表明，視頻抖動判斷準確率為91%;抖動量估計的均方根誤差的平均值為0.024像素，穩像精度達到亞像素級;對于標清巡視視頻的去抖增穩時平均單幀處理時間為39ms（即處理幀率為25fps），達到了實時性的要求。

參考文獻

[1] 谷祥訪.輸電線路無人機巡檢技術應用現狀及相關問題探討[J].科技創新導報，2019，16（26）：22-23.

[2] Jiaoru Yang， Rui Wang， Rui Xu. Salient Feature Detection for optical flow computation[C]. The 2016 IEEE Chinese Guidance Navigation and Control Conference.（CCNCC2016），Nanjing，China，2016：2473-2476.

[3] 陳雨銘.電子穩像中的特征點匹配與平滑濾波算法研究[D].南京：南京大學，2019.

[4] 酒銳波，李冰寒，劉玉婷.基于FAST-9角點與光流法的機載視頻穩像算法[J].科技資訊，2019，17（1）：38-39，42.

[5] 熊煒，王傳勝，李利榮，等.結合光流法和卡爾曼濾波的視頻穩像算法[J].計算機工程與科學，2020，42（3）：493-499.

[6] 鄭鵬珍.復合運動下的電子穩像算法研究[D].西安：西安電子科技大學，2019.

[7] Fan Z，Yang G，Bakos J D. Lucas-Kanade Optical Flow estimation on the TI C66x digital signal processor. High Performance Extreme Computing Conference，2015.

[8] Rui Xu， etal. Research on video motion compensation method based on the analysis of airborne video camera shaking mode of continuous video frames. 2016 IEEE PES 13th International Conference on Transmission & Distribution Construction， Operation & Live-Line Maintenance （ESMO）， Columbus， OH， 2016：1-4.