基于灰度投影和塊匹配的無人機視頻穩像方法

袁　威，高躍清，吳金亮

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

?

基于灰度投影和塊匹配的無人機視頻穩像方法

袁威，高躍清，吳金亮

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

摘要全局運動估計是電子穩像的關鍵技術之一。針對視頻大抖動情況下的傳統估計方法慢和不準確的問題，提出了一種灰度投影和塊匹配相結合的平移運動估計，與基于圖像極坐標變換的旋轉縮放運動估計方法結合，形成了完整的全局運動估計新方法。使用卡爾曼濾波和視頻圖像重構，輸出新視頻。通過對大量視頻處理，結果表明該方案提高了全局運動估計方法的運算速度和估計精度，產生了穩定的視頻輸出。

關鍵詞視頻穩像；全局運動估計；灰度投影法；塊匹配法；對數極坐標

A UAV Video Stabilization Method Based on Gray Projection and Block Matching Algorithm

YUAN Wei,GAO Yue-qing,WU Jin-liang

(The54thResearchInstituteofCETC,ShijiazhuangHebei050081,China)

AbstractThe global motion estimation is a key technology in video stabilization.Aiming at the drawbacks of traditional estimation method,such as low speed and inaccuracy in the situation of large video jitter,this paper proposes a translational motion estimation method by combining gray projection with block matching algorithm.This method combines with a rotation and zoom motion estimation method based on log-polar reference frame to obtain a new global motion estimation method.The Kalman filter and video image reconstruction is used to produce a new video.The results of many video processing experiments show that the method can improve the computational speed and estimation accuracy of global motion estimation method and output stable video.

Key wordsvideo stabilization;global motion estimation;gray projection algorithm;block matching algorithm;log-polar reference frame

0引言

無人機在空中遙感領域中應用日趨廣泛[1]。但是無人機自身體積和工作特點，造成無人機拍攝的視頻圖像幀間不穩定，人眼視覺效果較差，影響任務執行，為后續處理帶來困難。因此，要對無人機視頻進行穩像處理。

目前，視頻穩像方法主要分為3類：機械穩像、光學穩像和電子穩像[2]。采用電子穩像技術可以在不提高傳感器復雜度的情況下，通過信號處理的方式，降低由于無人機飛行不穩定帶來的視頻效果的影響。電子穩像方法又分為2D方法和3D方法。3D方法實時性較差[3]。2D方法又分為代表點法、灰度投影法、塊匹配法、位平面匹配法和特征點匹配法[4]。2D方法實時性強，但目前對于景深復雜的場景處理能力不足。

在空中遙感的應用中，無人機視頻場景中大多沒有復雜的景深信息，同時對實時性提出了很高的要求。所以2D方法有很大的應用潛力。但傳統的2D方法對于大抖動研究較少[5]，無法滿足無人機視頻穩像需求。

本文聯合使用了灰度投影法和塊平面匹配法，對無人機視頻穩像，提高了對大抖動的處理能力。

1信號處理流程

視頻穩像的處理流程如圖1。視頻圖像先進行平移運動估計，即先使用灰度投影得到平移運動估計，并作為初始值，再進行塊匹配得到最終的平移運動估計。對塊匹配配準后的圖像使用極坐標變換，再次塊匹配得到旋轉縮放運動估計。由局部運動估計得到全局運動估計。使用卡爾曼濾波方法對全局運動估計進行運動軌跡平滑。根據平滑后的軌跡，對視頻圖像重構，產生穩像后的視頻輸出。

圖1　信號處理流程

2運動估計

無人機視頻圖像中4個角區域的位置相關性最弱，主要表現在當任意區域有運動物體干擾，影響運動估計時，其他區域不易受到影響。故基于這4個區域可以得到極佳的全局運動估計。

2.1局部運動估計

2.1.1灰度投影

2.1.2塊平面匹配

同一圖像塊進行塊匹配，SAD匹配準則運算開銷最小，采用SAD匹配準則：

塊匹配的具體方法如圖2所示。研究表明，塊匹配搜索算法使用DS搜索算法，既可以減少運算開銷又可以得到與FS搜索算法相似的搜索結果。故采用DS搜索算法[7]。

圖2　塊匹配示意

2.1.3旋轉縮放運動估計

旋轉縮放運動估計選擇對數極坐標變換[8]，圖像從笛卡爾坐標系到對數極坐標系(I(x,y)→I(r,θ))的變換關系為：

2.2全局運動估計

3運動平滑

運動估計的累積形成運動軌跡。穩像的目的是去除運動軌跡的高頻運動分量，從而去除抖動。

一般采用曲線擬合與卡爾曼濾波的方法，對運動軌跡平滑[10]。曲線擬合的方法缺點在于控制點的選擇，導致無法實現實時處理。采用卡爾曼濾波[11,12],實時地進行軌跡平滑。以X軸水平方向為例建立狀態方程和觀測方程：

4視頻圖像重構

平移和旋轉縮放運動估計可以得到圖像的相似變換[13]：

式中，u,u′分別為變換前后圖像點的位置矢量；s為縮放系數；R為旋轉矩陣；t為平移向量。相似變換寫成單應性變換矩陣為：

式中，H為齊次的變換矩陣，變換前后圖像點為一一映射關系。

實際應用中，采用反向變換，但變換后的圖像邊緣通常會出現黑邊。可以采用其他幀信息剪裁、填充，或用修圖的方法來處理，這樣會保持圖像原始分辨率但會影響算法的實時性。也可以采用對當前幀剪裁的方法處理，雖然分辨率會有損失，但保證了算法的實時性。本文采用當前幀剪裁的方法。

5實驗結果分析

在雙核CPU：3.4 GHz，WIN7操作系統，Matlab R2011a平臺仿真環境下，對算法進行了仿真實驗，并對算法處理后的視頻做了PSNR值統計，PSNR值反應了視頻圖像序列的差異大小(PSNR值越大差異越小)。處理視頻采用國外相關研究使用的視頻數據庫，分辨率為640*360。算法選取的匹配塊大小為64*64。塊匹配算法對比如表1所示。由表1可以看出，本文算法在運算效率上相對于DS算法有了較大的提升，同時，視頻序列的PSNR值也有了小幅提升，這是因為灰度投影法計算出的運動估計減小了塊匹配算法搜索到局部最優點的概率。

表1　塊匹配算法對比

卡爾曼濾波前后的運動軌跡如圖3和圖4所示，過程噪聲Q=0.001。由圖3和圖4可以看出，濾波后的運動軌跡變得平滑，高頻分量減少。

圖3　濾波前后垂直方向的運動軌跡

圖4　濾波前后水平方向的運動軌跡

算法對視頻穩像的結果如表2所示。可以看出，在不使用旋轉縮放運動估計信息的平移變換方法，視頻穩像的質量已有了大幅度提升。使用了旋轉縮放運動估計的信息，采用相似變換后，視頻穩像質量又有了小幅提升。這是因為視頻抖動主要表現為平移抖動。所以平移變換后，相似變換可以提升的幅度有限。平移變換每幀只需0.2 s左右，相似變換需0.4 s左右。都可以滿足視頻25 fps的要求，達到了實時性的要求。

表2　視頻穩像結果PSNR分析

6結束語

在分析灰度投影法和塊匹配方法的基礎上，提出了2種方法相結合的全局運動估計方法。實驗表明，新的全局運動估計方法，減少了運算開銷，同時提升了估計精度。卡爾曼濾波很好地消除了視頻的高頻抖動。穩像后的視頻PSNR值有了明顯的提升，視覺效果得到了很大的改善。但是，景深豐富的場景限制了本文算法的適用范圍，以及噪聲大小、亮度變化和場景復雜度等因素的影響也有待于進一步的分析和研究。

參考文獻

[1]李德仁，李明.無人機遙感系統的研究進展與應用前景[J].武漢大學學報(信息科學版)，2014，39(5)：505-513.

[2]周明宇.電子穩像理論研究及DSP實現[D].哈爾濱：哈爾濱工業大學，2014(4):2-3.

[3]FENG L,HAILIN J.Content-preserving Warps for 3D Video Stabilization[J].ACM Transactions on Graphics (TOG),ACM,2009,28(3):44.

[4]汪道寅，胡訪宇.基于改進SIFT算法的視頻序列圖像配準[J].無線電工程，2011，41(2)：16-18.

[5]朱娟娟.電子穩像理論及其應用研究[D].西安：西安電子科技大學，2009(7):63-86.

[6]吳浩，鄧宏彬，何少陽.基于分塊灰度投影的無人飛行器視頻穩像方法[J].北京理工大學學報，2013，33(4)：385-390.

[7]AROH B.Block Matching Algorithms for Motion Estimation [C]∥ IEEE Transactions Evolution Compu-tion,2004,8(3):255-239.

[8]余博，郭雷，趙天云.基于對數極坐標變換的灰度投影穩像算法[J].計算機應用，2008，28(12)：3 126-3 128.

[9]SUNG J K,SEUNG W J,EUL S K.Fast Digital Image Stabilizer Based on Gray-coded Bit-plane Matching [J].Consumer Electronics IEEE Transcations on,1999,45(3): 598-603.

[10]梁民贊，黃子豪，曹占啟.曲線擬合與卡爾曼濾波器的濾波精度評估[J].無線電工程，2013，43(3): 36-39.

[11]陳曉露，戴明，葛明，等.快速平滑點特征軌跡電子穩像[J].紅外與激光工程，2014，43(6)：1 988-1 993.

[12]吉淑嬌，朱明，胡漢平，等.基于特征匹配的視頻穩像算法[J].吉林大學學報(工學版)，2013，43(3)：322-325.

[13]RACHARD S.計算機視覺——算法與應用[M].北京：清華大學出版社，2012：29-33.

袁威男，(1989—)，碩士研究生。主要研究方向：視頻圖像處理。

高躍清男，(1974—)，研究員。主要研究方向：信號與信息處理。

作者簡介

中圖分類號TP391.41

文獻標識碼A

文章編號1003-3106(2016)02-0019-04

基金項目：國家部委基金資助項目。

收稿日期：2015-11-12

doi:10.3969/j.issn.1003-3106.2016.02.05

引用格式：袁威,高躍清,吳金亮.基于灰度投影和塊匹配的無人機視頻穩像方法[J].無線電工程,2016,46(2):19-22.