固定場景下快速電子穩像算法的實現

孫宇超，張　軍

（天津職業技術師范大學電子工程學院，天津300222）

?

固定場景下快速電子穩像算法的實現

孫宇超，張軍

（天津職業技術師范大學電子工程學院，天津300222）

摘要：提出一種可應用在固定場景條件下的快速電子穩像算法。通過檢測參考圖像與當前圖像的ORB特征，利用漢明距離匹配特征，將匹配好的特征點代入仿射變換模型，求得2幅圖像間的全局運動矢量并代入仿射變換模型，對當前圖像進行變換，從而實現穩像目的。為達到更好的穩像效果，在圖像預處理階段對圖像進行高斯濾波，濾除圖像的噪聲；同時對在求得全局運動矢量使用的特征點對的選擇上采用點線法進行判定，保證求得全局運動矢量的精度。實驗結果表明，該算法能夠實現在固定場景下的穩像，并具有較好的實時性。

關鍵詞：電子穩像；ORB特征；仿射變換模型；全局運動估計；固定場景

穩像技術是一種廣泛應用的視頻增強技術。穩像技術應用于存在隨機抖動的拍攝環境下，能夠解決拍攝畫面不穩定造成的畫面質量下降問題。穩像技術的發展經歷了3個階段：機械穩像、光學穩像和電子穩像。與傳統的機械和光學穩像系統相比，電子穩像系統具有易于操作、穩像精度高、靈活性強、體積小、重量輕、能耗低以及高智能化的實時處理等優點[1]。此外，市場上針對視頻和圖像處理上的專用數字信號處理器，其優越的性能為視頻和圖像的實時處理提供了強有力的支持。目前，電子穩像已應用于航拍圖像、目標檢測與跟蹤中[2-3]。ORB（oriented FAST and rotated BRIEF）特征是一種應用于圖像匹配[4]、目標檢測[5]、圖像拼接[6]方面的圖像特征檢測方法。目前被廣泛應用的還有SIFT（scale-invariant features）、SURF（speeded -up robust features）和BRISK（binary robust invariant scalable keypoints）等特征，但ORB特征相對于這些特征具有明顯的計算速度優勢。本文提出的穩像算法采用ORB特征檢測和描述特征點，通過漢明距離對特征點進行匹配，利用匹配好的特征點對計算圖像間的全局運動矢量，之后對待處理的圖像應用全局運動矢量進行運動補償，達到穩像的目的。

1　ORB特征檢測算法

由于角點特征的檢測容易受到圖像噪聲的干擾，因此在進行特征檢測之前要對圖像的噪聲進行消除。高斯濾波是被廣泛采用的消除圖像噪聲方法，其實質是對整幅圖像進行加權平均，每一個像素點的值都由本身和其鄰域內的其他像素經過加權平均后得到。本文采用高斯濾波對圖像進行去噪，之后進行圖像角點特征的檢測。

ORB特征是由Rublee等[7]提出的，其最大的優勢在于運行速度。ORB特征是FAST（features from accelerated segment test）和BRIEF（binary robust independent elementary features）的結合。下面對FAST、BRIEF和ORB特征作簡要介紹。

1.1FAST角點檢測算法

FAST是一種角點檢測算法，其檢測的角點定義為：如果在某一個像素的周圍有n個連續像素的灰度值與該像素的差大于某一個閾值，則認為該像素為角點[8]。這里的周圍通常是指以角點為圓心的某個半徑大小的圓周，n的值可取9、12等。圖像的角點檢測如圖1所示。

圖1　角點檢測

1.2BRIEF特征描述算法

角點特征檢測完畢后，需要給予每一個角點一個描述符，描述符將作為2幅圖像中進行角點特征匹配的依據。BRIEF[9]是一種特征描述方法，其主要思想是在特征點附近隨機選取若干點對，將這些點對的灰度值組合成一個二進制串，并將這個二進制串作為該特征點的特征描符。BRIEF算法的過程如下。

定義S×S大小的圖像鄰域P的準則τ為：

式中：p（x）為平滑后的圖像鄰域P在x =（u，v）T處的像素灰度值。

如果nd有（x，y）個位置對，就可以唯一定義一個二進制比特串，即BRIEF描述符為：

需要在已經檢測出的特征點對中選擇nd對來計算其BRIEF描述符。作者提出5種方法對這nd對特征點位置進行選擇，并對不同的選擇方式做出比較。nd可以為128、256、512等；取值時，需要對速度、存儲效率、識別率進行比較。

1.3FAST和BRIEF結合的ORB特征

ORB特征分別對FAST和BRIEF進行改進并結合，對FAST檢測出的角點添加方向信息，并利用這個方向信息解決了BRIEF描述的特征點不具有旋轉不變性的缺陷。改進之后的FAST和BRIEF可分別稱oFAST（oriented FAST）和sBRIEF（steered BRIEF），具體做法如下。

ORB使用灰度質心法為角點加入方向信息，即用角點與質心之間的偏移構造一個方向。

定義鄰域矩為：

式中：I（x，y）表示圖像在（x，y）位置的像素值。

質心為：

特征點與質心的夾角定義為FAST特征點的方向，即

得到oFAST特征點之后，繼續為BRIEF添加旋轉信息。在位置（xi，yi）處，對于任意n個二進制準則特征集，定義一個2*n的矩陣為：

2　特征點匹配及優質特征點選取

在得到2幅圖像的ORB特征點后，需要對特征點進行匹配。匹配時采用暴力搜索，距離度量采用漢明距離。由于BRIEF描述ORB特征時采用二進制串作為其描述方式，因而特征匹配采用漢明距離進行匹配能達到快速匹配的目的。此次匹配完成后，會出現誤匹配的特征點對，因此可將此次匹配視為粗匹配。粗匹配中的誤匹配點需要剔除。剔除方法是計算粗匹配好的特征點的最小漢明距離，并將小于2倍該距離的特征點對視為優質匹配的特征點對。

3　點線法選擇匹配點

特征點對經過匹配后，需要從匹配出的優質特征點對中選擇3對代入仿射變換模型，求出相鄰幀之間的映射關系。選擇的這3對特征點對在空間位置上應盡可能分散，使求出的相鄰幀之間的映射關系更為準確。本文提出點線法作為特征點對的選擇方法，方法的大體思路如下。

圖像在計算機屏幕上顯示的像素位置關系如圖2所示。

圖2　圖像在計算機屏幕上的像素位置關系

圖2中原點位于圖像的左上角，向右和向下的方向為像素坐標x、y增大的方向，而主對角線方向上x、y均增大。點線法步驟如下：

（1）計算匹配好的特征點坐標x與y之和絕對值（|x+y|）的最大值和最小值。

（2）計算x與y之差絕對值（|x-y|）的最大值。

（3）找出這3個值對應的特征點。

如此選出的3對特征點對的分布會比較分散。其中2個點大致位于x、y都增大的主對角線的2端附近，另一個點位于副對角線的一端附近。

算法的仿真如圖3所示，在300×250的區域內隨機生成一些點來模擬已匹配好的特征點位置，圖中的“+”表示通過算法得到的特征點位置，共有3個。

在得到點線法選擇出來的3對匹配點之后，需要將這3對特征點代入仿射變換模型來估計出2幅圖像之間的相對運動。

圖3　點線法的Matlab仿真結果

4　仿射變換模型

2幅圖像之間的變換關系可以用仿射變換來表示[10]。一個任意的仿射變換都能表示為乘以一個矩陣（線性變換）再加上一個向量（平移）。因此，仿射變換能夠表示圖像之間的旋轉（線性變換）、平移（向量加）以及縮放（線性變換）。

仿射變換通常用2×3的矩陣M表示：

或

由矩陣A和矩陣B共包含6個元素可知，要計算出矩陣A和矩陣B需要6個方程。從式（9）可以看出，點線法挑選出來的每一對特征點代入式（9）可以得到2個方程，因此求解矩陣A和矩陣B需要3對特征點。這就是采用點線法選擇3對特征點的原因。

5　實驗結果

本文采用240×320的圖像作為樣本，圖像來自于視頻的分幀。該視頻中，拍攝者在行駛中的汽車里拍攝前方不遠處的行駛汽車。拍攝者所乘汽車的晃動使拍攝出來的視頻存在抖動，視頻分幀后，相鄰2幀圖像之間存在不同程度的相對運動情況，因此滿足算法的適用條件。實驗所用PC機操作系統為XP SP3，CPU 為Pentium（R）Dual-Core，主頻為3.20 GHz，算法用OpenCV進行開發。

高斯濾波后的相鄰2幀圖像如圖4所示，采用漢明距離匹配后的相鄰2幀圖像如圖5所示。由圖5可知，匹配后的特征點對包含正確的匹配和錯誤的匹配，經過挑選優質匹配的特征點對后，錯誤的匹配被去除。挑選優質匹配點對后的相鄰2幀圖像如圖6所示。仿射變換后的圖像與參考幀圖像的對比如圖7所示，穩像前后相鄰2幀圖像幀差對比如圖8所示。由圖7和圖8可以看出，本文提出的算法能夠很好地達到穩像目的。

圖4　高斯濾波后的相鄰2幀圖像

圖5　采用漢明距離匹配后的相鄰2幀圖像

圖6　優質匹配后的相鄰2幀圖像

圖7　仿射變換后的圖像與參考幀圖像的對比

圖8　穩像前后相鄰2幀圖像幀差對比

穩像算法各個部分耗時及特征點匹配情況如表1所示，表1中第1列的序號（1～5）表示選取了5組相鄰幀進行各指標的統計。

將表1里算法每一部分耗時的數據計算平均值并進行歸一化，可以得到算法每一部分占算法總耗時的百分比，如圖9所示。

圖9　穩像算法各部分耗所占的百分比

由圖9可知，穩像算法最耗時的部分是ORB特征描述部分，約占算法總耗時的43%；其次是ORB特征檢測部分，約占算法總耗時的32%；ORB特征的檢測、描述、匹配約占據整個算法耗時的90%。因此，采用何種特征點進行運動估計對穩像算法的耗時有決定性的影響。本文將主流的基于SIFT、SURF和BRISK特征的穩像算法與基于ORB特征的穩像算法進行比較，4種算法具體的耗時情況如圖10所示。

圖10　SIFT、SURF、BRISK和ORB的穩像算法耗時對比

在圖10中，SIFT、SURF和BRISK特征穩像算法相對于ORB特征的穩像算法進行了歸一化。由圖10可知，基于ORB特征的穩像算法相對于SIFT、SURF 和BRISK具有明顯的運算速度優勢，其耗時分別約為SIFT的1/16、SURF的1/13的以及BRISK的1/41。

6　結束語

本文提出了一種電子穩像算法，算法提取2幅圖像的ORB特征，并進行特征匹配，將匹配好的特征點代入仿射變換模型估計出全局運動矢量，通過對圖像進行仿射變換來進行運動補償，進而達到穩像的目的。為使得到的全局運動矢量更準確，算法采用一定的方法獲得優質匹配的特征點對，并通過點線法選擇出3對應用于仿射變換模型。算法適用于固定場景下，對圖像間的平移、旋轉和縮放具有較好的穩像效果。實驗證明，該算法能夠實現穩像的目的，并具有較好的實時性。

參考文獻：

［1］王志民，徐曉剛.電子穩像技術綜述[J].中國圖像圖形學報，2010，15（3）：470-479.

［2］雷寶權，趙春暉，花永強，等.基于SIFT算子和Kalman濾波器的航拍圖像電子穩像算法[J].火力與指揮控制，2010，35（10）：47-50.

［3］邱家濤.電子穩像算法和視覺跟蹤算法研究[D].西安：西安電子科技大學，2013.

［4］唐劍琪，謝林江，袁慶生，等.基于ORB的鏡頭邊界檢測算法[J].通信學報，2013，34（11）：184-190.

［5］李小紅，謝成明，賈易臻，等.基于ORB特征的快速目標檢測算法[J].電子測量與儀器學報，2013，27（5）：455-460.

［6］王國東，文鵬程，程岳.一種利用ORB特征進行航拍圖像拼接的方法[J].內蒙古師范大學學報：自然科學漢文版，2014，43（4）：425-429.

［7］RUBLEE E，RABAUD V，KONOLIGE K，et al.ORB：An efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision.NJ：Institute of Electrical and Electronics Engineers Inc.Barcelona：IEEE，2011：2564-2571.

［8］ROSTEN E，PORTER R，DRUMMOND T.Faster and better：A machine learning approach to corner detector[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（1）：105-119.

［9］CALONDER M，LEPETIT V，OZUYSAL M，et al.BRIEF：Computing a local binary descriptor very fast[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（7）：1281-1298.

［10］喬磊.復雜抖動的電子穩像概述[J].山西電子技術，2013 （3）：91-93.

Realization of a fast algorithm for electron image stabilization under stationary scenes

SUN Yu-chao，ZHANG Jun
（School of Electronic Engineering，Tianjin University of Technology and Education，Tianjin 300222，China）

Abstract：A fast algorithm for electron image stabilization is presented which can be applied to the stationary scene conditions.The algorithm first detects the ORB features in the reference image and the current image and then matches the features by hamming distance.The matched features points are substituted for transformation model，so that the global motion vector between the two images is figured out.Finally，the global vector is applied to the current image for a affine transformation，and the images are stabilized.In order to achieve a better image stabilization，the images are filtered by Gauss filter and the noise of the images are filtered.In addition，the accuracy of the global motion vector is obtained by using the point -line method in the selection of the feature points.Experiments show that the algorithm can achieve stable image in a stationary scene and had a good real-time performance.

Key words：electron image stabilization；ORB feature；affine transformation model；global motion estimation；stationary scenes

作者簡介：孫宇超（1989—），男，碩士研究生；張軍（1965—），男，教授，博士，碩士生導師，研究方向為遙測遙控技術、遙感圖像信息處理技術.

基金項目：天津市科技特派員項目（14JCTPJC00537）.

收稿日期：2015-10-30

中圖分類號：TP91.41

文獻標識碼：A

文章編號：2095－0926（2016）01－0022－05