基于改進Canny邊緣檢測算子的電子穩像算法研究

摘 要:針對特征點匹配電子穩像算法中提取的特征點容易受到噪聲干擾的問題，在研究傳統的特征點匹配電子穩像算法的基礎上，提出了一種將改進的Canny邊緣檢測技術應用于電子穩像中的方法。利用改進的Canny算子對圖像進行邊緣檢測，并通過對邊緣檢測的圖像進行合理分區，在子區域內選擇灰度最大邊緣點作為特征點，并采用距離不變準則對特征點的有效性進行驗證，建立二維運動模型進行全局運動估計，以此確定仿射模型的運動參數;最后利用卡爾曼濾波的方法來進行運動補償，從而達到輸出穩定視頻圖像的目的。實驗結果表明，用這種方法提取的特征點具有良好的穩定性。

關鍵詞:Canny邊緣檢測; 特征提取; 區域分割; 特征匹配; 運動估計

中圖分類號:TP391.4

文獻標志碼:A

文章編號:1001-3695(2010)02-0506-03

doi:10.3969/j.issn.1001-3695.2010.02.028

Research of electronic image stabilization algorithm based on improvedCanny edge-detection operator

ZHOU Tong， ZOU Li-xin， YOU Jin-zheng， WANG Hai-yan， DU Wei-wei

(School of Physics Science Technology， Soochow University， Suzhou Jiangsu 215006， China)

Abstract:In order to solve the problem that the feature points easily influenced by the noise， based on the research of the traditional features tracking algorithm， this paper proposed an improved method of Canny edge-detection algorithm for electronic image stabilization. The image edge was detected with improved Canny operator， through dividing edge detected image into many blocks in reason， the largest gray edge points could be selected as the feature points. Proposed the distance invariant criterion to check the feature matching， which could keep global coherence of all local motions and produce the global motion vector by establishing two-dimensional model of movement. Then the parameters of the affine model were calculated based on these points. Finally， Kalman filter was applied to motion compensation to achieve the stability of the video sequences. The results of experiment show that it has favorable stabilities using this algorithm.

Key words:Canny edge-detection; feature extraction; region segmentation; feature matching; motion estimation

隨著攝像設備應用的日益廣泛，攝像平臺變得越來越多樣化。通過車載攝像系統、手持攝影設備、飛機或艦船攝影平臺等得到的視頻信號不僅包含了成像系統的主動運動，同時也包含了攝像平臺不規則的隨機運動(如平移、旋轉和變焦等運動)。由于這種隨機運動的存在，使得成像不穩定，從而造成圖像序列模糊和抖動，同時也給有用信息的提取和應用帶來困難。對于上述存在隨機運動的攝像平臺要在成像過程中進行圖像的防抖處理，即對隨機運動或抖動的系統所獲取的動態圖像序列進行修改、重排，以使其在監視器的圖像序列顯示平穩。這種防抖動技術就叫做圖像穩定技術(簡稱穩像)。 目前穩像技術已經被廣泛用于攝像機抖動的檢測和消除、視頻壓縮、運動目標的檢測和跟蹤以及圖像拼接等領域。相對于傳統的機械穩像和光學穩像，電子穩像具有易于操作、更精確、更靈活、體積小以及價格低、能耗小等特點。目前常用電子穩像算法有多種，其典型的穩像算法有塊匹配法BMA[1]、投影算法PRA[2]、位平面匹配法BPM[3]、特征量跟蹤算法FTA[4]等。

針對圖像旋轉、平移、縮放等情況下的電子穩像問題，本文采用特征點匹配算法來實現幀間運動向量的補償。特征點匹配的實質是構造出某種相關運算機制，得到電子穩像系統幀間運動向量，然后進行運動補償，使兩幀圖像最大限度地重合，此算法實現的關鍵是對特征點的提取。本文提出一種將改進的Canny邊緣檢測算子應用于特征點提取的算法，此算法極大地抑制了圖像噪聲對特征點提取的干擾，從而使提取的特征點具有良好的穩定性。

1 基于改進Canny算子的電子穩像算法

1.1 算法結構

本文算法仍然采用傳統電子穩像算法的通用結構，其原理如圖1所示。該算法具體實現步驟如下:

a)對參考圖像(指初始圖像序列中的第一幀)進行特征點提取。

b)依次對后續圖像進行特征點跟蹤，即對兩兩相鄰圖像進行特征匹配。

c)為了盡可能消除各種干擾對穩像效果的影響，對匹配特征對進行有效性檢驗，當有效特征的數目過少時(小于一定閾值)，將當前圖像作為基準圖像重新提取特征。

d)根據有效的匹配特征點對，計算相鄰圖像幀間的實際運動模型參數。

e)對實際運動參數進行濾波，從而估計出有意運動模型參數。

f)根據實際運動參數和有意運動參數，利用仿射運動模型對當前圖像進行變換，實現圖像的運動補償，并利用之前M幀圖像的信息重構當前無定義區。

1.2 基于改進Canny邊緣檢測算子的特征點提取

1.2.1 改進的Canny邊緣檢測算子

對一幅圖像進行邊緣檢測，一般可分為三步:濾波、增強和檢測。Canny算法也是一個具有類似步驟的多階段的優化算法[5]。Canny 給出的評價邊緣檢測性能的三個指標如下:

a)高信噪比準則。輸出信號的信噪比大，則非邊緣點判斷為邊緣點或邊緣點判斷為非邊緣點的概率就小，即誤檢率最低。信噪比(SNR)的數學表達式為

SNR=|∫ω-ωG(-x)f(x)dx|/[σ∫ω-ωf2(x)dx](1)

其中:f(x)是邊界為[-ω，ω]的濾波器脈沖響應;G(-x)為邊緣函數;σ為高斯噪聲的均方根。

b)高定位精度準則。檢出的邊緣點與實際邊緣點距離最小，使定位精度最高。定位精度的數學表達式為

localization=|∫ω-ωG′(-x)f′(x)dx|/[σ∫ω-ωf′2(x)dx](2)

其中:G′(-x)和f′(x)分別為G(-x)和f(x)的一階導數。Localization的值越大，定位精度越高。

c)單一邊緣響應準則。即與每個邊緣有且只有一個響應，最大限度抑制偽邊緣出現。要保證單一邊緣響應，檢測算子脈沖響應導數的零交叉點平均距離應滿足:

D(f)=π∫∞-∞f′2(x)dx/∫∞-∞f′′2(x)dx(3)

基于以上三條判斷準則，可以利用變分法求出這個帶有約束的泛函最優化問題的解， 這個問題的解可以由高斯函數的一階導數去逼近。高斯函數的表達式為

G(x，y)=12πσ2exp-x2+y22σ2(4)

利用Canny算子進行圖像的邊緣提取，具體的實現流程如圖2所示。

通常，在利用邊緣檢測算子提取圖像邊緣時，不僅要考慮邊緣線的粗細，還要考慮圖像邊緣的連續性。而圖像邊緣連續性在電子穩像技術中并沒有很高要求，因此在實驗中，對Canny邊緣檢測算子作了如下改進:a)由于不是特別強調圖像邊緣的連續性，為了節省計算時間，在平滑濾波階段采用普通的高斯濾波器而沒有采用改進的Worthington 方法;b)在雙閾值選取的過程中，通過非極大值抑制中的像素梯度統計直方圖得到高閾值，大于高閾值的點選做邊緣點。在低于高閾值的點中，為判斷像素點是否為邊緣點設置兩個條件:必須與邊緣點相鄰;這個像素本身也應該有較高的梯度值，這樣，應該再選擇一個次高閾值來判斷像素點是否是邊緣點。判斷像素是否是邊緣點的具體方法如下:選擇一個高閾值點，在這個點的3×3 像素的鄰域內，如果鄰域內有次高閾值點，則此點為邊緣點;再以此點為中心重復前面的步驟，將邊緣點相連。通過這種做法提取的圖像邊緣較細，為后面特征點的獲取提供了有利條件。

1.2.2 基于改進Canny邊緣檢測算子的特征點提取原理

在基于特征點提取的電子穩像過程中，特征點的提取將大大影響整個匹配的速度和準確度，因此，特征點的提取對于整個電子穩像過程是非常重要的。對于既有平移又有旋轉的運動圖像，根據圖像特征點獲得運動信息是一種常用的方法，這種方法對特征點的穩定性有較高要求。但是提取的特征點很容易受到圖像中各種噪聲的干擾而使誤匹配的現象發生，嚴重影響了全局運動向量的估計精度。將Canny邊緣檢測技術應用于電子穩像技術中，用它提取圖像邊緣，圖像的邊緣點保持其原有的灰度值不變，非邊緣點對灰度值清零。這樣，圖像中噪聲信號對特征點提取的干擾就被大大減弱了。然后根據圖像特征點對圖像進行合理分區[6]，在每一個子區域內找到圖像邊緣灰度最大的點作為特征點，最后再利用距離不變準則對特征點進行有效性檢測，提取有效的特征點，刪除誤匹配特征點。其特征點提取過程如圖3所示。

1.3 全局運動向量估計與運動補償

采用Similarity模型來表示圖像序列的幀間平移、旋轉以及變焦運動[7]。定義如下:

xk-1yk-1=scos θ -sin θsin θ cos θxkyk+ΔxΔy(5)

其中:(xk-1，yk-1)和(xk，yk)分別為第k-1和k幀的圖像坐標;(Δx，Δy)是在參考幀圖像坐標系下所測得的平移向量;θ為兩幀圖像的旋轉角度;s為變焦系數。其中s的計算比較簡單，只要從兩幀圖像中給出一組匹配點，s就能計算出來，與兩幀圖像的平移和旋轉無關。

當攝像系統幀率大于15 fps時，相鄰兩幀中，圖像的旋轉運動一般小于5°。式(5)可不考慮三角函數的影響，而簡化成線性形式，如式(6)所示，以求出平移和旋轉系數。

xk-1yk-1=s1 -θθ 1xkyk+ΔxΔy(6)

由式(6)可得該方程有三個未知量，因此，只要給定兩幀圖像之間一組(大于3 對) 匹配點對，就可以求出式(6)的最小二乘解。這種模型形式簡單，求解穩定，在許多場景中得到應用。確定各幀圖像的補償參數后，采用卡爾曼濾波的方法確定運動補償參數[3，8，9]，代入變換模型對圖像進行變換，這樣既能有效地保留攝像機的正常掃描運動，同時又能較好地實現圖像序列穩定。

2 仿真實驗與算法評價

2.1 仿真實驗

實驗中的圖像序列由截取視頻捕捉設備輸出的20幀圖像組成，視頻捕捉設備選用天敏10Moons SDK-2000 視頻監控卡，以30 fps的幀率采集360×450的真彩色圖像。為了更好地模擬實際振動，攝像機被安放在一個抖動平臺上，該平臺可以實現水平和垂直方向3 Hz的振動，水平振幅1 mm，垂直振幅3 mm。為了方便對圖像進行處理，首先把截取的真彩圖像轉換為灰度圖像。圖4顯示了圖像序列中的兩幀圖像。其中第一幀作為參考圖像，第二幀相對于第一幀圖像存在水平和垂直方向上的抖動。

實驗中，首先對圖像序列利用改進的Canny算子進行邊緣檢測，檢測到的邊緣部分保留其灰度值，對非邊緣部分將灰度值清零，然后對圖像進行區域劃分;兼顧穩像的速度和精度要求，將圖像序列中的各幀圖像分成15個垂直的區域，選取灰度最大的點作為圖像的特征點，共可選擇15個特征點;根據距離不變準則對特征點校正，其中正確匹配的特征點對標記為“”，誤匹配的特征點對標記為“+”，實驗結果如圖5所示。

由圖5可以看出，誤匹配的特征點只有兩個，特征點提取正確率為86.7%。相比較其他的特征點提取方法，該算法可以較好地去除圖像噪聲對提取特征點的干擾，具有較高的提取效率和精度。通過特征點匹配驗證后將誤匹配點刪除，留下正確匹配特征點，隨后進入實際穩像中的關鍵環節，即運動向量估計和補償階段。利用二維運動模型求出運動參量，通過卡爾曼濾波求出補償參量，對當前幀進行補償，補償后的結果如圖6所示。

2.2 算法評價

目前常用的圖像保真度的評價方法主要包括均方差(MSE)、根均方差(RMSE)、峰值信噪比(PSNR)及差影比較方法等。圖7中橫坐標是圖像序列的幀數，縱坐標是圖像序列的PSNR值。圖像下方的曲線是原始圖像的PSNR值曲線，而上方的曲線是圖像序列采用特征點匹配算法處理后得到的PSNR值曲線。由于攝像機的運動，圖像邊緣信息會有損失，故而此處計算的峰值信噪比是在剪切邊緣處理后的圖像之間進行的。由圖7可以看出，采用本文穩像算法后的圖像PSNR值較穩像前有了明顯的提高，穩像后的圖像序列有了更高的穩定性。

圖8(a)和(b)分別是從圖像序列中所選取的未經過補償的第四幀圖像與參考圖像的差分圖和經過補償后的第四幀圖像與參考圖像的差分圖。當兩幀之間的運動矢量被完全補償時，它們的差值圖像各點像素灰度值應為零，差值越小說明兩幀圖像越相似，對應圖像序列逼真度也就越高，結果序列也就越穩定。通過比較參考圖像與當前圖像及參考圖像與補償后的圖像的差分圖，可以看出該算法具有良好的穩像效果。

3 結束語

本文將改進的Canny 邊緣檢測算子用于數字電子穩像技術中，通過對圖像進行合理分區，在子區域內選擇噪聲影響較小的灰度最大邊緣點作為特征點。相比較其他的特征點提取方法，改進的Canny邊緣檢測算子能提取較細的圖像邊緣，使得特征點的穩定性有了很大的提高。代入給定的變換模型，實現圖像序列的平移和旋轉運動的補償。實驗結果證明，該算法具有較好的處理結果。

參考文獻:

[1]VANNE J， HAMALAINEN T D， KUUSILINNA K. Aparallel memory system for variable block-size motionestimation algorithms[J]. Circuits and Systems for Video Technology， 2008，18(4):538-543.

[2]SUN H. Fast gray projection algorithm and its application to electronic image stabilization[J]. Optics and Precision Engineering，2007，15(3):412-416.

[3]MARIUS T， MARKKU V. Constraint motion filtering for video stabilization[C]//Proc of IEEE International Conference on Image Processing. 2005:569-572.

[4]YONG S， WANG R S. Improved algorithms for motion detection and tracking[J]. Optical Engineering， 2006，45(6):1-7.

[5]BAO P， ZHANG L. Canny edge detection enhancement by scale multiplication[J]. IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27(9):1485-1490.

[6]SUK J Y， LEE G W， LEE K I. New electronic digital image stabilization algorithm in wavelet transform domain[C]//Proc of International Conference on Computational Intelligence and Security. 2005:911-916.

[7]ERTURK S. Digital image stabilization with sub-image phase correlation based global motion estimation[J]. IEEE Trans on Consumer Electronics，2003，49(4):1320-1325.

[8]孟勃，朱明.粒子濾波算法在非線性目標跟蹤系統中的應用[J].光學精密工程，2007，15(9):1421-1426.

[9]趙鵬，沈庭芝，單寶堂.一種基于粒子濾波的無人機電視導引系統目標跟蹤算法[J].光學精密工程，2008，16(1):134-140.