改進Harris－SIFT算法在水下圖像匹配中的應用

王 鑫，賈敏智

(太原理工大學信息工程學院，山西太原030024)

改進Harris－SIFT算法在水下圖像匹配中的應用

王 鑫，賈敏智

(太原理工大學信息工程學院，山西太原030024)

針對尺度不變特征變換(SIFT)算法實時性差、錯匹配多，以及Harris角點檢測算法精度不高、速度偏慢的問題，提出了一種運用改進Harris-SIFT算法對水下拍攝的雙目圖像進行特征點提取與匹配的方法。利用改進的Harris算法對兩幅圖像進行角點檢測，然后為特征點分配方向，并生成SIFT特征描述子，完成匹配。實驗結(jié)果表明，該算法實時性強、匹配率高，并能較好地反映水下物體的形狀特征。

改進Harris-SIFT算法;雙目圖像;角點檢測;匹配

隨著科學技術(shù)的進步，水下勘探、水下目標定位、跟蹤等技術(shù)越來越受到世界各國的重視。世界上先進的水下機器人大多采用雙目視覺技術(shù)，能否快速而準確地對水下拍攝的雙目圖像進行特征提取與匹配成為研究的核心和難點。由于水下光線較弱，可見度低，拍攝的圖像不夠清晰且易于變形，圖像的特征不夠明顯，因而特征點的提取工作尤為重要。SIFT算法具有較好的尺度、旋轉(zhuǎn)、光照及視角不變性，可以在復雜的環(huán)境中匹配并識別出目標物體，是一種較為完善并且穩(wěn)定的方法。但SIFT算法提取的特征點并非人們視覺意義上的角點，不能很好地反映圖像的結(jié)構(gòu);而且大量復雜的計算會導致其實時性較差，難以滿足對實時性要求較高的雙目立體視覺系統(tǒng)。而傳統(tǒng)的Harris-SIFT算法雖然可以提取角點，但受系數(shù)k和閾值T的影響，提取的特征點不夠準確且速度偏慢。

本文提出一種改進的Harris-SIFT算法。先通過改進的Harris算法對圖像進行角點檢測，再利用SIFT算法描述圖像特征，最后根據(jù)歐氏距離判定匹配點，并采用RANSAC算法剔除誤匹配的點，完成匹配。

1 Harris算法與改進的Harris算法

1.1 Harris角點檢測算法

Harris檢測算法是在Moravec角點檢測算法基礎上擴展出來的一種特征點提取算法，對圖像旋轉(zhuǎn)、灰度變化以及視角變換保持較好的穩(wěn)定性。

該算法受自相關(guān)函數(shù)思想的啟發(fā)，給出了自相關(guān)矩陣

式中:Iu(x，y)，Iv(x，y)，Iuv(x，y)分別為圖像點的灰度在u和v方向上的偏導及二階混合偏導;M的行列式表示為det(M)，其對角線之和表示為tr(M)。角點響應函數(shù)定義為

式中:經(jīng)驗值k通常取0.04～0.06。經(jīng)計算，當某一像素點的R值大于設定的閾值T時，這個點即為角點。

角點提取的準確性和可靠性受經(jīng)驗值k的影響，k值的選取會因圖像的不同而不同。多次調(diào)試k值會花費大量的時間，導致角點的提取速度變慢。

由于提取角點時閾值T是確定的，角點提取的效果完全取決于T值的設定，T值過大會導致特征點數(shù)目過少，信息量不足，T值過小會導致特征點數(shù)目過多，計算量加大。總之，T值過大或過小都會降低匹配的準確性。每一幅圖片的屬性都不相同，要想設定具體的閾值也很困難。此外，常常出現(xiàn)一些點聚集在某個區(qū)域的現(xiàn)象，會影響角點分布的均勻性與合理性，進而影響匹配的準確性。

1.2 改進的Harris角點檢測算法

針對上述情況，本文對Harris角點檢測算法進行了改進，使用一種不含k的角點響應函數(shù)R

式中:ε為正的微小量。式(3)避免了k值的選取，能夠減小所檢測角點的點位置偏差。

為避免手動設定閾值對角點提取結(jié)果產(chǎn)生的影響，本文采用一種自動設定閾值的方法。采用圖像分塊與鄰近角點剔除的策略，無需設置閾值，保證角點均勻分布，避免產(chǎn)生聚簇現(xiàn)象。首先，對圖像中每個像素點進行操作，得到矩陣M，再通過式(3)計算出它們的R值。然后，采用固定塊數(shù)的分塊法將圖像分為N塊，按R值的大小對每塊中的所有角點進行排序，本文采用由大到小排序，留下R值較大的角點。最后，選用一個n×n的模板來處理整幅圖像，保留該模板下多個角點中R值最大的點，將臨近的角點剔除。這樣，對整幅圖像的角點檢測就已完成。

此外，Harris算法定位精度較低，F(xiàn)orstner算法雖然定位精度較高，但當圖像灰度變化時呈現(xiàn)出算法的不穩(wěn)定性。本文結(jié)合兩種算法，將前面Harris算法提取出來的角點作為Forstner算子最佳窗口的中心點，在窗口內(nèi)實施加權(quán)中心化，對角點位置進行精確定位，將精度提高到亞像素級。至此，完成了對Harris算法的改進。

2 SIFT算法

SIFT算法是David G.Lowe于2004年提出的一種提取圖像局部特征的算法。該算法對圖像尺度變化、旋轉(zhuǎn)等保持不變性，對圖像變形以及光照的變化有很強的適應性。

1)多尺度極值點的檢測

高斯卷積核是尺度變換唯一的變換核，亦即唯一的線性核。二維圖像I(x，y)尺度空間的定義為

利用DOG scale-space(高斯差分尺度空間)來檢測穩(wěn)定的關(guān)鍵特征點，具體表示為尺度不同的兩個高斯差分核和圖像的卷積。

在DOG尺度空間內(nèi)，每個采樣點均要同其空間內(nèi)的相鄰點逐個比較，判斷它是極大值或極小值，選出其中的極值點即為尺度空間的局部極值點。

2)精確定位極值點

由于DOG算子對噪聲以及邊緣較敏感，可通過對局部極值點的三維二次函數(shù)擬合來實現(xiàn)特征點位置和尺度的精確定位，利用D(x，y，σ)的二階泰勒展開式D(X)的插值得到特征點位置及尺度坐標的精確值。

式中:向量X=(x，y，σ)，表示采樣點與特征點間的位置、尺度偏移。將候選關(guān)鍵點中低對比度的點和不穩(wěn)定的邊緣響應點去除，來增強匹配性能，提高抗噪能力。

3 改進的Harris-SIFT算法

由于雙目立體視覺系統(tǒng)對實時性要求較高，通過上面對SIFT算法前兩步的分析得知，SIFT算法提取特征點過程較復雜，不能很好地滿足雙目立體視覺系統(tǒng)對實時性的要求。具體體現(xiàn)在以下3個方面:1)特征提取過程復雜，計算時間長。2)在生成的大量特征點中，能夠正確匹配的特征點很少，影響匹配速度。3)不能準確定位圖像的角點，提取的特征點不能反映圖像結(jié)構(gòu)。然而，SIFT算法具有較好的尺度、旋轉(zhuǎn)、光照及視角不變性。

通過前面對改進Harris算法的介紹，本文發(fā)現(xiàn)改進后的Harris算法具有下述優(yōu)點:1)實時性好，計算簡單。避免了對系數(shù)k及閾值T的設置，減少了計算量，節(jié)省了大量時間。2)自適應能力強。閾值T的自動設定提高了角點檢測的自適應能力。3)提取的角點精度高，且分布均勻、合理，反映圖像結(jié)構(gòu)。4)能夠在圖像位置變化及噪聲干擾的情況下準確檢測特征點，且誤檢率較低，穩(wěn)定性強。然而，它只能在單一尺度下進行角點檢測，不具有尺度不變的特性。

所以，為了更準確、快速地完成對水下圖像的匹配工作，本文提出一種改進的Harris-SIFT算法。具體步驟為:先用改進的Harris算法對圖像進行角點檢測，提取圖像的特征點;再為每個特征點分配方向，并生成SIFT特征描述子;最后從左右兩幅圖像的特征點中確定出合適的匹配點，完成匹配。其總流程如圖1所示。

3.1 為特征點分配方向

運用改進的Harris算法檢測到圖像的角點之后，本文依據(jù)角點的鄰域像素梯度方向的分布特性給每個角點分配方向，其梯度計算公式為

圖1 流程圖

式中:L為角點的尺度;(x，y)為角點的鄰域像素。

實際應用中，創(chuàng)建梯度直方圖用以統(tǒng)計鄰域像素的梯度方向。分別將主峰值和約為主峰值80%的其他峰值作為該點的主方向和輔助方向，這樣能夠減少圖像旋轉(zhuǎn)對特征點的影響。

3.2 生成SIFT特征描述子

為確保描述子的旋轉(zhuǎn)不變性，將坐標軸按照特征點的方向進行旋轉(zhuǎn)。用16個(4×4)種子點來描述每個特征點，每個種子點含8個方向向量，這樣每個特征點就產(chǎn)生16×8即128個數(shù)據(jù)，形成128維的SIFT特征向量，再對特征向量的長度做歸一化處理，進一步去除光照的影響。

至此，運用改進的Harris-SIFT算法生成的特征向量能夠去除旋轉(zhuǎn)、尺度、光照變化對特征點的影響。

3.3 特征點的匹配

本文利用描述子的歐氏距離對兩幅圖像的特征點進行相似性判定。找出圖像2中與圖像1的某個特征點歐氏距離最近的兩個點，計算最近點與次近點歐氏距離的比值，若比值小于設定的比例閾值，則判定這兩點為一對匹配點。

最后，利用RANSAC算法篩選并去除錯誤的匹配點，盡可能降低錯誤率，達到最佳的匹配效果。

4 實驗結(jié)果與分析

選取一組在水下拍攝的雙目圖像，圖像的尺寸均為579×440。圖2a為左攝像頭拍攝的圖像，圖2b為右攝像頭拍攝的圖像。實驗運用MTLAB R2009b軟件仿真，并對SIFT算法、Harris-SIFT算法和本文算法進行了比較分析。

圖2 攝像頭拍攝的水下模糊圖像

采用SIFT算法、Harris-SIFT算法和本文算法匹配的效果分別如圖3、圖4和圖5所示。表1為采用3種算法得出的實驗數(shù)據(jù)對比。

圖3 SIFT算法匹配圖

圖4 Harris-SIFT算法匹配圖

從圖3～5及表1可看出，采用SIFT算法提取的特征點數(shù)最多，誤匹配數(shù)量也最多，匹配率低，匹配時間長; Harris-SIFT算法雖然比SIFT算法在性能上有了一些改進，但受k和T的影響，仍出現(xiàn)較多的誤匹配點，匹配時間也較長。而本文算法在縮短匹配時間的同時提高了匹配率，雖然特征點數(shù)目有所減少，但提取的點都是水下圖像的角點，且分布比較均勻，精確度高，較好地反映了水下圖像的結(jié)構(gòu)。

圖5 本文算法匹配圖

表1 3種算法的性能比較

5 結(jié)論

水下光線較弱、可見度低，拍攝的圖像不夠清晰且易變形，其特征不夠明顯，難以準確提取。本文提出一種改進的Harris－SIFT算法，先通過改進的Harris算法對圖像進行角點檢測，再利用SIFT算法描述圖像特征，最后根據(jù)歐氏距離判定匹配點，并采用RANSAC算法剔除誤匹配點，完成匹配。實驗結(jié)果表明，本文算法提取的特征點特征集合性顯著，較好地反映了圖像的結(jié)構(gòu)。同時，本算法在提高匹配率的基礎上有效地縮短了匹配時間，即提高了準確性和實時性，更加適合應用到雙目立體視覺系統(tǒng)中，為今后水下勘察、目標定位、場景的三維重建等方面的研究奠定了良好的基礎。

［1］LOWE D.Distinctive image features from scale－invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91－110.

［2］SCHIMID C，MOHR R，BAUCKHAGEC.Evaluation of interest point detectors［J］.International Journal of Computer Vsion，2000，37(2): 151－172.

［3］常麗萍，冀小平，趙梁.分塊的基于Harris角點檢測的圖像配準方法［J］.電視技術(shù)，2013，37(1):45－47.

［4］江鐵，朱桂斌，孫奧.特征點提取算法性能分析研究［J］.科學技術(shù)與工程，2012，12(30):7924－7929.

［5］孟浩，程康.基于SIFT特征點的雙目視覺定位［J］.哈爾濱工程大學學報，2009，30(6):649－652.

［6］邱建國，張建國，李凱.基于Harris與Sift算法的圖像匹配方法［J］.測試技術(shù)學報，2009，23(3):271－274.

［7］趙欽君，趙東標，韋虎.Harris－SIFT算法及其在雙目立體視覺中的應用［J］.電子科技大學學報，2010，39(4):546－550.

［8］胡海青.改進SIFT算法在文字圖像匹配中的應用［J］.計算機工程，2013，39(1):239－243.

Application of Improved Harris－SIFT Algorithm in Underwater Image M atching

WANG Xin，JIA Minzhi
(Institute of Information Engineering，Taiyuan University of Technology，Taiyuan 030024，China)

Due to the problems of the poor real-time performance and moremismatch in the SIFT algorithm，together with the low accuracy and slow speed in the Harris corner detection algorithm，amethod of extracting and matching the feature points for underwater binocular images based on the improved Harris-SIFT algorithm is proposed.The corner points of two images are detected by using the improved Harris algorithm，then the directions for each feature point are distributed.Finally，the SIFT feature descriptors are generated and thematching is completed.In the experimental results，it showes that the algorithm proposed in this paper has good real-time performance and high matching rate，and can reflect the objects’shape featureswell.

improved Harris-SIFT algorithm;binocular images;corner detection;matching

TP391.4

A

王 鑫(1987— )，女，碩士生，主研計算機視覺伺服系統(tǒng)、智能控制理論及其應用;

?? 雯

2013－07－27

【本文獻信息】王鑫，賈敏智.改進Harris-SIFT算法在水下圖像匹配中的應用［J］.電視技術(shù)，2014，38(13).

賈敏智(1963— )，副教授，碩士生導師，主要研究方向為智能控制理論及其應用、微型計算機控制系統(tǒng)及工程，本文通訊作者。