一種用于螺紋桶內壁圖像拼接的匹配方法

雷博文，石英

一種用于螺紋桶內壁圖像拼接的匹配方法

雷博文，石英

(武漢理工大學自動化學院，湖北武漢430070)

針對傳統螺紋圖像匹配方法誤匹配率高、難以實現圖像拼接的問題，提出了基于尺度不變特征變換(SIFT)改進的匹配算法。先將采集圖片進行枕形失真校正，在此基礎上構建圖像尺度空間，并在標定重疊區域內搜索高斯差分(DoG)金字塔的SIFT特征點。利用快速最近鄰逼近搜索函數庫(FLANN)匹配特征點，結合坐標比較和隨機抽樣一致性算法(RANSAC)進一步剔除誤匹配，最終匹配正確率達到99%以上。實驗結果表明:基于標定區域內的特征提取及匹配約束條件可提高匹配速度和精度。相比傳統匹配方法，本文匹配方法對相似性較高的螺紋圖像匹配具有魯棒性和優越性，適用于螺紋桶內壁圖像的全景拼接。

圖像匹配;畸變校正;尺度不變特征變換;隨機抽樣一致性算法

0 引言

中國現有的核電廠檢測報警系統大都采用模擬式，其智能化程度低、可靠性差、人機界面不友好，已難以滿足生產安全標準。近年來，計算機技術的日新月異促進了故障診斷與故障報警技術的發展，同時，核電標準的不斷完善，安全性、可靠性要求的提高，也促使核電廠采用先進的檢測技術與設備。文獻［1］評述了深度學習在核電廠檢測系統中的應用前景，提出只有開放式、繼承性與再學習能力的復合型專家系統才能滿足復雜的核電廠檢測，但沒有介紹核電設備檢測的實際應用。文獻［2］提出了一種基于總體經驗模式分解(ensemble empirical mode decomposition，EEMD)排列熵和主成分分析-GK聚類(principal component analysis-GK，PCA-GK)的滾動軸承聚類故障診斷，可見機器視覺和深度學習在工業檢測中的重要性，而智能化的核電設備檢測技術仍需進一步研發。

核電廠內設施多為大型設備，經常采用多攝像頭多角度拍攝圖片，需借助圖像拼接技術將分塊圖片合成為360°全景圖［3］，以便快速定位螺紋損壞和生銹處。圖像匹配作為圖像拼接的關鍵技術，直接決定拼接圖像的連貫性和完整性，在工業檢測、軍事、遙感等領域應用廣泛［4］。例如，巡航導彈應用圖像匹配技術實現地圖地形匹配來制導，景物分析中的變化檢測以及工業儀表表面缺陷檢測等也需要圖像匹配技術。

現有的圖像匹配方法分為基于區域和基于特征兩大類［5］?；趨^域的匹配方法建立在整幅圖像的總體特征上，對圖像旋轉和亮度差異較為敏感，要求重疊范圍較大?；谔卣鞯钠ヅ浞椒ń⒃趫D像的局部特征上［6］，該方法由于提取了圖像的顯著特征，大幅減少了圖像匹配信息數據量，同時保持了圖像平移、旋轉、縮放等情況下的特征。相對而言，基于特征的匹配算法更加穩定且運算效率高。

特征點提取算法發展較為成熟，如Morave算法、SUSAN算法、Harris算法等，均可提取均勻、合理且穩定的角點，但它們多用于單尺度下的角點檢測，不能很好地解決螺紋圖像間的視角差異和尺度變換。文獻［7－8］研究了尺度不變特征變換(scale-invariant feature transform，SIFT)算法，該算法對圖像旋轉、尺度變換、亮度差異均具有穩定性，已發展為主流的圖像局部特征提取算法。文獻［9］利用SIFT和局部二值模式(local binary pattern，LBP)相結合的圖像匹配算法，構造了一種計算簡單且維數低的特征點描述方法，可提高算法運算速度。文獻［10］利用SIFT算法結合改進的Harris算法的圖像匹配方法，大大提高了特征點提取速度并降低了計算復雜度。以上算法雖然提高了運算速度，但沒有考慮到匹配圖像中存在一定相似特征點時SIFT算法的匹配精度。此外，特征點集作為待匹配圖像的重要標識，其合理選擇對最終匹配結果起到至關重要的作用。特征點數目多，則匹配精度較高，但計算量大且速度較慢;反之，則匹配精度降低，速度提高。

在核電站反應堆中，螺紋桶作為通道封鎖設備，可威脅工業生產的穩定性和安全性，因此，本文將借助于機器視覺檢測核電站的螺紋桶設備，提高核電設備檢測的智能性。為解決傳統方法用于螺紋桶內壁圖像拼接的匹配問題，兼顧匹配速度和精度，提出以下解決方案:通過枕形畸變的逆過程還原內壁原貌，提高圖像檢測和特征匹配的準確性;在標定重疊區域內提取SIFT特征點，以減少特征點數量、提高后續匹配準確度;指定約束條件計算匹配特征點的數學模型，得到有效匹配點對。

1 匹配預處理

螺紋圖片的采集，選用7個工業攝像頭豎直排列并固定在支架上，以螺紋桶中心為軸心將支架旋轉若干角度拍攝，捕獲內壁分塊圖片。根據拍攝分辨率要求，鏡頭與螺紋距離約為6 cm，此時可觀察到明顯的枕形失真畸變，左右相鄰圖片的重疊區域分別存在向上、向下彎曲形變，若直接進行圖像匹配，難以保證變形嚴重區域的特征點匹配正確，需先將其校正后再進行圖像匹配。

由于加工和裝配存在誤差，物體點在攝像機圖像平面上實際所成的像與理想成像之間存在不同程度的非線性光學畸變［11］。本文采用Basler dart USB 3.0型相機和Satoo VTS0614-M2型定焦鏡頭采集圖像，表現為枕形畸變，若不采用校正預處理，將導致圖像無法匹配或匹配錯誤，因此，根據枕形失真的退化模型進行校正。首先，需要整定相機內參數。枕形失真的退化模型為:

其次，根據透鏡畸變原理，確定相機畸變參數，包括徑向畸變參數(k1、k2、k3)和切向畸變參數(p1、p2)，畸變向量為［k1k2k3p1p2］T。鏡像畸變模型示意圖如圖1所示。

對于該類短焦距光學鏡頭，徑向畸變起主要作用，徑向誤差校正方法［12］如下:

其中:r為成像儀中心的畸變量;(x，y)為畸變點在成像儀上的原始位置，由枕形失真的退化模型(1)得出; (xcorrected，ycorrected)為校正后的新位置。

校正后的圖像滿足了人眼視覺效果，且便于后續的圖像匹配。

2 基于SIFT改進的圖像匹配算法

圖1 鏡像畸變模型示意圖

2.1 特征提取

2.1.1 構建圖像尺度空間

圖像的尺度空間核函數L(x，y，σ)是由不同尺度的高斯函數G(x，y，σ)與輸入圖像I(x，y)的卷積得到。不同的尺度空間核函數序列，對應平滑圖像構成的高斯圖像金字塔，表達式［13］為:

通常采用高斯拉普拉斯(Laplace of Gaussian，LoG)方法檢測不同尺度下的圖像特征點，但效率不高。本文采用高斯差分(difference of Gaussian，DoG)近似表示LoG，用減法取代LoG核計算以減少運算量，即

其中:k為相鄰尺度空間的倍數。

2.1.2 標定重疊范圍

通過現場實測表明:相鄰角度螺紋圖片重疊范圍不超過原圖像寬度的10%，據此提取待拼接圖片的關鍵區域，若圖片Ⅰ和圖片Ⅱ為左右相鄰的兩張圖片，則提取圖片Ⅰ的右邊10%寬度區域，圖片Ⅱ的左邊10%寬度區域。

2.1.3 確定特征點

在標定重疊范圍內搜索DoG金字塔的特征點，將每個像素與其26個相鄰點比較，選擇極值點作為候選特征點，然后剔除候選特征點中對比度低或具有邊緣響應的點，得到篩選后極值點，從而確定了特征點的位置和尺度信息。

2.1.4 計算特征點方向角度

為實現旋轉不變性，根據特征點所在高斯尺度圖像的局部結構，求得一個方向基準，以特征點為中心、3×1.5σ為半徑，計算該區域內所有像素梯度的幅值m(x，y)和幅角θ(x，y)，

用梯度直方圖統計梯度方向所對應的幅值大小，對直方圖做平滑處理，主峰值對應的梯度方向代表該特征點的主方向θ。

2.1.5 生成特征向量

通過上述計算，每個特征點被分配了位置、尺度和方向，即K(x，y，σ，θ)。首先將特征點的鄰域旋轉θ，在該區域4×4個小塊上計算8個方向的梯度方向直方圖，生成128維特征向量。

對比傳統SIFT特征，本文生成特征的優點在于，基于標定重疊區域提取特征，可極大減少運算成本，避免相似結構下非重疊區域與重疊區域的特征點錯配，誤匹配概率較小。

2.2 改進的特征匹配

常用改進的搜索算法有兩種:基于Brute-force的特征點歐氏距離最近特征向量搜索和基于快速最近鄰逼近搜索函數庫(fast library for approximate nearest neighbors，FLANN)的近似最近鄰搜索。在大規模特征向量檢索中，FLANN算法采用KD樹(k-dimension tree)結構實現近似搜索，返回最近鄰的估計值，而非直接獲取最近鄰值，從而降低運算復雜度，效果更優。

根據搜索結果進行相似性度量，得到潛在匹配點對，由于圖像干擾，難免存在部分誤匹配，可通過添加約束條件，提高匹配精度。具體步驟如下:

(Ⅰ)使用FLANN匹配器進行特征向量匹配，在KD樹結構上搜索2個近似最近鄰，即對查詢集的每個描述子尋找2個最好的匹配子，僅當兩者之間的比值足夠小時，接受最近鄰匹配子為匹配點對。

(Ⅱ)設步驟(Ⅰ)中匹配點對在兩幅圖像中的像素值分別為I(x1，y1)和I(x2，y2)，選擇適當的閾值

(Ⅲ)從步驟(Ⅱ)的樣本集中隨機抽選一個隨機抽樣一致性(random sample consensus，RANSAC)算法樣本，即4組匹配點對，計算其變換矩陣和錯誤概率，反復迭代，直到當前錯誤概率小于給定最小錯誤概率，去除偽匹配，并返回n對最佳匹配點對。

(Ⅳ)分別計算這n對匹配點的橫、縱向偏移量，根據橫、縱向偏移均值和確定重疊區域，

其中:x1，i和x2，i分別為第i對匹配點對在兩匹配圖中的x坐標;y1，i和y2，i分別為第i對匹配點對在兩匹配圖中的y坐標。

3 實驗結果與分析

實驗以Visual Studio 2010和OPenCV2.4.9為軟件開發平臺，上位機配置英特爾酷睿i7處理器，英偉達GTX 950顯卡、8 G內存，搭載32位Windows 7操作系統。采集左右相鄰的兩幀原始圖像(圖像Ⅰ和圖像Ⅱ)，分辨率為1 280 pixel×960 pixel，原始采集圖像Ⅰ如圖2所示，原始采集圖像Ⅱ為圖像Ⅰ的右側圖像，與圖像Ⅰ類似，故此處省略。由圖2可看出:原始采集圖像Ⅰ存在明顯的枕形失真。

首先，采用式(1)～式(3)進行枕形失真校正，先進行攝像機標定實驗，拍攝一組不同方向的棋盤圖像，實測得出fx、fy均設為2 000較為合適，由于攝像頭分辨率為1 280 pixel×960 pixel，且成像儀芯片中心對光軸無偏移，所以將(cx，cy)設為(640，480)。再進行k1、k2、k3的交叉實驗。實驗結果表明:當k1=0.45，k2=k3=0時，校正效果最佳。原始采集圖像Ⅰ的畸變校正圖見圖3。與圖3相鄰的右側圖像，畸變校正效果與圖3類似，故此處省略。圖3中螺紋彎曲部分均已校正為直線，可見本文采集圖像的枕形失真主要由成像儀中心畸變量的二次項引起，與其高次項無關。

圖2 原始采集圖像Ⅰ

圖3 原始采集圖像Ⅰ的畸變校正圖

對校正后的圖像進行SIFT特征提取，采用全圖檢測和標定重疊區域檢測兩種檢測方法。圖3以及與圖3相鄰的右側圖像中標定重疊區域的SIFT特征提取如圖4所示。特征檢測對比結果如表1所示。由表1可看出:SIFT特征提取后的特征點數量，比全圖檢測特征點數量約減少7倍，檢測時間也下降了8倍。

接著，對上述提取的特征點使用傳統和改進的SIFT特征匹配方法，進行對比實驗。

在傳統SIFT特征匹配方法中，將歐氏距離比例閾值設為0.49，匹配結果如圖5所示。圖5中含有85對匹配點，其中交叉的連線為錯誤匹配。匹配耗時為5.41 s。由圖5可見:交叉連線有66條，錯誤匹配約占77.6%。

圖4 標定重疊區域SIFT特征提取

表1 特征檢測對比結果

使用改進的SIFT特征匹配方法，利用FLANN匹配器進行特征向量匹配，獲取1組粗匹配對，匹配結果如圖6所示。圖6中包含82對匹配點，其中交叉連線有37條，錯誤匹配約占45.1%，匹配耗時為3.32 s。相對傳統特征匹配方法，改進的FLANN匹配方法誤匹配率下降了32.5%，且匹配耗時減少了2.09 s，但仍存在少量誤匹配。

為進一步剔除誤匹配，接下來對粗匹配對進行坐標比較實驗。由于標定重疊區域約為圖像寬度10%，將匹配步驟(Ⅱ)中閾值q設為1 280×10%=128，由于旋轉過程較穩定，相鄰角度圖像的y值無較大偏差，經實測閾值p≤30。圖7是在圖6的基礎上使用坐標初步篩選后的匹配結果，包含保留的45組匹配對，此時圖6中交叉的連線已經完全濾除，但仍有1條連線與其他連線不平行。

最后，使用RANSAC算法在步驟(Ⅱ)的基礎上進行提純，以提高匹配精度，提純結果見圖8。由圖8可見:提純后所有連線均平行，匹配點對數量為44，經過層層篩選，匹配點對數量逐漸減少且正確率越來越高，最終保留的匹配點對完全正確。

圖5 傳統匹配結果

圖6 FLANN快速匹配結果

圖7 坐標比較

圖8 RANSAC提純結果

綜合考慮匹配效果與程序運行效率，本文統計了使用不同匹配方法后得到的匹配點對的數量、匹配正確率以及程序運行時間，不同匹配算法的實驗結果對比如表2所示。由表2可知:傳統的SIFT特征匹配正確率較低，耗時多;改進的SIFT特征匹配中，使用FLANN方法提高了特征點匹配速度，附加坐標比較和RANSAC提純約束條件，顯著提高了匹配精度，最后得到的匹配點對完全正確。由此可見，改進的SIFT特征匹配算法相比傳統的SIFT特征匹配算法，在匹配精度和運算速度上都有所提高。

表2 不同匹配算法的實驗結果對比

為了驗證本文提出的匹配方法的有效性，通過螺紋桶內壁圖像拼接實驗，展示匹配精度。圖9為確定重疊區域后的圖像配準?？紤]到旋轉過程中光照條件的變化，相鄰圖像在亮度上會有一定差異，采用漸入漸出融合法，實現配準后圖像的無縫拼接，拼接圖像見圖10。由圖10可以看出:拼接縫基本消除，且光照差異不明顯，實現了圖像間的自然過渡，拼接效果良好。說明本文匹配方法適用于具有大量相似結構的螺紋圖像拼接，匹配速度和精度均較好。

圖9 圖像配準

圖10 拼接圖像

4 結論

本文在傳統SIFT特征匹配基礎上，提出了一種基于FLANN和坐標約束的改進的SIFT特征匹配算法，解決了螺紋圖片中因含有大量相似結構而極易發生誤匹配的問題。在校正圖像的標定重疊區域內提取SIFT特征，提高了運算效率，在FLANN基礎上附加坐標比較和RANSAC約束提高了匹配精度，可實現多攝像頭、多角度螺紋圖像的高效匹配。根據最終匹配結果確定拼接縫，進行漸入漸出融合實驗，獲得了較好的拼接效果。該匹配方法的匹配速度和精度均滿足需求，相比傳統匹配方法更適用于螺紋圖像匹配。

［1］陳浩，鄭明光.核電廠故障檢測與報警系統的發展概況［J］.原子能科學技術，2000，34(6):563－568.

［2］黃友朋，趙山，許凡，等.EEMD排列熵與PCA-GK的滾動軸承聚類故障診斷［J］.河南科技大學學報(自然科學版)，2017，38(2):17－24.

［3］杜往澤，宋執環，閆文博，等.單攝像頭旋轉監控下的快速圖像拼接［J］.中國圖象圖形學報，2016，21(2):245－254.

［4］祝繼華，周頤，王曉春，等.基于圖像配準的柵格地圖拼接方法［J］.自動化學報，2015，84(2):285－294.

［5］王帥，李迎春，張廷華.相機陣列中無視場重合圖像時間配準方法研究［J］.電子測量技術，2015，39(10):53－58.

［6］高放，陸頻頻，王旭.基于相似特征點集的SIFT匹配改進算法［J］.測繪工程，2016，25(6):19－23.

［7］LOWE D G.Object recognition from local scale-invariant features［C］//Proceedings of the International Conference on Computer Vision.Corfu，Greece，1999:1150－1157.

［8］傅衛平，秦川，劉佳，等.基于SIFT算法的圖像目標匹配與定位［J］.儀器儀表學報，2011，32(1):163－169.

［9］鄭永斌，黃新生，豐松江.SIFT和旋轉不變LBP相結合的圖像匹配算法［J］.計算機輔助設計與圖形學學報，2010，22(2):286－292.

［10］唐堅剛，孫龍杰，楊生遠.SIFT結合改進的Harris的圖像匹配方法［J］.計算機應用與軟件，2013，30(7):126－131.

［11］楊必武，郭曉松.攝像機鏡頭非線性畸變校正方法綜述［J］.中國圖象圖形學報，2005，10(3):269－274.

［12］胡明勇，李明杰.大視場針孔物鏡設計及成像畸變校正［J］.光學學報，2017，27(5):1－10.

［13］MUJA M，LOWE D G.Fast approximate nearest neighbors with automatic algorithm configuration［C］//Proceedings of the Fourth International Conference on Computer Vision Theory and Applications.Lisbon，Portuga，2009:331－340.

TP391.41

A

1672－6871(2017)05－0037－06

10.15926/j.cnki.issn1672－6871.2017.05.008

國家自然科學基金項目(61374050，51477125);江蘇省科技研究與發展計劃基金項目(BE2016155)

雷博文(1993－)，女，湖北荊州人，碩士生;石英(1975－)，女，湖北武漢人，教授，博士，碩士生導師，主要研究方向為圖像處理、模式識別及車聯網.

2016－12－26