基于PSO-SURF算法的井下圖像拼接

桂方燚　田立勤　杜雨荃

關鍵詞：煤礦圖像；SURF；粒子群算法；特征點匹配

中圖分類號：TP273 文獻標識碼：A

文章編號：1009-3044（2023）12-0004-05

0 引言

隨著煤礦的開采，煤礦面臨著越來越嚴峻的安全形勢。因為開采設備的老化以及人為操作上的失誤，可能會造成重大生產責任事故。為了避免這種人為導致的事故，各大煤礦采用了視頻監控系統，而由于煤礦下面臨著光照以及地形的影響，導致監控設備采集的圖像不具有大視野，為獲得大視野的圖像便于安全監督人員的異常監控，有必要對井下圖像的拼接進行研究。

目前在圖像拼接領域內使用較為普遍的是采用特征提取的方式，基于特征的拼接方法是通過提取兩幅圖像重疊區域的特征點再對圖像進行融合處理，這類算法具有高穩定性。其中以快速魯棒特征（Speeded Up Robust Feature，SURF） 算法作為代表，其作為尺度不變特征變換（Scale Invariant Feature Trans?form，SIFT） 算法的改進型，具有較低的時間復雜度和魯棒性，在圖像拼接方面，發揮了很大的作用。Wang?yan等人將遺傳算法和SIFT結合運用在無人機航拍圖像的實時拼接，提高了實時性和穩健性[1]。楊璇璇運用隨機采樣一致性算法和ORB算法實現對特征點的提取和匹配，提高了拼接的效率[2]。林曉帆等人采用SURF匹配算法對遙感圖像提取得到特征點，利用最小二乘法和Forstner剔除誤差大的點，實現了多源遙感影像的高精度配準[3]。譚光興針對傳統SIFT算法的描述子維度高、匹配時間長等問題，提出將SIFT的方形特征點鄰域改為十字形分區來簡化特征點描述子，減少了圖像匹配時間[4-6]。

針對傳統的SURF算法匹配效率低以及匹配精準度不高等問題，本文提出了基于粒子群算法的SURF算法。由于粒子群算法作為一種群智能優化算法對并行問題的尋優效果具有加速效果，而傳統的SURF算法在特征點匹配階段采用的是KNN算法對特征點進行匹配，缺點是效率不高并且誤匹配的點數量多。故本文采用的是基于PSO-SURF算法對圖像進行拼配研究。

1 算法設計

本文算法針對目前井下環境復雜、光照不強，單個攝像頭擺放角度影響最終成像的效果，為了將有限的攝像頭的拍攝圖像拼接成清晰的大視野圖像[7-8]，便于工作人員對井下人員、裝置的實時情況進行監控。本文首先基于頻率域的方法對井下圖片進行預處理，再通過SURF提取圖像特征點，最后通過粒子群算法的并行性特點對特征點進行匹配，求出兩幅圖像之間的變換矩陣，采用基于距離加權的方法完成對圖像的融合拼接。

2 井下圖像的預處理

由于井下環境的特殊性和成像質量，進光量少，一方面會導致圖像遭受較大的噪聲污染，同時具有較低的對比度，影響安全人員的判斷處理。另一方面也影響后續的特征點提取，所以本文首先采用基于頻率域的圖像增強對井下圖像進行預處理[9-10]。首先將圖像視為二維信號，對其進行基于二維傅里葉變換，采用高通濾波增強邊緣等高頻信號，使得模糊的圖片變得清晰。如圖1所示是原圖像和經過預處理之后的圖像的對比。

3 算法原理

SURF算法是一種穩健的局部特征點檢測和描述算法。SURF算法對于亮度變化的情況魯棒性好，適用于礦井下亮度不夠的情況。SURF算法的基本流程可以分為以下四部分：提取相鄰圖像的局部特征點、描述特征點、對特征點進行匹配、圖像的融合操作。采用改進后的局部加速穩健算法的圖像拼接流程圖如圖2所示。

3.1 構建Hessian矩陣

Hessian矩陣是一個多變量函數的二階偏導數構成的方陣，描述函數的局部變化率。在圖像處理領域為了生成圖像穩定的邊緣點，可以采用構建Hessian矩陣。對于圖像中的某一點（x，y ），尺度為σ 的Hes?sian矩陣表示為：

積分灰度圖像如圖3所示，在計算圖中的陰影區域元灰度和時，無須考慮窗口的大小，只需要進行三次加減運算即可求得陰影區域灰度和。公式表示為：

3.2 構造尺度空間

SURF算法構造尺度空間不同于傳統的SIFT算法利用金字塔模型對原始圖像進行降采樣以構建金字塔，這種方法導致金字塔層數越多導致計算量增加[11]。而SURF算法是通過盒子濾波器，通過逐步放大濾波模板尺寸，以及放大后的模板不斷與圖像進行濾波得到下層的圖像。同時由于積分圖像離散化的原因，兩個層之間的最小尺度變化量是由高斯二階微分濾波器在三個方向上的響應尺度決定的，一般響應長度是盒子濾波器尺寸的1/3，保證每層的中心像素存在即可。

3.3 定位特征點以及分配主方向

將經過Hessian矩陣處理的每個像素點與圖像域和尺度空間中的所有相鄰點進行比較，當其大于或者小于所有相鄰點時，該點就作為極值點。同時在特征點的圓形鄰域內，統計60度扇形內所有點的水平和垂直Haar小波特征總和，然后扇形以60°大小的間隔進行旋轉并統計Haar小波特征值之后，最后將值最大的扇形的方向作為該特征點的主方向。特征點主方向示意圖如圖4所示。

3.5 特征點匹配以及改進

特征點匹配首先通過提取圖片中的關鍵點，一般是極值點也就是圖像灰度值變化明顯的地方。通過對關鍵點進行描述，找到對應圖像中的相似點使得不同特征點的差異盡可能小，計算不同特征描述向量之間距離的遠近來判斷特征點之間是否相似。若相似點之間滿足距離最小原則，則認為這兩個點是匹配點。同時SURF算法還加入了Hessian矩陣跡的判斷，如果兩個特征點的矩陣跡正負號相同，代表兩個特征具有相同方向上的對比度變化，如果不同，說明兩個特征點對比度變化方向是相反的，即兩者的歐式距離為0，直接排除。

3.6 SURF 特征點匹配

SURF 算法采用基于歐式距離的最近鄰匹配方法。通過尋找待匹配圖像具有相似性的特征點，然后建立兩者之間映射關系，即可對圖像進行匹配。根據特征點的匹配原則，要找到原圖像對應的特征點，需要計算與待匹配圖像中所有特征點的歐式距離[13]，將其中的最小值提取出來。雖然SURF算法提取到的特征點描述子只有64維，是傳統SIFT算法128維的一半。但是依然具有優化的空間。假設P_i表示待匹配圖像的特征點向量，K_j表示參考圖像的特征點向量，則對于距離公式可以表示為：

3.7 粒子群算法進行優化

粒子群算法通過群體中個體之間的協作和信息共享來尋找最優解。通過設計出一群模擬鳥群的粒子，在這里本文將已知圖像的點作為固定點，待匹配圖像上的相似點作為鳥群的食物。SURF算法就是需要在待匹配圖像中找到最佳的匹配點，所以可以依賴粒子群算法對點的最優位置進行尋優。粒子群算法的優化過程如下：

1） 初始化粒子。隨機初始化60個粒子，賦予每個粒子初始位置和速度。

2） 根據初始化粒子的位置和原圖像中的固定點之間的歐式距離作為粒子的適應度函數，計算每個粒子的適應度。

3） 對每個粒子，將當前位置的值和歷史最優位置的適應度進行比較，若更小，則更新粒子的歷史最優位置。

4） 對每個粒子，將當前位置的值和全局最優位置的適應度進行比較，若更小，則更新粒子的全局最優位置。

5） 根據粒子更新公式對每個粒子進行速度和位置的更新。公式如下所示：

6） 對于粒子的速度更新公式為：

9） 式中v_i 表示粒子i的速度矢量，w 表示慣性權重，c₁和c₂ 表示搜索半徑，r₁和r₂表示隨機參數，目的是增強搜索的隨機性。

10） 由于考慮到時間復雜度的原因，本文將最大循環次數設置為100。

11） 將適應值最小的粒子保留它的位置。則與最終粒子的歐式距離最小的則為匹配的特征點的位置。

3.8 圖像融合

圖像融合的目的是通過對原來圖像中的冗余信息和互補信息進行融合，強化圖像中的信息，以便于后續的處理和分析。本文圖像融合采用基于距離加權融合的方法，當兩幅待匹配的圖像進行融合函數時，為了得到沒有明顯重影的圖像，我們需要對縫合線周圍的圖像進行處理。設兩幅圖像的像素點域分別為F₁、F₂，則融合之后的圖像P的像素點坐標為：

式中，w = f/（d + f ），d 為左側圖像到圖像重合區域中間點的距離，f 為右側圖像到圖像重合區域中間點的距離。

4 實驗結果及分析

實驗平臺為Inter core i5 11400 CPU，2.5 GHz，32G內存，64位Win10操作系統，Matlab R2021a軟件，對本文提出的改進算法進行檢驗。

4.1 特征點匹配性能測試

實驗測試的圖片來自林西礦，圖6是井下巷道a示意圖片，圖7是開采掘進工作面b圖片，圖8是井下巷道c圖片。本文通過改進后的SURF算法和傳統的SURF、SIFT 以及ORB（Oriented FAST and RotatedBRIEF） 算法進行對比實驗。這四種算法通過匹配率=（匹配總數-誤匹配數）/匹配總數×100%來進行衡量匹配性能。測試圖片a根據傳統的SURF算法得到的匹配特征點數是1 658個，根據傳統的SIFT算法得到的匹配點總數為1 345個，根據ORB算法得到匹配點1 712，而根據基于PSO-SURF得到的匹配總數是984個，同時匹配的特征點的平均正確率從78.69%上升到87.50%。測試圖片b根據傳統的SURF算法得到的匹配點數是3 522個，根據傳統的SIFT算法得到的匹配點總數為3 365個，根據ORB算法得到的匹配點為3 312個，而根據基于PSO-SURF得到的匹配總數是1 816個，同時匹配的特征點的平均正確率從75.31%上升到85.24%。測試圖片c根據傳統的SURF算法得到的匹配點數是715個，根據傳統的SIFT算法得到的匹配點總數是896個，根據ORB算法得到的匹配點數為1015，而根據基于PSO-SURF 得到的匹配總數是549個，同時匹配的特征點的平均正確率從72.21%上升到84.15%。同時經過優化后的RANSAC算法去除誤匹配數得到精確匹配結果，使得匹配用時和正確率得到顯著提高。

4.2 對比實驗

本文通過從唐山開灤林西礦業有限公司下的林西煤礦井下選取兩種應用場景，分別是兩個巷道和一個回采掘進工作面的相鄰近圖片，分別從兩者的匹配點、匹配總數、誤匹配點以及匹配時間和匹配準確率將本文算法和傳統的SURF、SIFT、ORB 算法進行對比。實驗結果見表1。圖9是四種算法特征點匹配在三幅測試圖像上的對比圖。

從對比實驗結果來看，本文算法對比傳統算法具有更高的正確率和更短的時間，表明了改進后算法在煤礦井下具有較好的穩定性，有效地提高了特征點匹配的效率。本文算法得到的融合后的圖像，如圖10所示，可以看出經過融合后的拼接圖像不存在傳統方法存在的黑線和重影等問題，圖像融合效果有了一定的提高。

5 結論

1） 針對礦井下面光線不佳、礦道彎曲角度各有不同。導致攝像頭成像不同，為了克服這些特點，首先對圖像進行預處理，使得圖像清晰度提高。

2） 其次為了解決傳統算法效率以及準確率不高，本文提出基于PSO-SURF算法進行改進，使得圖像之間的匹配時間復雜度降低，同時使得圖像融合后的效果更好，減少了局部錯位以及出現明顯的扭曲等現象。

3） 實驗結果表明，基于粒子群的加速魯棒特征算法可以在煤礦井下實現圖像的精準匹配