融合顏色與光照信息的改進AKAZE 圖像匹配算法

張 宇，胡立坤，黃 彬

（廣西大學 電氣工程學院，南寧 530004）

0 概述

目前，圖像匹配算法已廣泛應用于計算機視覺、模式識別、自動駕駛和圖像拼接等領域［1-2］。基于特征的匹配算法是最常用的圖像匹配算法，大致分為基于特征點、基于特征線和基于特征區域的三類匹配算法［3-4］。基于特征的匹配算法僅針對像素點進行運算，執行效率高且對圖像的亮度、尺度和旋轉等變化具有較強的魯棒性［5-6］。

常用的特征點圖像匹配算法SIFT（Scale Invariant Feature Transform）［7-8］利用高斯核函數構造線性尺度空間，保證特征點具備尺度不變性。SURF（Speed-Up Robust Features）算法［9］采用Hessian 矩陣構建尺度空間，能夠降低特征點描述符的維度，相較SIFT算法縮短了整體運行時間。文獻［10］提出一種ORB（Oriented Fast and Rotated BRIEF）算法，其采用FAST（Feature from Accelerated Segment Test）算法［11］快速提取特征點，在進行特征點描述時利用二進制描述子BRIEF（Binary Robust Independent Elementary Features）［12］。ORB 算法雖然提高了運算效率，但特征點定位精度不高，對圖像旋轉變化和尺度變化比較敏感。KAZE算法［13］和AKAZE（Accelerated-KAZE）算法［14］通 過構造非線性尺度空間，有效保留了圖像的邊緣與細節。AKAZE 算法利用快速顯示擴散FED（Fast Explicit Diffusion）算法構造非線性尺度空間，其運算量低于KAZE 使用的AOS（Additive Operator Splitting）算法，且運行時間更短。AKAZE 算法使用的二進制描述符M-LDB（Modified-Local Difference Binary）對旋轉和尺度變化具有很好的魯棒性。文獻［15］采用二進制特征描述子FREAK 代替M-LDB描述符進行特征點描述，利用Grid-KNN 算法對特征點實現粗匹配，能夠兼顧匹配效率和匹配精度。

傳統的AKZE 算法僅利用圖像的灰度信息作為輸入，未考慮圖像中的顏色與光照信息。文獻［16］采用顏色不變量的灰度級變換代替傳統灰度影像作為算法輸入，雖然其增加了圖像匹配彩色信息，但灰度變換的范圍參數只能根據經驗值確定。文獻［17］通過在傳統灰度信息上增加顏色補償量與光照補償量，從而克服圖像缺少顏色信息的缺點，但與圖像相應的預處理操作也會延長算法的總體運行時間。尺度空間使得同一個局部結構會存在多個特征點表示，文獻［18］提出一種聚類方法以刪除冗余點，通過遍歷所有尺度空間，將距離相近的特征點歸為一類并保留響應值最大的特征點，但該方法與文獻［19］方法相同，都僅利用距離作為判別標準，容易刪除穩定的特征點。文獻［20］提出一種基于距離的冗余點刪除方法，通過歐式距離確定相鄰特征點，將每個特征點與其余特征點的距離作為約束條件以刪除冗余點，但是，該方法的計算時間過長。

AKAZE 算法在傳統的灰度信息上引入顏色補償量和光照補償量，能夠提高匹配精度但同時增加了冗余點。為了解決算法中存在過多冗余點的問題，本文對AKAZE 算法進行改進，結合特征點間的距離和區域重復率快速精確地識別冗余點，比較冗余點間的響應強度，刪除響應強度值較小的冗余點，同時利用并行運算進行加速，從而保證算法的實時性。

1 AKAZE 算法分析及改進策略

AKAZE 算法利用非線性擴散濾波器構建尺度空間，在尺度空間中，圖像的灰度在平緩區域以較快的速度擴散，邊緣處擴散速度較慢，從而很好地保留圖像邊緣信息與局部細節。AKAZE 算法主要包括以下5 個步驟：

1）非線性尺度空間構造。非線性擴散濾波是一種各向異性的濾波方法，可以用非線性偏微分方程表示，如下：

其中，L為圖像亮度，div 和?分別表示散度和梯度，c為傳導函數，其依賴于圖像局部差分結構，可以自適應于圖像局部結構特性進行擴散，t為時間參數。傳導函數定義如下：

其中，函數g為傳導核函數，如式（3）所示，其可以優先保留寬度較大的區域。

其中，參數λ用來控制擴散程度。

非線性偏微分方程可以利用FED 方法計算出近似解，通過不斷循環構造出具有O組、每組有S層的非線性尺度空間。將式（1）進行離散化可得到如下形式：

其中，I是單位矩陣，A(Li)是圖像Li的傳導矩陣，τ為時間步長。為了保證所構造尺度空間的穩定性，τ的值要小于τmax，τmax表示不破壞顯示方程穩定性的最大迭代步長。

2）特征點檢測。AKAZE 算法在尺度空間的每一層中利用Hessian 矩陣尋找局部極大值點，Hessian矩陣的計算公式如式（5）所示：

其中，σ為尺度參數，Lxx與Lyy分別為二階橫向微分和二階縱向微分，Lxy為二階交叉微分。

找到局部極大值點后，會出現位置相差不大、代表同一局部結構的冗余點，為剔除冗余點，通常將每個點的響應值與本層的8 個鄰域點以及上下相鄰層的18 個點相比較，以求出極值，但是該方法不能完全刪除冗余點。在求出特征點的位置之后，根據泰勒展開式求解亞像素的精確位置，如下：

其中，x為特征點的位置坐標，特征點亞像素坐標的解為：

3）特征點主方向求解。AKAZE 算法以特征點為中心，以6σ為半徑確定圓形區域，分別求取特征點鄰域內點的一階微分值Lx和Ly并進行高斯賦權運算，以角度為60°的扇形窗口旋轉，疊加鄰域中點的向量，主方向選取單位向量和中的最長矢量方向。

4）特征向量描述。M-LDB 算法針對LDB（Local Difference Binary）算法的圖像旋轉與縮放性能進行改進。M-LDB 算法并不使用所有劃分網格的像素，而是在劃分好的網格中進行以尺度σ為間隔的重采樣以得到離散點，使用采樣值代替該網格的梯度與強度信息，從而提高計算效率。

5）特征點匹配。特征點描述向量為二進制描述符，通過異或操作計算特征向量間的漢明距離，比較漢明距離與預設的閾值大小以判斷特征點的相似程度。匹配完成后通過RANSAC 算法剔除誤匹配點，以保證匹配精度。

為了克服AKAZE 算法忽略圖像顏色和光照信息以及存在過多冗余點的缺點，本文提出一種融合顏色和光照信息的改進AKAZE 圖像匹配算法，該算法通過OpenMP（Open Multi-Processing）［21］并行運算對待匹配的圖像進行顏色與光照補償、特征點提取以及冗余特征點刪除，算法流程如圖1 所示。

圖1 改進AKAZE 圖像匹配算法流程Fig.1 Procedure of improved AKAZE image matching algorithm

2 顏色光照補償

本文通過在圖像的灰度變換中增加顏色補償量，使灰度圖像包含更多的顏色信息，通過增加光照補償量，以解決圖像匹配時忽略顏色信息以及圖像成像時存在欠曝光或過曝光的問題，從而降低環境光照變化對算法性能的影響。

2.1 顏色補償量計算

YCBCR顏色空間可以準確表示顏色變化特性，本文選擇YCBCR顏色空間來計算顏色補償量和光照補償量，YCBCR可以通過RGB 顏色空間變換得到，變換公式如式（8）所示：

其中，Y表示亮度分量，CB與CR分別代表藍色色度分量與紅色色度分量。

通過比較輸入圖像的平均藍色色度分量mB與平均紅色色度分量mR確定圖像的顏色特征。綜合考慮圖像整體色度特征與單個像素的顏色差異，得到顏色補償量YC如下：

其中，k是對比度參數，取值范圍為［1，4］，本文中取值為3，α是范圍參數，取值范圍為［0.4，0.6］，本文中取值為0.5。增加了顏色補償量的灰度值P如式（10）所示：

2.2 光照補償量計算

光照補償量以增加了顏色補償量的灰度值P為基礎進行計算，如下：

其中，i是灰度值P的歸一化值，σ取值為0.2，mP為灰度均值，因為曝光良好的圖像的灰度均值在127.5 左右，所以通過減少或增加像素灰度值可以使圖像灰度均值更接近127.5。為保留圖像更多細節并提升對比度，本文采用高斯權重函數調整圖像光照強度，使接近于0.5 的歸一化灰度值得到的權重系數更大。最終灰度值由原始亮度、顏色補償量和光照補償量3 個部分組成，如下：

顏色光照補償前后的圖像對比結果如圖2 所示，彩色效果見《計算機工程》官網HTML 版。其中，圖2（c）為增加了顏色光照補償后的灰度圖，對比原始灰度圖，可以看到圖像局部細節得到保留和增強，灰度級相似但色調不同的區域區別度更高。由圖2（d）和圖2（e）對比可知，增加了顏色和光照補償的圖像，其檢測到的特征點數量更多。

圖2 顏色光照補償前后的圖像對比結果Fig.2 Image comparison results before and after color and illumination compensation

3 冗余點檢測與刪除

本文提出一種冗余點檢測與刪除方法，冗余點刪除前后的圖像對比結果如圖3 所示。

圖3 冗余點刪除前后的圖像對比結果Fig.3 Image comparison results before and after redundant points deletion

AKAZE 算法在進行特征點提取時，同一個局部結構會檢測到多個冗余點，如圖3（a）所示，圖中僅標出了部分冗余點，圖像結構越復雜的地方出現冗余點的概率越高。冗余點的存在不僅提高了算法的運算量，而且會影響匹配精度。本文冗余點檢測與刪除方法主要包括以下4 個步驟：

步驟1利用AKAZE 算法對輸入圖像構建非線性尺度空間，在尺度空間內檢測特征點，確定特征點的具體位置。

人文精神關注對個體的自我關懷，也關注對人類集體精神的繼承和發展。在初中政治教學中，很多章節都與自我關懷以及認同社會精神文明相關，但是，無論書本闡釋得多么清楚，都離不開學生的親自體驗和實踐。因此，需要組織相應的教學活動以凸顯人文精神。

步驟2假設輸入圖像有M個特征點，搜尋每個特征點n×n鄰域內的相鄰特征點，計算該特征點與相鄰特征點的歐式距離，如下：

其中，pm為輸入圖像中提取的第m個特征點，pn為pm鄰域內的一個特征點，l為特征點的維度。

設定距離閾值Tdis，由式（14）計算出特征點pm的內點和外點。若S(pm,pn)等于1，則pn為pm的內點；若S(pm,pn)等于0，則pn為pm的外點。

步驟3設特征點pm的內點集合為：

利用式（16）分別求取特征點pm及其內點集合Xm中的特征點所代表的局部區域：

其中，σ為特征點pm所在尺度空間層的尺度因子，t為pm所在層數。

步驟4由式（17）求出2 個特征點的區域重復率εt，若區域重復率小于所設定的閾值，則認定2 個特征點相似，比較特征點間的響應強度，將響應強度值較小的特征點認定為冗余點并刪除。

從圖3（d）可以看出，圖像中距離相近并且重疊程度較高的位置，在經過算法刪除后只保留了響應強度值較高的特征點。冗余點的刪除能夠為后續特征點描述和特征點匹配減少計算量，從而提高算法的運行效率。

4 實驗結果與分析

4.1 圖像匹配結果對比及分析

衡量一種圖像匹配算法性能的重要指標包括圖像的匹配時間以及匹配正確率。本文分別從圖像光照變化、視點變化、模糊變化和旋轉放大變化4 個方面進行實驗。用于匹配實驗的圖像選自標準測試庫，測試庫中的部分圖像如圖4 所示，每個圖像集包含6 個圖像序列，第1 幅為參考圖像，剩余5 幅為待匹配圖像。實現所用的編程軟件平臺為Visual Studio 2017，編程語言為C++，實驗平臺基于OpenCV3.5.10 實現。

圖4 仿真圖像Fig.4 Simulation images

實驗對比算法包括本文增加顏色光照補償的冗余點刪除算法、SIFT 算法、SURF 算法、AKAZE 算法和RKEM-AKAZE 算法，RKEM 冗余點刪除方法來自于文獻［20］。選取不同的εt值進行實驗，可以得出，當εt取值為0.6 時，匹配時間和匹配精度取得最佳結果。若εt閾值設置偏大而不能獲得足夠多的正確匹配點對，則閾值自動減少0.1 再進行特征點提取與匹配。n取值為5，歐式距離d2的閾值設為3。

表1 所示為光照變化下5 種算法對圖像的匹配正確率與匹配時間統計結果，從表1 可以看出，5 種算法的正確率相差不大，但本文算法在光照變化時正確率均保持在98% 以上，有較好的穩定性。SURF 算法相較其他算法所用時間最長。本文算法用時最短，效率比AKAZE 算法大約提高10%，該算法不僅使特征點具備幾何和顏色的雙重特征，能夠在不同光照條件下檢測到足夠多的特征點，而且刪除了重復率高、穩定性低的冗余點，有效縮短了算法執行時間。圖5 所示為光照因素對AKAZE 算法與本文算法圖像匹配效果的影響。

表1 不同光照條件下5 種算法的匹配性能對比Table 1 Comparison of matching performance of five algorithms under different illumination conditions

圖5 光照因素對匹配結果的影響Fig.5 Influence of illumination factor on matching results

從表2 和表3 可以看出，在模糊因素、視角因素的影響下，本文算法與RKEM-AKAZE 算法、SURF 算法的配準精度基本相同，優于AKAZE 與SIFT 算法。隨著圖像模糊程度的提高，SIFT 算法、SURF 算法失效，無法獲得正確的匹配點對。特征點數量較多時RKEMAKAZE 算法與SURF 算法執行時間較長，而本文算法所用時間比較穩定，與其他算法相比耗時最少。綜上，本文算法對圖像模糊和視角變化的魯棒性更強。圖6所示為AKAZE 算法與本文算法在模糊、視角因素影響下的部分圖像匹配結果。

表2 不同模糊條件下5 種算法的匹配性能對比Table 2 Comparison of matching performance of five algorithms under different fuzzy conditions

表3 不同視角條件下5 種算法的匹配性能對比Table 3 Comparison of matching performance of five algorithms under different perspective conditions

圖6 部分圖像的仿真結果Fig.6 Simulation results of some images

圖7 所示為JPEG 壓縮影響下5 種算法的匹配時間和匹配正確率對比結果，圖8 所示為AKAZE算法與本文算法在JPEG 因素影響下的部分圖像匹配結果。從圖7 可以看出，本文算法與SURF 算法匹配正確率略優于其他算法，SURF 算法犧牲一定的匹配速度從而保證匹配正確率。本文算法的匹配正確率均保持在98.5%以上，同時保證了一定的匹配速度，匹配時間優于SURF 算法、SIFT 算法、AKAZE 算法與RKEM-AKAZE 算法，相 較AKAZE算法，本文算法的平均匹配效率大約提高25%，由以上分析可知，本文算法能夠較好地適應圖像的JPEG 壓縮變化。

圖7 JPEG 壓縮情況下5 種算法的匹配正確率與匹配時間對比結果Fig.7 Comparison of matching accuracy and matching time of five algorithms under JPEG compression

圖8 JPEG 因素對匹配結果的影響Fig.8 Influence of JPEG factor on matching results

表4 的數據由圖4（e）圖像仿真得到，從表4可以看出，本文算法與RKEM-AKAZE 算法在旋轉縮放變化下匹配正確率明顯優于其他算法，SIFT算法匹配正確率最低。在算法運行時間方面，SIFT 算法與SURF 算法所用時間較長，本文算法用時最少。綜上，本文算法在旋轉縮放條件下能夠保證匹配精度，同時兼顧算法的執行效率，具備良好的可區分性。圖9 所示為旋轉縮放因素影響下AKAZE 算法與本文算法的部分圖像匹配結果。

圖9 旋轉縮放因素對匹配結果的影響Fig.9 Influence of rotation and scaling factors on matching results

表4 不同旋轉縮放條件下5 種算法的匹配性能對比Table 4 Comparison of matching performance of five algorithms under different rotation and scaling conditions

4.2 時間效率分析

本文算法在匹配圖像中增加了顏色光照信息，使提取的同名點更具區分度，利用區域重復率刪除冗余特征點，將并行運算應用于算法的特征提取與特征描述階段。在相同的實驗環境中，分別統計本文算法、KAZE 算法與SIFT 算法在特征點提取、特征點描述與特征點匹配3 個階段的耗時，結果如表5所示。

表5 3 種算法的效率對比結果Table 5 Efficiency comparison results of three algorithms s

從表5 可以看出，本文算法利用快速顯示擴散FED 算法構造非線性尺度空間，相較KAZE 使用的可變傳導擴散算法和加性算子分裂算法AOS 減少了運算量，并且本文算法利用局部區域特征點信息代替RKEM［20］全局特征點信息作為冗余點判斷依據，有效節省了算法運行時間，冗余點刪除也相應減少了后續特征點描述與特征點匹配的用時。SIFT 算法與KAZE 算法均采用浮點型描述子描述特征，本文算法采用二進制描述子描述特征，其運行速度得到大幅提升。綜上，本文算法在特征點提取、特征點描述與特征點匹配階段的時間效率更具優勢。

4.3 航拍圖像拼接

圖10 所示為無人機航拍圖像，利用本文算法對航拍圖像進行匹配，采用加權平均法融合圖像重疊區域以實現圖像拼接。

圖10 實驗圖像Fig.10 Experimental images

均方根誤差（Root Mean Square Error，RMSE）為圖像拼接結果的重要評價指標之一，RMSE 越低，說明匹配精度越高，拼接效果越好。RMSE 的計算公式如下：

其中，(xi,yi)為圖像2 中的特征點坐標，()為圖像1中的特征點經過單應性矩陣變換得到的坐標，M為匹配的特征點對數量。

從表6 可以看出，本文算法在保證匹配精度的同時可以有效提升匹配速度。圖像匹配結果如圖11所示，拼接結果如圖12 所示，從圖12 可以看出，拼接后的圖像無明顯重影，整體色度變化均勻，拼接處沒有縫隙，即本文算法較好地實現了圖像拼接。

表6 4 種算法的RMSE 比較Table 6 RMSE comparison of four algorithms

圖11 圖像匹配結果Fig.11 Image matching results

圖12 圖像拼接結果Fig.12 Image mosaic results

5 結束語

本文在圖像的灰度信息中增加顏色補償量和光照補償量，克服傳統圖像匹配算法忽略顏色信息和光照信息的缺點。針對圖像同一局部結構存在多個特征點的情況，提出一種基于歐式距離和區域重復率的冗余點刪除算法，在特征提取階段刪除冗余點。圖像匹配完成后利用RANSAC 算法刪除誤匹配點對，通過OpenMP 并行運算進行加速。分別針對圖像模糊、旋轉、光照、視點和壓縮等變化因素進行仿真驗證，結果表明，與SIFT、SURF、AKAZE 和RKEMAKAZE 等算法相比，該算法可以有效識別同名點，剔除圖像冗余點，縮短圖像匹配時間，在保證圖像匹配精度的同時高效實現無人機圖像的無縫拼接。下一步考慮將圖像匹配算法與神經網絡相結合，以提高匹配算法的精度、實時性和通用性。