抑制光照不均勻影響的圖像特征點提取算法

薛 冕，劉 翔，石蘊玉，辛斌杰

1.上海工程技術大學 電子電氣工程學院，上海 201620

2.上海工程技術大學 服裝學院，上海 201620

隨著科技的進步，計算機視覺已經進入人們的生活中，可以用來進行人臉檢測、目標追蹤等，但由于光照和目標表面相互作用的機制非常復雜，出現在真實場景圖像中的投射陰影給計算機視覺任務帶來了很多的問題和限制[1]，在圖像特征提取的過程中，常常因為光照不均勻無法提取到穩定的特征點，匹配率也隨之降低。

目前特征點提取的方法有很多，文獻[2]提出的SIFT（Scale Invariant Feature Transform）算法，通過構建高斯差分金字塔提取圖像特征點，具有良好的魯棒性，SIFT算法因尺度不變性等特點得到了廣泛應用，但其復雜度較高，計算速率慢；文獻[3]中Bay 等人提出的SURF（Speed-Up Robust Features）算法是在 SIFT 算法基礎上做了改進，利用box filters構建高斯金字塔，速度比SIFT 算法提高3 倍左右；貢超等人在文獻[4]中提出采用擴散距離對SURF特征進行匹配，提高了匹配正確率及魯棒性；Rublee等[5]于2011年在ICCV（International Conference on Computer Vision）中提出一種快速特征點提取與描述算法ORB（Oriented FAST and Rotated BRIEF），其采用 FAST 的特征檢測方式，再與 BRIEF 二進制串的描述子結合起來，節約存儲空間并大大縮短計算時間，提高了算法的提取速度，但不具備尺度不變性；同時期BRISK[6]（Binary Robust Invariant Scalable Keypoints）在ICCV中被提出，具備尺度不變性；文獻[7]提出的SBRISK 進一步加快了BRISK 算法的計算速度。上述方法在提取速度、匹配率及魯棒性等方面做出了貢獻，而在有光照干擾情況下目前的特征提取算法魯棒性較差，光照不均勻對特征點提取造成極大影響，在進行圖像匹配時準確率下降，SIFT 算法受鄰域像素方向梯度信息影響，在光照不均勻情況下提取效果欠佳[8]。

一些研究考慮在進行特征點提取之前先做圖像增強方面的預處理，比較常用的算法是直方圖均衡化、變換域及同態濾波等，能在一定程度上實現光照均衡的效果，但直方圖均衡化是對圖像整體進行處理，會出現過增強和丟失局部細節等[9-10]問題；變換域是將圖像從空域轉換到某些變換域，如傅里葉變換[11]，該類算法往往自適應性較弱；同態濾波中的高斯濾波器可濾除圖像光照成分，但受參數調節的影響，需要進行大量實驗，通用性較弱[12]。

針對以上問題，本文提出了一種可以有效抑制圖像光照不均勻影響的GT-SIFT特征點提取算法：首先在構造尺度空間時對圖像進行濾波處理，采用同態濾波中變形的高斯濾波器[12-13]與圖像頻率譜相乘，濾除光照成分，得到新的頻譜獲取濾波圖像；接著對濾波圖像進行一次Top-hat變換，弱化濾波參數對其影響，并將高斯函數與變換后圖像進行卷積，從而構建基于光照濾除與參數弱化的高斯差分（Gaussian Filtering and Top-hat transformation with Difference of Gaussian，GT-DoG）金字塔。GT-DoG金字塔的圖像在不受濾波參數影響下濾除了光照成分，以此替換SIFT算法的高斯差分金字塔，再進行特征點檢測、特征向量賦值，生成GT-SIFT描述子，因此該描述子相較于原SIFT 描述子具有更好的光照不變性。實驗表明，本文算法在對光照不均勻圖像進行特征點提取與匹配時不受參數影響，具有更強的魯棒性。

1 SIFT算法

經典SIFT算法是由David Lowe提出的，其實質是在不同的尺度空間中查找關鍵點，具體包括以下四步：尺度空間構造，特征點檢測，特征方向賦值和生成特征描述子。

1.1 尺度空間構造

Iijima首次于1962年提出尺度空間思想，后經Witkin和Koenderink 等人的推廣而逐漸引起關注。在尺度空間構造中，將偏微分方程應用在圖像處理中即為尺度空間理論，采用高斯函數G(x,y,σ)與二維圖像I(x,y)卷積得到尺度空間函數：

其中，L(x,y,σ)為尺度空間，σ為尺度參數，每個尺度包含多張圖，變換尺度參數可以得到不同尺度下的函數。

1.2 特征點檢測

將相鄰尺度空間相減得到高斯差分金字塔D(x,y,σ)，尋找高斯差分圖中的極值點，通過每個像素點與其周圍鄰域點的比較來確定，包括它同尺度的8個鄰域點以及上下相鄰尺度空間各9個鄰域點，若中心點是此范圍內的最大或最小值，則判定為極值點。極值點并不全是穩定的特征點，通過二階Taylor展開式計算極值點的偏移量，獲得亞像素定位精度，再通過閾值設置剔除對比度低的點，并用Hessian 矩陣技術剔除不穩定的邊緣響應點，得到最終的特征點。

1.3 特征方向賦值

為了使描述子具有旋轉不變性，需要為每個關鍵點分配一個基準方向，如圖1 所示，通過統計特征點周圍鄰域像素梯度的幅值m(x,y)和方向θ(x,y)為每個特征點指定方向，采用直方圖統計m和θ，直方圖最大峰值為主方向，該點附近大于主方向峰值80%的方向為輔助方向，其中：

圖1 特征方向賦值

1.4 生成特征描述子

以特征點為中心取16×16的窗口，并劃分為4×4的子窗口，每個窗口作為一個種子點，在16個種子點中每個點含8個方向梯度信息，共有128維的特征描述向量，再把128 維特征描述向量歸一化，得到最終的描述子，如圖2所示。

圖2 生成SIFT特征描述子

2 改進的SIFT特征提取算法

SIFT 算法通過歸一化處理特征向量長度來一定程度消除圖像光照變化的影響。特征向量是由每個關鍵點鄰域4×4=16 個種子點來描述的，每個種子點有8個方向梯度信息，產生128維的特征向量。由于特征向量受鄰域像素的影響，歸一化無法消除在光照變化較大情況下出現的暗光、高光現象，這對SIFT提取特征點帶來很大困擾。本文針對此問題對SIFT 算法進行改進，提出一種可以有效抑制圖像光照不均勻影響的GT-SIFT特征點提取算法。對輸入圖像進行濾波處理與Top-hat變換，旨在不受參數影響下濾除圖像光照。通過構造基于光照濾除與參數弱化的高斯差分金字塔，生成具有更好光照不變性的GT-SIFT描述子。流程圖如圖3所示。

圖3 GT-SIFT算法流程圖

2.1 GT-DoG金字塔構造

2.1.1 基于圖像頻率域的光照濾除

圖像在頻率域中包含照射分量i(x,y)與反射分量r(x,y)[14-15]，兩個分量共同決定圖像的灰度。光照強度反映圖像光照，在空間上通常會有緩慢變化的性質，位于低頻段。反射強度反映圖像細節，因物體材質不同差異較大，變化迅速，位于高頻段。為了抑制光照不均勻的影響，采用文獻[13]高斯高通濾波器的變形濾波函數H(x,y)，如式（4），通高頻降低頻，有效濾除圖像低頻段的暗光、高光等光照不均勻現象，并增強圖像細節。因此，本文在構造尺度空間時對輸入原圖像I(x,y)進行濾波處理，濾波函數H大小和原圖像頻譜f大小相同，相乘即可得到新的頻譜f′，從而獲取濾波圖像g(x,y)。流程圖如圖4所示。

圖4 高斯濾波流程圖

濾波函數表達式如下：

其中，H(x,y)大致形狀如圖5所示。γH、γL分別為高頻增益和低頻增益，控制濾波器幅度的范圍，達到減弱低頻增強高頻的目的，壓縮圖像整體灰度范圍，提高圖像對比度，使圖像既減少了光照不均的影響，又保留了圖像原有的細節。常數c控制函數坡度的銳利度。D0為截止頻率，D0越大對圖像細節增強越明顯。γH、γL、c、D0這4個參數相互作用決定濾波效果，選擇合適的參數可以在頻率域中減弱圖像光照成分。然而濾波處理時，由于高斯濾波器的各參數相互作用，導致輸入的濾波圖像g(x,y)需經過大量實驗找到最優參數才能獲得理想濾波效果，這無疑給實驗增加了困難。

圖5 高斯濾波函數

由圖6可知，原圖在經過濾波處理后光照不均勻現象得到改善，但高斯濾波器的各參數相互作用很難找到一個理想參數下的圖像，造成圖像整體灰度不穩定。

圖6 濾波效果圖

2.1.2 Top-hat變換改善濾波參數

為解決參數對高斯濾波的影響，本文對濾波圖像g(x,y)進行一次Top-hat 變換，由于Top-hat 變換參數的選擇較為簡單，可以用來降低濾波參數的影響[15-16]。其中S為結構元素，在灰度圖中S(x,y)是二維函數，結構元素的形狀由定義域決定，結構元素的高度信息由函數值決定，本文采用平坦（高度為0）的結構元素[15]。原圖像與開運算圖像之差便是Top-hat 變換，最終得到變換后的新圖像u(x,y)。

濾波圖像g(x,y)開運算：

Top-hat變換：

由圖7可以看出，不同參數選擇的濾波圖像在經過一次Top-hat 變換后效果都很相近，圖像灰度值趨于穩定，且細節更為突出。接著采用高斯函數G(x,y,σ)與變換后新圖像u(x,y)卷積得到尺度空間函數：

高斯函數：

圖7 圖5參數弱化后實驗效果圖

變換尺度參數σ可以得到不同尺度下的函數，每個尺度包含多張圖，將相鄰尺度空間相減得到光照濾除與參數弱化下的高斯差分金字塔D(x,y,σ)：

其中，D(x,y,σ)即為本文構建的基于光照濾除與參數弱化的高斯差分金字塔（圖8 簡單概括GT-DoG 金字塔的構造過程）。GT-DoG金字塔的圖像在不受γH、γL、c、D0濾波參數影響下濾除了光照成分。

2.2 生成具有良好光照不變性的GT-SIFT描述子

特征描述子的生成仍采用SIFT特征描述子生成方法，在上述構造的基于光照濾除與參數弱化的高斯差分金字塔內尋找特征點，并進行特征點檢測與特征向量方向賦值。在4×4（16）個鄰域中，每個鄰域含8 個方向梯度信息，共有128維的特征描述向量，再把128維特征描述向量歸一化得到最終的描述子，得到的GT-SIFT描述子不僅具有尺度不變性，而且具有更好的光照不變性。在對光照不均圖像進行特征點提取時效果更佳。

3 實驗結果與分析

考慮到面料其紋理均勻分布的特點有利于研究圖像光照不均勻所帶來的影響，實驗使用Flare 4M180CCL相機（分辨率2 048×2 048，幀率179 f/s）拍攝下的1 000張同一種面料圖像做相關實驗。本文實驗平臺是個人電腦上的Matlab R2016a，操作系統Windows 10，處理器為 Intel?CoreTMi5-7200U@2.50 GHz 2.70 GHz，內存4.00 GB。

3.1 參數選取與參數弱化分析

3.1.1 基于參數選取的敏感性分析

參數弱化前，根據SUFI-2 中的參數敏感性分析方法[17]，設計本文基于參數選取的敏感性分析實驗：每次只改變一個參數值，其他參數保持不變，以檢測到圖6（a）所示的特征點個數作為評價指標，定量分析各參數對高斯濾波的影響。圖9 反映了特征點個數隨各參數的變化情況。

（1）參數選擇的影響

圖8 構造GT-DoG金字塔

圖9 4個參數取值特征點個數變化曲線

由文獻[13]確定初始參考值：令c=1.5,γH=1.2,γL=0.3，根據客觀實驗數據調整截止頻率D0，找到合適的參數。由圖9（a）可知D0取值為60 時檢測到圖像特征點個數最多，D0＜60 時，圖像整體灰度范圍擴大，圖像質量下降，D0＞60 時，圖像整體灰度范圍縮小，圖像對比度不高；當D0=60 時，令γH=1.2,γL=0.3 ，調整銳化系數c，由圖9（b）可知c=1.0 時效果最好，c ＜1.0時圖像的對比度較低，c ＞1.0 又會導致圖像不夠平滑，檢測到特征點個數下降；當D0=60,c=1.0 時，令γL=0.3，調整高頻增益γH的取值，由圖9（c）可知γH取值并非越大越好，γH＞0.9 時會混入較多的高頻噪聲，影響濾波效果，γH＜0.9 時不能有效增強圖像高頻成分，因此取γH=0.9；最后在D0=60，c=1.0，γH=0.9 的情況下，由圖9（d）可知γL=0.3 取得最好的結果，γL＜0.3 時圖像整體灰度較低，γL＞0.3 時不能有效抑制圖像低頻成分，特征點個數降低。由以上實驗可以確定本文參數的選擇：D0=60,c=1.0,γH=0.9,γL=0.3。

（2）敏感性分析

采用特征點個數變化量與對應參數變化幅度（即參數值變化量的比值）作為敏感系數[18]，對比分析不同參數敏感系數得出參數對高斯濾波的影響，如圖10所示。本文在D0=60,c=1.0,γH=0.9,γL=0.3 作為基礎參數時，根據上述（1）參數選擇的影響中的實驗數據，將分析區間定為基礎參數值的-100%～500%，進行敏感性分析。由圖10 可知，負區間內，高頻增益γH對高斯濾波的影響最大，敏感度最高，γH的減少使得高斯濾波無法達到增強圖像高頻成分的效果，低頻增益γL的敏感度次之，然后是銳化系數c，敏感度最弱為截止頻率D0；正區間內，低頻增益γL敏感度最高，γL偏大導致圖像低頻成分得不到有效抑制，大大影響濾波效果，高頻增益γH的敏感度次之，銳化系數c和截止頻率D0敏感度較弱。

圖10 各參數對算法影響的敏感性分析

本文針對基于參數選取的敏感性分析做了大量實驗，發現4個參數對高斯濾波的影響程度各不相同。實驗結果為本文算法在解決實際問題時，對參數的選取提供了客觀依據。

3.1.2 參數弱化評價分析

為降低參數選取的難度，本文算法通過一次Tophat 變換對濾波參數進行弱化。已知在D0=60,c=1.0,γH=0.9,γL=0.3 時高斯濾波效果最好，再依據各個參數的含義調整參數進行特征點提取，選取其中具有代表性的6 組參數記錄在表1 中，n1為不同參數下特征點個數，n2為參數弱化后特征點個數，統計6 組參數弱化前后檢測到的特征點個數如圖11 所示，通過對比實驗分析參數弱化的效果。

表1 高斯濾波參數與特征點個數

圖11 特征點個數對比折線圖

當γH、γL偏大時（組別1），入射分量衰減小，反射分量提升大，圖像整體灰度偏高，檢測到特征點個數為34 100，與最高值相差29 150；當γH、γL偏小時（組別6），入射分量衰減大，反射分量提升小，圖像整體灰度偏低，檢測到特征點個數只有434，與最高值相差62 816；其他3個參數不變，適當調小c值（組別1、4、5），檢測到特征點個數提高；D0偏大時（組別1、2、3），圖像對比度低，背景衰減嚴重，檢測到特征點個數降低。可見不同參數的選擇造成圖像整體灰度不穩定，檢測到的特征點個數參差不齊。而經過一次Top-hat 變換弱化參數后，無論高斯濾波參數如何選擇，6組參數下檢測到的特征點個數趨于一個較高的穩定值（如圖11），有效改善了高斯濾波時各參數對圖像的影響，達到參數弱化的目的。

3.2 特征點提取與匹配實驗

為了驗證本文特征點提取算法在光照不均勻條件下的可靠性與優越性，本文從Flare 4M180CCL 相機拍攝下的1 000張圖像中選取3組不同程度光照不均勻面料圖像，每一組包含5 張不同光照亮度等級圖像，其中圖12（a）～（c）光照不均勻程度逐漸增強。

圖12 不同程度光照不均圖像數據集

實驗分別用BRISK、ORB、SIFT以及本文算法對每組的第1 張圖像進行特征點提取，效果圖如圖13 所示，并將特征點個數記錄在表2中。減少率q公式如下：

其中，na為圖12（a）第1張圖像檢測到的特征點個數，nc為圖12（c）第1張圖像檢測到的特征點個數。圖13直觀反映出在光照不均勻條件下，本文算法相比其他算法可以提取到更多特征點。其中BRISK算法與ORB算法中的描述符均為二進制描述符，BRISK描述子描述了特征點鄰域內像素點采樣信息，ORB 描述子是通過比較特征區域中像素值的大小建立的，兩種算法容易導致描述信息丟失，因此在圖像光照不均勻程度逐漸增強時，提取到的特征點個數迅速下降，BRISK算法提取到特征點個數從826 降至110，ORB 算法提取到特征點個數從1 895降至239，減少率分別為86.68%、87.39%。SIFT算法以圖像的梯度方向作為主方向建立梯度描述子，而在進行特征向量長度歸一化處理時無法消除劇烈光照變化，隨著圖像光照不均勻程度增加，提取到的特征點也隨之減少，特征點個數從3 642 降至1 498，減少率為58.87%。本文算法通過構建GT-SIFT金字塔，生成具有良好光照不變性的GT-SIFT描述子，每組圖提取到的特征點個數均是四種算法中最多的，隨光照不均勻程度增強，從4 707 降至3 941，減少率僅有16.27%，比BRISK、ORB、SIFT算法小70.41個百分點、71.12個百分點、42.6個百分點。圖12（c）受光照不均勻程度影響最強，也是本文算法與其他三種算法提取到特征點個數差異最大的一組圖像，比BRISK、ORB、SIFT 算法增加3 831、3 702、2 443。可見本文算法對于光照不均勻圖像特征點提取的效果最好，能夠有效抑制光照不均勻對特征點提取的影響。

圖13 四種算法圖像特征點提取實驗結果

表2 四種算法光照不均勻圖像對比結果

利用圖12（a）、（b）、（c）每組數據集的第1張圖像分別與后4張圖像匹配，記為組別1～組別4，記錄每組匹配的平均運行時間于表3中，匹配效果如圖14所示。圖15為四種算法匹配正確率[19]的對比圖，圖像數據集1 的光照不均勻程度較小，SIFT雖能提取到大量特征點，但隨亮度差異增加匹配正確率逐漸下降，在圖像數據集1的組別4 中SIFT 匹配正確率低于本文算法32.21 個百分點，對于圖像數據集2 和圖像數據集3，BRISK、ORB、SIFT算法匹配正確率均低于本文算法，ORB算法下降速度最快。可見，GT-SIFT 描述子對于光照的魯棒性增加，本文算法更好地抑制了光照不均勻對圖像信息的影響，隨著亮度差異的增加，正確匹配率曲線下降緩慢，明顯優于其他三種算法。

表3 不同算法運行時間對比 ms

圖14 四種算法圖像匹配實驗結果

由表3 可知，ORB 算法采用FAST 算子作為檢測算子與BRIEF描述子相結合，無論是在特征點提取還是匹配上都是最快的。BRISK 算法采用固定離散鄰域強度對比，形成512 bit二進制串，加速特征點提取，速度僅次于ORB算法。SIFT算法需要構造尺度空間和采用128維描述子，計算量較大，提取與匹配運行時間均較長。由于本文算法通過高斯濾波與Top-hat 變換構建出GT-DoG金字塔取代SIFT 算法原有的DoG 金字塔，增加了尺度空間極值檢測的計算時間，整體時間復雜度高，在運行速度方面不及其他三種算法。

3.3 算法性能對比實驗

為了進一步證明算法的普遍可靠性，本文選用Mikolajczyk標準數據集從視角、尺度、模糊度、亮度4個角度全面研究算法的性能。其中具有代表性的4 組圖像序列（圖16所示），每組含有6張不同變化的圖像。圖像數據集中，Leuven 圖像組為亮度變化序列，Wall 圖像組為視角變化序列，Boat圖像組為尺度變化序列，Bikes圖像組為模糊度變化序列。

通過BRISK、ORB、SIFT以及本文算法進行匹配實驗，統計出對比圖17。在圖像匹配實驗中，常用查全率（recall）和錯誤率（1-precision）評價算法的優劣性[20-22]。其中查全率是指圖像檢索出正確的配準點和圖像中所有配準點對（包括已配準和應配準但未通過算法配準的點）的比率：

圖15 四種算法匹配正確率對比

圖16 Mikolajczyk標準數據集

圖17 四種算法匹配實驗曲線

錯誤率是指錯誤配準點占通過算法得到的總配準點的比重：

如圖17（a）所示，在Leuven 的亮度變化圖中，SIFT描述子的主方向與鄰域像素梯度方向有關，亮度變化較大時無法通過歸一化處理特征向量長度來消除其影響，魯棒性下降，導致圖像匹配效果差。本文算法在光照亮度方面進行改進，構建GT-DoG 金字塔，生成的描述子光照魯棒性增強，有效抑制圖像光照成分，查全率高達0.98，明顯優于其他算法。如圖17（b）所示，在Wall的視角變化圖中，本文算法與SIFT算法的查全率較高，匹配效果比 BRISK 和 ORB 好。如圖 17（c）所示，在 Boat 的尺度變化圖中，SIFT 算法因其特征描述子具有良好的尺度不變性達到較好的匹配效果，本文算法在抑制光照不均勻機制中融合了SIFT 算法生成GT-SIFT 描述子，在特征點描述方面增添尺度信息，BRISK算法也同樣融入了SIFT算法的尺度不變性，三者匹配效果較好，曲線相似，ORB算法的尺度性匹配效果差，曲線低于前三種算法。如圖17（d）所示，在Bikes的高斯模糊變化圖中，BRISK 與ORB 的二進制描述算法描述像素點信息，在圖像高斯模糊變化下具有較好的魯棒性，四種算法曲線相似，本文算法匹配效果稍好一點。可見改進的SIFT算法在改善光照不均勻方面有很大提高，且不影響SIFT算法視角、尺度、模糊度等其他性能，甚至略有提高。

4 結束語

本文針對圖像在光照不均勻條件下提取與匹配效果不佳的缺陷，在SIFT算法中進行改進，提出了一種抑制光照不均勻的GT-SIFT算法，將輸入圖像進行高斯濾波處理，并對濾波圖像進行一次Top-hat變換，以此構建GT-DoG金字塔替換SIFT算法中的DoG金字塔。GT-DoG金字塔中的圖像在沒有參數干擾情況下濾除了光照成分，避免大量參數選擇的實驗，生成具有良好光照不變性的GT-SIFT 描述子進行特征點提取與匹配。實驗表明，該算法在構建GT-DoG 金字塔時增加了計算時間，整體的時間復雜度較高，但其在光照不均勻條件下能夠提取到更多穩定的特征點，匹配正確率得到提高，與其他算法相比魯棒性更高，可以有效抑制光照不均勻對圖像的影響，對圖像的視角、尺度、模糊度等其他性能也具有良好的通用性，適合使用在對實時性要求不高的場景中。今后工作需對算法的速度做進一步提升。