一種基于對比度閾值的改進SIFT算法

徐 陽， 曹 杰

（1.南京航空航天大學 電子信息工程學院，江蘇 南京 210016；2.南京航空航天大學 無人機研究院，江蘇 南京 210016）

近些年來，隨著國民經濟的發展，無人機遙感技術在城市規劃、地理測繪、環境監測、國土資源勘探、軍事偵察以及考古等許多領域中發揮著越來越重要的作用。但由于無人機攝像設備的性能以及其它因素的限制，一般只能得到部分區域的圖像序列，這就需要通過圖像拼接技術將這些圖像序列合成一幅大的全景圖。SIFT算法[1-2]作為目前圖像匹配領域內最活躍的算法之一，對于圖像的縮放、平移和旋轉都具有良好的不變性，對于光照變化和仿射變換或者三維投影也具有一定的魯棒性，因此SIFT算法獲得了廣泛的應用[3-8]。

隨著圖像的對比度降低，SIFT算法所能提取的特征點數目會大大減少。而在實際的無人機成像過程中，受周圍環境因素影響較大，例如由于光照不均勻或者目標本身的灰度特性都有可能造成圖像對比度的降低。

在SIFT算法中，剔除對比度小于給定閾值（SIFT推薦為0.03）的特征點，認為這些點是不穩定的，但固定的閾值無法適應圖像對比度的變化，同時會造成圖像局部范圍內特征點的分布不均。一種解決方法是將原始圖像進行對比度增強，然后對其進行SIFT特征提取。但是對比度增強是一種有損處理，對圖像的質量會造成損害，影響配準精度。另一種方法是根據圖像的對比度人工調整閾值，但人工調整閾值無法適應圖像自動配準的要求，大大增加了工作量，不符合實際工作需求。另外，在圖像匹配的實際應用中，SIFT算法可能會提取出數千甚至上萬的特征點，這對于圖像匹配而言毫無必要，反而大大的延長了算法運行時間，增加了工作量。

1 SIFT算子簡介

1.1 尺度空間的建立和尺度空間特征點檢測

高斯卷積核是實現尺度變換的唯一線性核，因此，一幅二維圖像的尺度空間L（x，y，σ）定義為該圖像與高斯尺度函數的卷積，即：

其中，G（x，y，σ）是尺度可變的高斯函數，?表示卷積，I（x，y）表示輸入圖像，（x，y）表示圖像像素的位置，σ是尺度因子。

為了有效檢測出穩定的特征點，Lowe于1999年提出了高斯差分尺度空間（DoG，Scale－ space，Difference of Gaussian Scale－space），即兩個不同尺度的高斯差分核與圖像進行卷積構成的空間。DoG算子D（x，y，σ）通過將相鄰的高斯尺度函數與圖像卷積后作差得到，即：

式中，k為每兩個相鄰尺度之間的相隔線型比例因子，k=21/s。

1.2 精確定位特征點

特征點的位置和尺度是通過三維二次函數擬合來完成的，同時去除了對比度比較低的候選特征點和不穩定的邊緣響應點（DoG算子產生的較強的邊緣響應），從而增強了匹配的穩定性、提高了算法的抗噪性。差分

其中 X=（x，y，σ）T為包含特征點位置和尺度信息的響亮。有由差分金字塔DoG的幅值大小及曲率來剔除低對比對點和邊緣響應點。

1.3 特征點主方向的確定

坐標的關鍵點，其梯度幅值和方向分別為：

在以特征點為中心的鄰域窗口內使用梯度方向直方圖統計鄰域像素的梯度方向。梯度方向分布在0°～360°，其中在直方圖中每10°表示一個柱，共計36柱。梯度方向直方圖的峰值代表了該特征點處鄰域梯度的主方向。

1.4 特征點描述子的生成

以特征點作為中心取16×16的窗口。每個小格表示特征點鄰域所在尺度空間的一個像素。通過高斯加權在4×4的圖像小快上計算8個方向上的梯度直方圖。繪制各梯度方向的累加值，形成種子點。梯度方向直方圖統計公式如下：

其中，ck為柱中心，Δk 為柱的寬度。 （x，y）為子塊 r（l，m）像素點坐標。

每個特征點由個種子點組成。特征描述子由所有子塊的梯度方向直方圖構成。最終形成128維的SIFT特征向量。

2 改進的SIFT算子

2.1 SIFT算子對比度閾值的分析

由上一部分內容可知：SIFT算法在DoG尺度空間檢測極值，得到候選特征點集。如圖1所示，檢測極值時，圖1中標記叉號的像素要和包括同一尺度空間的周圍8個像素以及相鄰尺度空間周圍鄰域9×2個像素共計26個像素進行比較，以檢測到局部極值。之后通過擬合三維二次函數去除低對比度的關鍵點和邊緣響應點。

因此在SIFT特征檢測時包含兩個參數，分別是對比度閾值和曲率閾值。通過這兩個閾值對SIFT初始特征點進行篩選。本文中主要討論對比度閾值對結果產生的影響，故曲率閾值取 10（SIFT 推薦）。 圖 2（a）、圖 2（b）和圖 2（c）分別為同一場景不同對比度下的照片。 圖 2（a）、圖 2（b）和圖 2（c）檢測到的SIFT初始特征點數目分別為16456、16895和16926。這表明算子檢測特征點的能力不會隨著圖像對比度的變化而變化。此時，令對比度閾值等于0.03對初始特征點進行過濾，得到的特征點數目分別為 3693、1958和 855，分別如圖 3（a）、圖3（b）和圖3（c）所示。由此可見，圖像對比度越低，對比度閾值對于關鍵點數目影響越大。因此，SIFT算法中的對比度閾值應根據圖像的不同，設置為不同的值，這樣才能保證SIFT算法檢測能力的魯棒性。

圖2 同一場景不同對比度下的照片Fig.2 Images in the same scene under different contrast

圖3 特征點數目截圖Fig.3 Number of feature points

2.2 自適應對比度閾值的確定

根據式（2）知，k值越小，金字塔層數越多，相鄰的上下層高斯圖像的差值越小，DoG尺度空間中的極值就越小；除此，若圖像的灰度分布越集中，DoG圖層取值范圍就越小，導致極值越小。這說明，DoG尺度空間的灰度信息反映了極值的變化范圍，所以以特征點為中心的DoG圖層的局部鄰域反映了極值的變化范圍。因此本文根據圖像DoG尺度空間局部鄰域的灰度信息，來確定對比度閾值。取以候選SIFT特征點為中心的9×9區域為鄰域，計算該鄰域內所有像素灰度絕對值的均值，記為δ。我們取kδ作為改進后SIFT算法的對比度閾值。

通過分析發現，SIFT算法的計算時間主要耗費在檢測極值點和描述特征向量這兩個步驟。對于自適應對比度的系數k的值，若過大，則可能無法提取到足夠的特征點；若過小，提取出的特征點過多，提取出匹配點對于圖像變化矩陣H的確定遠遠足夠，反而只會使算法計算量變大，效率降低。據此，本文提出可變的自適應對比度閾值系數。具體調整方法如下：

其中δnew為新的閾值，δ為自適應對比度閾值，l1和l2為閾值調整系數。設N為即時檢測出的特征點數目，Mmin和Mmax為預先設定的特征點數量區間。當N＜Mmax時，需減小閾值以獲得更多的特征點，根據經驗值，將l1設為1.3；反之，若N＞Mmax，將l2設為10。具體步驟如下：

1）首先設置特征點數量區間。應確?？梢杂嬎愠稣_的圖像變換矩陣，又可避免過多運算。一般情況下，設置Mmin=1 200、Mmax=1 700可以取得較好結果。

2）計算待匹配圖像即時的特征點數量。在初始閾值或者步驟4產生的新閾值下計算待匹配圖像的特征點。

3）判斷特征點數量是否滿足要求。若其在預定的區間內，進行步驟5的計算過程。否則生成新的閾值繼續計算。

4）生成新閾值。按照式（7）生成新的閾值。根據新閾值大小分為兩種情況：當閾值降低時，需重新進行待匹配圖像特征點檢測；反之，閾值升高時，直接判斷特征點數量是否滿足要求。

5）進行圖像匹配其他步驟。使用以上步驟返回的閾值進行其他SIFT算法步驟。

綜上，采取具有動態系數的自適應對比度閾值δnew，既可以在處理低對比度圖片時提取到足夠多的特征點，又可以有效地控制特征點數目，大大優化了算法運算量，提高了算法的效率。

3 實驗結果及討論

此實驗的目的在于比較本文算法和傳統的固定對比度閾值SIFT算法提取特征點的能力和效率。文中通過大量實驗，但由于篇幅限制下面只選取其中兩張詳細說明。如圖4所示。

圖4 相同場景不同對比度下的圖片Fig.4 Images in the same scene under different contrast

圖4（a）和圖4（b）為相同的場景在不同對比度下的圖片，其中圖4（b）的對比度極低。

圖5（a）為采用固定閾值SIFT算法（對比度閾值取0.03）對圖4（a）進行特征提取的結果，共計提取5 011個特征點，耗時25.092 s；圖4（b）采用固定閾值SIFT算法沒有提取到特征點。圖 5（b）和圖 5（c）為采用本文算法對圖 4（a）、圖 4（b）分別提取特征點的結果，圖4（a）共計提取1 791個特征點，耗時 11.996 s；圖 4（b）共計提取到 1 737 個特征點，耗時 11.545 s。如下表所示：

通過比較，明顯可見：1）改進后的SIFT算法相比原來的SIFT算法提取特征點的能力顯著增強，即使對于對比度很低的圖像，也能提取到足夠的特征點，并且提取的特征點均勻分布于整個圖像。2）改進后的SIFT算法相比原來的SIFT算法節省了超過一半的時間，算法效率提高了一倍多。

4 結 論

圖5 不同算法下的特征點截圖Fig.5 Figures of the feature points in the different algorithms

表1 兩種算法處理的結果Tab.1 Test results of two algorithms

文中提出的具有可變系數的自適應對比度閾值SIFT改進算法，改進后的算法不僅增強了對于圖像對比度變化的魯棒性，而且大大提高了算法的效率。該實驗結果表明在圖像對比度較低時，可以提取到足夠多的特征點用于特征匹配，并且改進后的算法提取到的特征點分布非常均勻，能夠有效地提高圖像配準的精度；另外，改進后算法可以有助于避免提取過多的不必要的特征點，大幅度的提高了算法的效率。該算法無須根據圖像不同，人工調整SIFT對比度閾值，非常適合需要使用自動匹配的場合。

[1]LOWE D.Object recognition from local scale-invariant features [C]//Proceeding of ICCV Piscataway，NJ，USA:Institute of E-lectrical and Electronics Engineers Inc，1999:1150-1157.

[2]LOWE D.Distinctive image features from scale-invariant key-point[J].International Journal of Computer Vision，2004，60（2）:91-110.

[3]Stereo Cameras Self-calibration Based on SIFT[C]//proceedings of the International Conference on Measuring Technology and Mechatronics Automation，2009:352-355.

[4]伯將軍，郭書軍，伍淳華.SIFT局部特征描述算法在圖像版權搜索中的應用[J].電子設計工程，2012，20（3）:137-141.BO Jiang-jun，GUO Shu-jun，WU Chun-hua.Application of SIFT algorithm in the image copyright search[J].Electronic Design Engineering，2012，20（3）:137-141.

[5]孫艷麗，李建海，周偉，等.SIFT在高分辨率SAR圖像自動配準中的性能分析[J].電子設計工程，2011，19（7）:180-183.SUN Yan-li，LI Jian-hai，ZHOU Wei，et al.Performance analysis of SIFT to registration of high-resolution accuracy SAR imagery[J].Electronic Design Engineering，2011，19（7）:180-183.

[6]張建花，白仲斐，惠廣裕.基于SIFT算法的異源遙感影像自動匹配研究[J].電子設計工程，2011，19（13）:176-179.ZHANG Jian-hua，BAI Zhong-fei，HUI Guang-yu.Research on automatic registration of multi-source remote sensing images based on SIFT algorithm[J].Electronic Design Engineering，2011，19（13）:176-179.

[7]徐昱琳，張雷，陳萬米，等.基于SIFT特征和圖割算法的圖像分割方法研究[J].計算機測量與控制，2009，17（12）:2491-2499.XU Yu-lin，ZHANG Lei，CHEN Wan-mi，et al.Image segmentation based on SIFT feature and graph cuts[J].Computer Measurement&Control，2009，17（12）:2491-2499.

[8]李曉明，鄭鏈，胡占義.基于SIFT特征的遙感影像自動配準[J].遙感學報，2006，10（6）:885-892.LI Xiao-ming，ZHENG Lian，HU Zhan-yi.SIFT based automatic registration of remotely-sensed imagery[J].Journal of Remote Sensing，2006，10（6）:885-892.