基于徑向基神經網絡的立體匹配算法
2008-12-31 00:00:00戴玉超何明一張靜高濤
計算機應用研究 2008年11期
（西北工業大學 電子信息學院 陜西省信息獲取與處理重點實驗室， 西安 710072）
摘要：針對雙目視覺中的圖像立體匹配問題，提出了一種基于徑向基神經網絡的立體匹配算法。該算法提取圖像的尺度不變特征變換（SIFT）特征建立特征匹配矩陣，對特征匹配向量進行約簡，最后將約簡的特征匹配向量輸入徑向基神經網絡進行識別輸出。仿真和實際圖像實驗表明，該算法的匹配正確率比標準的SIFT有所到提高。
關鍵詞：立體匹配；尺度不變特征變換；徑向基函數；特征匹配向量
中圖分類號：TP3914文獻標志碼：A
文章編號：1001-3695(2008)11-3477-03
Stereo matching based on RBF neural networks
DAI Yu-chao， HE Ming-yi， ZHANG Jing， GAO Tao
(Shaanxi Key Laboratory of Information Acquisition Processing， School of Electronics Information， Northwestern Polytechnical University， Xi’an 710072， China)
Abstract:Aiming at the stereo matching problem in computer vision，presented a novel stereo matching algorithm based on radial basis function neural networks. Firstly， extracted feature descriptors of the images using the SIFT（scale invariant feature transform）descriptor. Secondly，calculated the feature matching matrix between image pairs.Thirdly，reduced the feature mat-ching vector. Finally，passed the reduced feature vector to the RBF neural network to recognize whether the matching relationship was correct.Experiments on simulated and actual images show that the proposed algorithm outperforms SIFT in the aspect of matching precision.
Key words:stereo matching；SIFT；radial basis function(RBF);feature matching vector
立體匹配是計算機視覺和非接觸式測量中最基本的關鍵問題，是雙目視覺系統的基礎步驟。實現自動、精確的立體匹配是人們追求的目標[1，2]。基于特征的立體匹配的典型過程如下：a）在立體圖像對中選擇顯著特征；b）根據這些特征之間的匹配關系確定局部區域之間的對應關系。圖像中的顯著特征包括邊緣、角點等；用于確定圖像特征之間匹配關系的準則包括歸一化互相關系數、互信息、歐氏距離等。由于成像條件和成像過程的復雜性，如何確定特征之間的匹配關系仍是難點[3]。
近年來，在計算機視覺領域，通過引入圖像尺度空間概念，基于局部不變量的特征提取方法取得顯著進展。D.G. Lowe[4，5]提出了尺度不變特征變換（scale invariant feature transform，SIFT ）；Yan Ke等人[6]基于人臉識別等領域得到廣泛應用的PCA（主成分分析）方法提出了PCA-SIFT特征描述子；Mikolajczyk等人針對不同的場景，對光照變化、圖像幾何變形、分辨率差異、旋轉、模糊和圖像壓縮等六種情況，就多種最具代表性的描述子進行了實驗和性能比較，結果表明在以上各種情況下， SIFT描述子的性能最好[7]。
基于SIFT算子的圖像匹配方法已經應用于圖像鑲嵌、從運動恢復結構等領域。但是特征之間的匹配準確率和精度仍需提高。徑向基函數神經網絡具有良好的逼近能力、分類能力，廣泛應用于數據分類、模式識別等領域。
1SIFT特征提取與特征匹配
11SIFT特征提取
圖像尺度空間理論是通過對原始圖像進行尺度變換，獲得
圖像的多尺度空間表示序列，對這些序列進行尺度空間主輪廓的提取， 并以該主輪廓作為一種特征向量實現邊緣、角點檢測和不同分辨率上的特征提取等。Lindeberg[8]證明高斯卷積核是實現尺度變換的惟一變換核。
SIFT首先在圖像尺度空間進行特征檢測，確定關鍵點的位置和關鍵點所處的尺度，然后使用關鍵點鄰域梯度的主方向作為該點的方向，將鄰域進行旋轉以實現算子對方向的無關性，在尺度空間搜索極值位置實現尺度不變性。SIFT特征提取過程如下：
a）采用高斯卷積核構造圖像多尺度表示。設輸入圖像為I（x，y），則構造的尺度空間序列為L(x，y，σ)=G(x，y，σ)×I(x，y)。對高斯尺度空間進行差分得到高斯差分函數D(x，y，σ)=(G(x，y，kσ)-G(x，y，σ))×I(x，y)=L(x，y，kσ)-L(x，y，σ)。其中G(x，y，σ)=(1/2πσ2)e-(x2+y2)/2σ2。
b)尺度空間極值檢測，搜索整個尺度和位置空間。通過使用高斯差分函數的極值確定對尺度和方向具有不變性的興趣點，初步確定關鍵點位置和所在尺度。
c)關鍵點精確定位。通過擬合三維二次函數以精確確定關鍵點的位置和尺度，同時消除低對比度
的關鍵點和不穩定的邊緣響應點，以增強匹配穩定性、提高抗噪聲能力，實現亞像素特征點定位。
d)方向分配。每一個關鍵點根據局部圖像梯度方向分配一個或多個方向。其后所有操作都根據分配的方向、尺度、位置，利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數，使算子具備旋轉不變性。
e)特征描述子的構造。對任意一個關鍵點，在其所在的尺度空間(即高斯金字塔結構的某一層) 取以關鍵點為中心的鄰域，計算梯度方向直方圖，最后得到反映局部的128維向量，即SIFT特征描述子。
從以上步驟可以看出，通過使用圖像局部鄰域的梯度信息構建高維特征描述子，SIFT特征描述子具有很強的獨特性，并且具有旋轉、尺度不變性。
12圖像特征匹配算法
對于待匹配圖像對A和B，利用SIFT特征提取方法提取得到圖像A和B中的特征描述子。假設圖像A和B分別包含m和n個特征描述子（Ai，i=1，…，m；Bj，j=1，…，n），圖像特征匹配的目的是確定特征描述子Ai、Bj之間的對應關系，從而獲得特征描述子對應的特征位置的匹配關系，建立對應性矩陣M。對應性矩陣M定義如下：
Mij=1特征描述子Ai與特征描述子Bj匹配
0特征描述子Ai與特征描述子Bj不匹配
對應性矩陣M應滿足條件：
iMij∈{0，1}jMij∈{0，1}
確定對應性矩陣M是立體匹配的關鍵。常見的匹配準則主要有最近距離準則、門限準則、距離比例門限準則等。在最近距離準則下，若兩個區域的特征描述子Ai、Bj間的距離最小且小于某一門限，則確定這兩個區域存在匹配關系。這種準則下，一個區域只與另一個區域相匹配，但是當一個特征不存在對應特征時，該算法仍然給出錯誤的匹配結果，無法拒判。基于門限的準則，A、B圖像中兩區域相匹配，若這兩個區域的特征描述子Ai、Bj間的歐氏距離小于某一預定的門限。這種準則下，一個區域可能有多個匹配區域。在最近距離次最近距離比值準則中，對于特征描述子Ai，計算B圖像中所有特征描述子與Ai之間的距離，獲得最近距離Di1和次最近距離Di2。如果Di1/Di1＜t則確定匹配關系，此種準則下門限參數確定是關鍵問題。
以上匹配準則均存在誤匹配和無法拒判以及參數確定困難的問題，最終匹配準確率受到一定限制，難以實現自適應高精度匹配。神經網絡在自適應分類方面具有良好的效果，而徑向基函數（RBF）神經網絡具有任意逼近自適應的優點。筆者將（RBF）網絡應用于圖像特征匹配，提出了SIFT-RBF算法，該算法利用神經網絡自適應、自學習的特點，在充分訓練學習的基礎上自適應確定分類匹配準則，進一步提高了立體匹配的準確率。
2基于徑向基函數神經網絡的圖像特征匹配方法
21徑向基函數神經網絡分類器
徑向基函數(RBF)是指某種沿徑向對稱的標量函數，通常定義為空間中任一點X到某一中心ci間歐氏距離的單調函數。最常見的徑向基函數是高斯核函數，表示為ki(x)=exp(-‖x-ci‖2/(2σi2))。其中：ci為核函數中心；σi為核函數的寬度參數，控制基函數的徑向作用范圍，即方差。
RBF神經網絡是應用多變量插值的RBF設計而成的神經網絡。已經證明RBF神經網絡能在任意精度下逼近任意的非線性函數，具有最優逼近和全局逼近的特性。其網絡拓撲結構是由一個隱含層和一個標準全連接的線性輸出層組成的前向網絡。隱含層最常用的是高斯徑向基函數，而輸出層采用線性激活函數。其典型結構是三層的前向網絡（圖1）。
22RBF-SIFT圖像立體匹配算法
將RBF神經網絡與SIFT算法相結合，本文提出了基于RBF神經網絡的圖像立體匹配方法。該算法首先提取圖像的SIFT特征描述子；然后計算特征匹配向量，對特征匹配向量進行約簡實現數據壓縮；最后輸入RBF神經網絡進行分類，即特征之間匹配與否。下面給出RBF-SIFT詳細的算法步驟：
a)SIFT特征提取。在待匹配立體圖像中對A、B進行特征提取獲得SIFT特征描述子，得到圖像特征描述算子集合Ai（i=1，…，m），Bj（j=1，…，n）。
b)歸一化互相關及特征匹配向量。對于圖像A的任一特征描述子Ai，計算Ai與圖像B中所有特征描述子的歐氏距離，得到一個行向量D。將所有的特征描述子歸一化，則對特征描述子歐氏距離的計算可以利用內積運算。經過內積運算得到反映圖A、B之間所有特征向量匹配程度的特征匹配矩陣M。其中M矩陣的元素Mij=dis(Ai，Bj)=〈Ai，Bj〉，即Mij為特征描述子的內積。圖像A中特征描述子Ai對應的特征匹配向量定義為矩陣M的第i行Pi=(Mi1，Mi2，…，Min)，與之對應圖像B中特征描述子Aj對應的特征匹配向量為矩陣M的第j列元Qj=(M1j，M2j，…，Mmj)T。
c)特征匹配向量約簡。特征匹配矩陣M維數為m×n，一般的自然場景圖像檢測出SIFT描述子的數量多于2 000，因此每一個用于確定圖像A中特征描述子Ai在B中對應特征的特征匹配向量Pi為長度大于2 000的向量。直接利用神經網絡對其進行分類識別，存在數據量大、主要特征不明顯的問題，因此引入如下特征匹配向量約簡方法壓縮數據量。
首先分析特征匹配向量曲線的特點。圖2顯示了一條經過排序的特征匹配向量曲線。其中橫軸表示圖像B中各個特征編號，縱軸表示特征Ai與B中所有特征描述子的歐氏距離。從該曲線可以看出，前端變化顯著而后面絕大部分變化不大；另外從實驗可知，匹配對應點一般位于歐氏距離最小的前幾位中。為了壓縮數據量，提高計算速度，選擇特征匹配向量的前幾位作為RBF神經網絡輸入，用于識別是否匹配，當然也可以對特征匹配向量進行主成分分析。
d)徑向基神經網絡分類。由于RBF神經網絡在自適應分類上的優勢，使用RBF神經網絡對特征匹配向量進行分類，從而確定匹配與否。RBF網絡的學習與訓練過程如下：在標準圖像庫（英國劍橋機器人中心測試圖像數據庫）的每一幅圖像上運行SIFT程序檢測關鍵點和描述子。由于SIFT算法平均每幅圖像可以產生幾百上千個關鍵點，人工確定匹配計算量大而且存在潛在的錯誤。已知圖像對之間的映射關系則可以自動確定關鍵點之間的匹配關系。
通過以上方法選擇圖像數據庫獲得超過14萬個特征匹配向量。選擇其中的2萬特征匹配向量進行訓練，RBF神經網絡輸入層選擇為5個節點，輸出層為1個節點，隱層選擇30個節點，正確結果預先確定，最終網絡訓練區域收斂。使用剩余的12萬特征匹配向量進行RBF網絡性能測試，正確分類率達到93.5%，表明使用RBF-SIFT算法可以實現較好的匹配正確率。
3實驗結果
31評價準則
為了評測本文提出的算法的性能，并且與標準的SIFT算法進行比較，預先定義如下評測準則：令H表示圖像A、B之間的映射關系即單應性矩陣。圖像A中的關鍵點Pi與圖像B中對應點P′i之間的映射關系為P′i=H(Pi)。理想情形下Pj=P′i=H(Pi)。實際情況下，當Pj、P′i在空間位置上足夠接近時認為匹配關系存在。本文實驗中選擇距離門限t=2，即‖Pj-H×Pi‖≤2，則認為Pj、Pi是一對匹配點。變換距離門限t可以獲得一條距離門限與正確匹配率曲線。實驗中選擇t=2，根據實際需求可以變化t。
用于評價匹配算法的準則包括檢測率和檢測精度[7]，這兩個指標分別反映了檢測能力和檢測正確性。在本文研究的立體匹配應用中，更為關心檢測的正確性；同時為了綜合反映兩幅圖像SIFT特征檢測對正確匹配關系的影響，定義如下評價準則：
正確匹配率=[正確匹配特征對/（圖像A中特征數量+圖像B中特征數量）/2]×100%
32實驗方法比較
為了評測本文提出的RBF-SIFT算法的性能，將其與最近距離匹配方法（min-SIFT）、最近次近距離比例門限方法（SIFT）進行比較。這三種匹配測度準則均是在對圖像對提取SIFT特征算子的基礎上進行。其中最近次近比例門限方法中門限為0.6。
33實驗結果
為了測試和比較以上幾種方法，選擇計算機仿真和在真實的多光譜圖像、視頻序列、多角度圖像等情形進行立體匹配測試。
331仿真實驗驗證
為了驗證提出的算法的實際效果，首先進行計算機仿真實驗，仿真實驗情形下立體匹配關系明確，便于定量比較算法性能。仿真實驗包括抗噪性能實驗和尺度變換。
為了測試算法的抗噪性能，選擇在實驗圖像中施加高斯噪聲和椒鹽噪聲，噪聲強度從0.01增加到0.1時，提出的RBF-SIFT與標準SIFT算法及最近距離min-SIFT性能比較如圖3所示。可見提出的算法在噪聲強度逐漸增大的情形下匹配正確率雖然呈下降趨勢，但明顯高于SIFT和min-SIFT，表明提出的RBF-SIFT具有較強的抗噪性能。
對圖像進行多尺度變換，尺度選擇為0.8~12.8，按照指數規律選擇，多尺度圖像產生方法參見文獻[8]。以Boats為例產生尺度空間圖像序列，使用RBF-SIFT、SIFT和min-SIFT對于boats圖像多尺度序列進行匹配，得到的圖像變化時算法性能比較曲線如圖4所示。
從曲線中可以看出，三種算法中基于最小距離匹配的SIFT算法性能最差，而且正確匹配率隨著尺度的增大急劇減小，而提出的RBF-SIFT算法性能相對標準的SIFT算法有5％~10％的提高，而且隨尺度增大正確匹配率變化緩慢。
通過以上實驗結果可以看出，RBF-SIFT算法在圖像施加噪聲、尺度變化等多種情形下的實驗性能較標準的SIFT算法得到了提高。
332真實圖像測試
下面給出SIFT特征在實際圖像匹配中的實驗結果，來檢驗本文給出的立體匹配方法的效果。本文測試的實際圖像類型包括多光譜圖像、自然光圖像、視頻序列。由于預先不能得到真實的匹配關系，主要從主觀判斷匹配關系。實驗結果如圖5~7所示。
從圖中可以看出，RBF-SIFT算法實現了良好的匹配正確率，能夠應用于遙感、視頻、不同角度圖像之間的匹配，從而為后續的三維重建、圖像鑲嵌創造良好的基礎。
采用RBF神經網絡進行訓練學習速度較慢，但是訓練結果可以應用于多種不同情形，從而實現離線學習與在線應用的分離，在運用RBF神經網絡良好性能的同時保證可以快速實現對于特征間匹配關系的確定。本文中所有實驗在Windows XP系統下采用MATLAB編程實現，進一步的改進可以采用DSP或FPGA進一步提高算法速度。
4結束語
本文研究了計算機視覺中立體匹配問題，提出一種基于RBF神經網絡的立體匹配算法——RBF-SIFT算法，并對仿真和真實情形進行了測試。測試的圖像對包括自然場景、視頻序列、多光譜圖像等圖像類型。實驗結果表明，這種匹配算法的效果均好于標準SIFT和min-SIFT。為了進一步提高匹配正確率，在上述算法的基礎上還可以增加非線性最優化過程，利用初步匹配結果求解圖像間幾何變換模型，然后根據特征點對和初始模型進行非線性最小二乘優化，進一步提高立體匹配精度。
參考文獻：
［1］
BROWN L G.A survey of image registration techniques[J].ACM Computing Survey，1992，24(4):325-376.
[2]劉正東.計算機視覺中立體匹配技術的研究[D].南京：南京理工大學，2005.
[3]李曉明，鄭鏈，胡占義.基于SIFT特征遙感影像自動配準[J].遙感學報，2006，10(6):885-892.
[4]LOWE D G.Object recognition from local scale-invariant features[C]//Proc of International Conference on Computer Vision.Washington DC:IEEE Computer Society，1999:1150-1157.
[5]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60(2):91-110.
[6]YAN Ke，SUKTHANKAR R.PCA-SIFT:a more distinctive representation for local image descriptors[C]//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC:IEEE Computer Society，2004:506-513.
[7]MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors[J].IEEE Trans on Pattern Analysis Machine Intelligence，2005，27(10):1615-1630.
[8]LINDEBERG T.Scale-space theory:a basic tool for analyzing structures at different scales[J].Journal of Applied Statistics，1994，21(2):224-270.
