基于ORB-LATCH的特征檢測與描述算法

李 卓，劉潔瑜，李 輝，周小剛，李維鵬

(1.火箭軍工程大學 控制工程系，西安 710025； 2.火箭軍駐第四研究院軍事代表室，西安 710025)

基于ORB-LATCH的特征檢測與描述算法

李 卓1*，劉潔瑜1，李 輝2，周小剛1，李維鵬1

(1.火箭軍工程大學 控制工程系，西安 710025； 2.火箭軍駐第四研究院軍事代表室，西安 710025)

(*通信作者電子郵箱18392432652@163.com)

針對基于學習安排的三元組(LATCH)二進制描述子不具備尺度不變性且其旋轉不變性，需要特征檢測子輔助的問題，提出了一種基于快速定向旋轉二進制穩健基元獨立特征(ORB)和LATCH相結合的特征檢測與描述算法。首先，在圖像金字塔尺度空間上進行加速段測試特征(FAST)檢測；然后，采用ORB灰度質心方法來進行方向補償；最后，對特征進行LATCH描述。實驗結果表明，所提算法具備運算量小、實時性高以及旋轉和尺度不變性的特點，在相同的準確率下，其召回率優于ORB和哈里斯-LATCH(HARRIS-LATCH)算法，其匹配內點率比ORB算法提高了4.2個百分點。該算法在保持實時性的同時進一步縮小了與基于直方圖的尺度不變特征變換(SIFT)和加速健壯特征(SURF)算法之間的精度差距，可對圖像序列進行快速且精確的實時處理。

特征檢測；二進制描述子；尺度不變性；旋轉不變性；實時性

0 引言

特征的檢測與描述是計算機視覺領域許多問題的基礎，在諸如跟蹤、視覺里程計以及視覺導航等應用背景，尋求快速而魯棒的檢測描述方法是實現對幀頻實時處理的關鍵。

在特征檢測方面，類似高斯差分(Difference of Gaussian, DoG)的斑點檢測子具有尺度不變性，但是計算量較大，因此計算量較小的角點檢測在實時性系統中得到了廣泛的應用。在特征描述方面，目前的描述子主要有兩個系列：梯度直方圖方法和二進制方法。基于梯度直方圖的方法具有代表性的是尺度不變特征變換(Scale Invariant Feature Transform, SIFT)[1]，其特點是具備較強的魯棒性，但伴隨著巨大的計算負擔。后來在降低計算成本方面出現了加速健壯特征(Speeded Up Robust Features, SURF)[2]，計算量有所減小但依然無法滿足實時性的要求；另外還存在一種旨在利用圖形處理器(Graphics Processing Unit, GPU)來提高計算速度的方法[3]，但實現途徑較為復雜。相反，近年來二進制描述子得到了較快發展[4-8]，僅通過比對圖像塊的灰度來進行二進制編碼，大大降低了計算量并節省了存儲成本，已經在實時的視覺導航系統上得到了應用[9-11]。文獻[12]對二進制穩健基元獨立特征(Binary Robust Independent Elementary Features, BRIEF)、快速定向旋轉BRIEF(Oriented fast and Rotated BRIEF, ORB)以及二進制魯棒不變尺度關鍵點(Binary Robust Invariant Scalable Keypoint, BRISK)三種描述子的性能進行了評估。針對BRIEF不具備旋轉不變性的問題，ORB引進了在關鍵點附近圖像塊計算灰度質心[5]的旋轉機制。文獻[13]采用了一種直接將特征檢測和描述結合的方式，將關鍵點檢測所具備的旋轉不變性耦合到描述子上，利用這種方法獲取的旋轉不變性優于ORB，但是計算代價較大[14]。針對二進制描述子所不具備的尺度不變性，主流方法是在圖像金字塔的尺度空間上進行加速段測試特征(Features from Accelerated Segment Test, FAST)角點檢測，對尺度不變性較好的關鍵點進行描述，具有快速性和魯棒性相結合的優勢[5-6]。針對像素點對的灰度比對結果易受噪聲和局部表觀變化影響的問題，文獻[14]提出了學習安排的三元組(Learned Arrangements of Three Patch Codes, LATCH)描述子，將像素點對的比對轉變為三元組圖像塊的F范數的比對，在保持二進制描述子優勢的同時，縮小了與基于直方圖的描述子在魯棒性方面的差距，并將其應用于三維重構中。但LATCH描述子不具備尺度不變性，并且其旋轉不變性需要特征檢測子的輔助。

針對上述問題，本文將ORB算法中的多尺度FAST角點檢測和旋轉機制與LATCH描述進行改進結合，使得提出的ORB-LATCH算法在保持二進制描述子優勢的同時具備較強的魯棒性。首先，對提出的ORB-LATCH算法進行運行時間分析，其次在Mikolajczyk標準數據集上進行尺度不變性和旋轉不變性效果分析，最后在KITTI數據集上進行環境適應性驗證。

1 LATCH二進制描述子

通常二進制描述子由三部分組成：抽樣模式、方向補償以及抽樣比對，目前的幾種二進制描述子在抽樣的策略和辨別能力上有所不同。

先前的二進制描述子以檢測到的特征點為中心選取一定大小的圖像塊W，一個二進制描述子bW由T對抽樣坐標序列S={st}t=1,2,…,T={[pt,1,pt,2]}t=1,2,…,T組成，其中pt,1=(xt,1,yt,1)和pt,2=(xt,2,yt,2)定義在W坐標系。索引t既與W中的一對坐標關聯，又關聯高斯光滑核σt=(σt,1,σt,2)t=1,2,…,T。對于每一抽樣對st，比較pt,1和pt,2經過光滑后的灰度，從而由式(1)來設置二進制中相應位的值：

(1)

其中：W(pt,1,σt,1)(W(pt,2,σt,2))是圖像塊W中坐標pt,1(pt,2)經標準差σt,1(σt,2)高斯濾波后的值。

最終的二進制串bW由式(2)來定義：

(2)

(3)

在運行時間上，LATCH描述子保持了二進制描述子的優勢，比基于直方圖描述子快一個數量級；在魯棒性方面，LATCH在大多數數據集上的效果優于其他二進制描述子，縮小了與基于直方圖描述子的差距[14]。

2 ORB-LATCH改進算法設計

LATCH保持了二進制描述子的運算優勢，同時縮小了與基于直方圖的描述子在魯棒性上的差距。但是LATCH描述子的構造設計決定了其旋轉不變性需要檢測子的輔助，且不具備尺度不變性。針對此問題，本文提出一種具備旋轉和尺度不變性的ORB-LATCH改進算法。

2.1 旋轉不變性

在方向補償上，采用ORB中灰度質心的方法來確定方向。以特征點為中心和坐標原點，在其鄰域內計算圖像塊的灰度質心，圖像塊的矩為：

(4)

其中I(x,y)是點(x,y)處的灰度值.

利用矩可以由式(5)計算圖像塊的灰度質心：

C=(m10/m00,m01/m00)

(5)

構造從特征點O到質心C的矢量，從而圖像塊的方向可以由式(6)給出：

θ=atan2(m01,m10)

(6)

這種簡單而有效的灰度質心方法可以對大量的圖像塊進行實時的旋轉操作，通過計算圖像塊的方向將圖像塊旋轉到規范的方向，而后對其進行描述，從而獲取旋轉不變性。

2.2 尺度不變性

在特征檢測方面，角點檢測因計算性能的優越得到了廣泛的應用，其中FAST角點檢測在尺度不變性和計算效率上最具優勢[15]。本文采用文獻[15]提出的性能優越的FAST-9角點檢測算法，首先檢測圖像中每個像素p周圍參考像素xs(s∈{1,2,…,16})的灰度值，如圖1(a)所示。

圖1 局部像素位置示意圖

按照式(7)將像素p分為三類：

(7)

其中th為檢測閾值。

若至少有9個鄰接的參考像素檢測結果均為d(b)，則p為FAST角點記為c。在實際運算中，優先檢測xs(s∈{1,5,9,13})，其中必須有兩個相鄰像素均為d(b)類型，否則拒絕繼續比較剩余的參考像素。文獻[15]中直接用像素灰度值來構建特征矢量，而本文中采用了一種改進的差分FAST特征(Differential FAST Feature, DFF)[16]，該特征在保持運算效率的同時，具備一定的光照不變性和噪聲適應能力，如圖1(b)所示，提取角點像素c周圍20個特征像素xl(l∈{1,2,…,20})的灰度值，并分別與像素c相減構成差分特征Fc，可用式(8)表示：

Fc=Ic-Ic→xl；l∈{1,2,…,20}

(8)

在應用FAST時，檢測閾值th是人為設定的，可以通過實驗調整th值來獲取適當的FAST角點數量，用于增強后續算法的魯棒性。針對FAST不能生成多尺度的特征，本文采用構建圖像的尺度金字塔，并在尺度空間的每一層上生成FAST特征的方法。FAST的快速性優勢使其能夠滿足在金字塔不同的尺度空間上進行角點檢測，對尺度不變性較好的特征再進行描述[5-6]從而實現尺度的不變性。

2.3 算法流程設計

本文提出的ORB-LATCH特征檢測和描述改進算法流程如圖2所示，以實現檢測和描述的優勢互補以及快速性和魯棒性的有效結合。

圖2 ORB-LATCH改進算法流程

在多尺度FAST角點檢測上，對輸入圖像進行金字塔尺度空間的構建，而后對每一圖層進行FAST角點檢測和尺度評判與特征的選取，最后針對FAST對圖像的邊緣特征有較大響應的問題，本文采用Harris方法[17]對FAST檢測到的關鍵點進行排序。對于預定數目N個關鍵點，首先設定能夠獲得關鍵點數目比N多的較低閾值，而后根據Harris方法來挑選前N的關鍵點。

在二進制描述階段，首先采用灰度質心方法對特征周圍固定大小的圖像塊進行方向補償，而后對旋轉后的圖像塊進行抽樣和三元組的選取比對，從而為特征的匹配構造出二進制描述子，為后續的特征匹配奠定基礎。

3 實驗結果與分析

實驗測試設備是DELLOPTIPLEX7010臺式電腦(IntelCorei5- 3470CPU，主頻3.20GHz，4.00GB內存)，64位的Windows7操作系統和Ubuntu14.04操作系統。對于LATCH描述子采用文獻[14]所采用的32位、48×48的提取窗口以及7×7的元組塊，該尺寸選取兼顧了計算量和精度兩個方面，也是OpenCV3.1.0中所采用的參數設置。同樣，對其他的特征檢測子和描述子也均采用其所提出的原始版本以及OpenCV提供的C++默認參數設置。

3.1 運行時間分析

由于算法的運行時間受計算機性能影響，本文采用了在Windows7+VS2015和Ubuntu14.04+Cmake兩種模式下進行運算時間分析，從而客觀地對比各算法的效率。

在Graffiti數據集上規范的640×480圖像上進行檢測和描述(1 000個特征點)的時間計時，運行時間如表1所示。由表1對比數據可知，在本文的實驗條件下ORB-LATCH改進算法保持了角點檢測和二進制描述的效率優勢，比傳統的SIFT[1]和SURF[2]方法快一個數量級，基本滿足實時性的要求。

表1 平均檢測和描述1 000個關鍵點時間 ms

3.2 精度和適應性分析

對于改進算法ORB-LATCH的精度和應用效果分析，本文采用標準的Mikolajczyk公共數據集[18]和KITTI數據集[19-20]來對算法進行評估。Mikolajczyk數據集由八組圖像序列組成，每組圖像序列包含六個具有不同表觀變化的圖像，表觀變化包括尺度和旋轉(Boat集和Bark集)、視角變化(Graffiti集和Wall集)、照明變化(Leuven集)、JPEG壓縮(UBC集)以及圖像模糊(Bikes集和Trees集)。KITTI數據集包含有車載雙目視覺數據集，能很好地對算法進行室外環境適應性考量。

精度和適應性分析實驗包含兩部分：首先針對改進算法ORB-LATCH的尺度不變性和旋轉不變性，通過繪制召回率相對1-準確率曲線圖與ORB算法和HARRIS-LATCH算法進行對比分析驗證；其次針對ORB-LATCH算法室外環境適應性進行分析，與SIFT、SURF、ORB算法在KITTI- 01數據集上進行內點率對比分析。

采用Mikolajczyk數據集中存在尺度和旋轉變化的Boat集和圖像模糊的Bikes集，對每個集合下第一張圖像與剩下的五張圖像進行特征檢測、描述與匹配，根據已知的單應性繪制召回率相對1-準確率曲線，實驗結果如圖3所示。

由圖3可以看出，在尺度和旋轉不變性方面，本文提出的ORB-LATCH算法在相同的準確率下其召回率高于ORB算法以及文獻[15]所采用的HARRIS-LATCH算法，這主要是因為：與ORB算法相比，本文算法的三元組F范數比對具備良好的抗干擾和應對局部表觀變化的能力；與HARRIS-LATCH算法相比，本文算法具備旋轉機制，從而使得改進算法具備較好的尺度和旋轉不變性，縮小了與傳統的SIFT和SURF算法之間在魯棒性上的差距。在圖像模糊上，本文提出的ORB-LATCH算法在Bikes集上平均召回率為0.43，此結果優于傳統的SIFT和SURF算法，表明在運動模糊方面本文算法獨具優勢，能夠更好地應對實際應用中由載體運動造成的圖像模糊。

為檢驗ORB-LATCH算法室外環境適應性，隨機抽取KITTI- 01數據集上相鄰的兩幅圖像，采用暴力匹配(BruteForceMatching,BFM) 法進行特征的匹配，匹配結果如圖4所示。而后利用隨機抽樣一致性(RandomSampleConsensus,RANSAC)算法來尋求圖像間的單應性和匹配的最大的內點集，內點率結果如表2所示。

從圖4中可以看出,與ORB和ORB-LATCH算法相比，SIFT和SURF算法特征的分布均勻性較好，而本文的ORB-LATCH算法比ORB算法匹配要更加整齊，這也顯示出匹配精度的優劣；表2中的結果顯示，在相同匹配策略和描述點數的條件下，本文提出的ORB-LATCH算法的內點數高于目前主流的ORB算法，匹配的準確性更接近于基于直方圖的特征點描述法，可為后續步驟提供更加準確的匹配結果。

圖3 不同算法召回率相對1-準確率曲線

圖4 BFM方法下各算法匹配結果

算法描述點數匹配點數內點數內點率SIFT[1]5005003270．654SURF[2]5004983010．602ORB[6]5005002720．544ORB?LATCH5005002930．586

4 結語

本文提出的ORB-LATCH算法將ORB算法的特征檢測和LATCH描述進行了優勢互補，實現了快速性和魯棒性的有效結合。實驗結果表明：本文算法與ORB算法和HARRIS-LATCH算法相比，其精度更高；與傳統的SIFT和SURF算法相比，本文算法保持了角點檢測和二進制描述的運算耗時小的優勢的同時提高了魯棒性。所提算法可以滿足室外復雜環境下實時并精確地進行特征檢測和描述的要求，為視覺里程計系統中運動信息解算環節提供精度更好的條件，下一步可以從特征的分布和不確定性度的分析、特征匹配策略等方面進行研究。

)

[1]LOWEDG.Objectrecognitionfromlocalscale-invariantfeatures[C]//ProceedingsoftheSeventhIEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 1999, 2: 1150-1157.

[2]BAYH,TUYTELAARST,GOOLLV.SURF:speededuprobustfeatures[C]//Proceedingsofthe9thEuropeanConferenceonComputerVision,LNCS3951.Berlin:Springer, 2006: 404-417.

[3]SINHASN,FRAHMJM,POLLEFEYSM,etal.GPU-basedvideofeaturetrackingandmatching,TR06- 012 [R].ChapelHill,NC:TheUniversityofNorthCarolinaatChapelHill, 2006.

[4]CALONDERM,LEPETITV,STRECHAC,etal.BRIEF:binaryrobustindependentelementaryfeatures[C]//Proceedingsofthe2010EuropeanConferenceonComputerVision,LNCS6314.Berlin:Springer, 2010: 778-792.

[5]RUBLEEE,RABAUDV,KONOLIGEK,etal.ORB:anefficientalternativetoSIFTorSURF[C]//Proceedingsofthe2011IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2011: 2564-2571.

[6]LEUTENEGGERS,CHLIM,SIEGWQRTRY.BRISK:binaryrobustinvariantscalablekeypoints[C]//Proceedingsofthe2011IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2011: 2548-2555.

[7]ORTIZR.Freak:fastretinakeypoint[C]//CVPR’12:Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2012: 510-517.

[8]RUSINOLM,CHAZALONJ,OGIERJM,etal.Acomparativestudyoflocaldetectorsanddescriptorsformobiledocumentclassification[C]//Proceedingsofthe2015 13thInternationalConferenceonDocumentAnalysisandRecognition.Washington,DC:IEEEComputerSociety, 2015: 596-600.

[9]MUR-ARTALR,TARDOSJD.Fastrelocalisationandloopclosinginkeyframe-basedSLAM[C]//Proceedingsofthe2014IEEEInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEE, 2014: 846-853.

[10]MUR-ARTALR,MONTIELJMM,TARDOSJD.ORB-SLAM:aversatileandaccuratemonocularSLAMsystem[J].IEEETransactionsonRobotics, 2015, 31(5): 1147-1163.

[11]MUR-ARTALR,TARDOSJD.ORB-SLAM2:anopen-sourceSLAMsystemformonocular,stereoandRGB-Dcameras[EB/OL]. [2016- 10- 23].http://xueshu.baidu.com/s?wd=paperuri%3A%28b8dc1828fec6e423409fcd44fbc2e89a%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fpdf%2F1610.06475.pdf&ie=utf- 8&sc_us=6804051625971623844.

[12]HEINLYJ,DUNNE,FRAHMJM.Comparativeevaluationofbinaryfeatures[C]//Proceedingsofthe2012 12thEuropeanConferenceonComputerVision,LNCS7573.Berlin:Springer, 2012: 759-773.

[13] LEVI G. Adding rotation invariance to the BRIEF descriptor [EB/ OL]. [2016- 10- 23]. https: //gilscvblog.wordpress.com/2013/08/18/a-short-introduction-to-descriptors/.

[14] LEVI G, HASSNER T. LATCH: learned arrangements of three patch codes [C]// Proceedings of the 2016 IEEE Winter Conference on Applications of Computer Vision. Washington, DC: IEEE Computer Society, 2016: 1-9.

[15] ROSTEN E, PORTER R, DRUMMOND T. Faster and better: a machine learning approach to corner detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(1): 105-119.

[16] 王蒙,戴亞平,王慶林.一種新的FAST-Snake目標跟蹤方法 [J].自動化學報,2014,40(6):1108-1115.(WANG M, DAI Y P, WANG Q L. A novel FAST-snake object tracking approach [J]. Acta Automatica Sinica, 2014, 40(6): 1108-1115.)

[17] HARRIS C, STEPHENS M. A combined corner and edge detector [EB/OL]. [2016- 10- 23]. http://www.rose-hulman.edu/class/cs/csse461/handouts/Day29/avc- 88- 023.pdf.

[18] MIKOLAJCZYK K, SCHMID C. A performance evaluation of local descriptors [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[19] GEIGER A. Are we ready for autonomous driving? The KITTI vision benchmark suite [C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2012: 3354-3361.

[20] GEIGER A, LENZ P, STILLER C, et al. Vision meets robotics: the KITTI dataset [J]. International Journal of Robotics Research, 2013, 32(11):1231-1237.

This work is partially supported by the National Natural Science Foundation of China (61203007, 61304001).

LI Zhuo, born in 1992, M. S. candidate. His research interests include binocular visual navigation, vehicle position and orientation.

LIU Jieyu, born in 1970, Ph. D., professor. Her research interests include inertial navigation technology, precision guidance technology.

LI Hui, born in 1978, M. S., engineer. His research interests include navigation, guidance and control.

ZHOU Xiaogang, born in 1979, Ph. D., lecturer. His research interests include inertial navigation and anti-penetration technology.

LI Weipeng, born in 1992, M. S. candidate. His research interests include mobile robot visual simultaneous localization and mapping.

Feature detection and description algorithm based on ORB-LATCH

LI Zhuo1*, LIU Jieyu1, LI Hui2, ZHOU Xiaogang1, LI Weipeng1

(1.InstituteofControlEngineering,RocketForceUniversityofEngineering,Xi’anShaanxi710025,China; 2.MilitaryRepresentativeOfficeoftheRocketForceintheFourthResearchInstitute,Xi’anShaanxi710025,China)

The binary descriptor based on Learned Arrangements of Three Patch Codes (LATCH) lacks of scale invariance and its rotation invariance depends upon feature detector, so a new feature detection and description algorithm was proposed based on Oriented fast and Rotated Binary robust independent elementary feature (ORB) and LATCH. Firstly, the Features from Accelerated Segment Test (FAST) was adopted to detect corner feature on the scale space of image pyramid. Then, the intensity centroid method of ORB was used to obtain orientation compensation. Finally, the LATCH was used to describe the feature. The experimental results indicate that, the proposed algorithm has the characteristics of low computational complexity, high real-time performance, rotation invariance and scale invariance. Under the same accuracy, the recall rate of the proposed algorithm is better than ORB and HARRIS-LATCH algorithm, the matching inner rate of the proposed algorithm is higher than ORB algorithm by 4.2 percentage points. In conclusion, the proposed algorithm can reduce the performance gap with histogram based algorithms such as Scale Invariant Feature Transform (SIFT) and Speeded Up Robust Feature (SURF) while maintaining the real-time property, and it can deal with image sequence in real-time quickly and exactly.

feature detection; binary descriptor; scale invariance; rotation invariance; real-time property

2016- 11- 23;

2017- 01- 09。 基金項目:基金項目:國家自然科學基金資助項目(61203007，61304001)。

李卓(1992—)，男，河北保定人，碩士研究生，主要研究方向：雙目視覺導航、車輛定位定向； 劉潔瑜(1970—)，女，廣東增城人，教授，博士，主要研究方向：慣性導航技術、精確制導技術； 李輝(1978—)，男，山西介休人，工程師，碩士，主要研究方向：導航制導與控制； 周小剛(1979—)，男，陜西西安人，講師，博士，主要研究方向：精確制導與突防技術； 李維鵬(1992—)，男，湖北武漢人，碩士研究生，主要研究方向：移動機器人視覺同步定位與地圖構建。

1001- 9081(2017)06- 1759- 04

10.11772/j.issn.1001- 9081.2017.06.1759

TP242.62

A