激光主動探測成像中全景拼接的算法研究

馬雪松，張海洋，韓 磊，趙長明，楊蘇輝

（北京理工大學光電學院，北京100081）

·圖像與信號處理·

激光主動探測成像中全景拼接的算法研究

馬雪松，張海洋，韓 磊，趙長明，楊蘇輝

（北京理工大學光電學院，北京100081）

激光主動探測成像是將激光技術、距離選通技術、微弱目標的成像處理等技術結合應用的一項新技術。因其分辨率高、抗干擾能力強、能夠生成三維像的優點，廣泛應用于各種探測領域。但這種方式獲取的圖像一般視場角偏小，不利于全局的觀察和分析。本文描述了一種通過改進的并行SURF算法檢測場景角點特征，能夠高速實時地將相鄰場景焦點特征相匹配的全景拼接方法。測試了這種方法的運行效率和拼接效果。利用改進后的SURF算法將小視角的圖像拼接起來，增大了可視范圍，提高了觀察和分析的綜合能力。并且將這一方法運用到了3D成像激光雷達距離信息的拼接中，測試了效果，驗證了其可行性。本文提出的快速配準拼接算法，為高速實時大視場觀察奠定了理論和實驗基礎。

主動探測；圖像處理；特征識別；全景拼接

1 引 言

全景拼接技術是圖像處理領域中的重要技術之一，它可以彌補激光探測中，探測視場角過小［1-2］，不利于全局觀察的缺陷，因此被廣泛應用于虛擬現實、遙感圖像處理、視頻壓縮和傳輸等領域。目前有很多方法可以進行全景拼接，有Szeliski基于運動的方法［3］，Peleg和Herman的多重投影（Manifold-Projection）拼接法［4］，Kyung Ho的等距匹配法［5］，以上這些都是直接從圖像的重疊區域中對應像素灰度值出發去考慮，由于重疊區域有大量像素數需要統計，并且要求圖像“亮度恒定”，所以在實際應用上存在一些局限。為了解決以上缺點，出現了由特征匹配出發的拼接算法［6］，典型的有基于相位一致性和Hough變換的圖像配準方法［7］，Harris和Stephens的Harris角檢測算子［8］，尺度不變特征變換匹配（SIFT）算法［9-10］，和近年出現的加速魯棒特征（SURF）算法，這幾種算法都是將兩幅圖像的角點特征進行匹配，從而完成圖像拼接。

本文提出了一種改進的并行SURF算法，通過并行運算和重寫部分代碼達到了提高算法運行效率的作用。這一改進加快了SURF算法的速度，達到了高速實時處理的要求。并且本文將SURF算法運用于3D成像激光雷達的應用，驗證了其可行性。

2 SURF算法原理

SURF算法的第一步，也是其核心的是構建Hessian矩陣，給定一個圖像I上的點X=（x，y），則點X在尺度σ上Hessian矩陣為［11］：

SURF算法巧妙之處在于將圖像處理成積分圖像，這樣要計算Hessian響應時，只需要計算三次加減法即可。由于采用了積分圖像和盒子濾波器，所以在建立尺度空間時，可以采用不同的圖像金字塔構建方法，圖像大小不變而改變了Gaussian盒子濾波器的大小。

尺度空間由不同的組構成，第一組的最小尺度是9，那么經過差值之后，下一組的最小高斯函數的尺度就是σ=1.6=1.2，盒子濾波器的最小尺寸為12×12，最大的高斯函數尺度為σ=3.2= 1.2，盒子濾波器的最小尺寸為24×24［12］。尺度空間各組和組內每層的分布如圖1所示。

圖1 三個不同組的盒子濾波器尺寸示意圖Fig.1 Graphicalrepresentationofthefilter sidelengthsforthreedifferentoctaves

通過以上步驟得到多層尺度空間數據后利用三維空間上｛x，y，σ｝的非最大值抑制來尋找極值點，x，y表示橫縱坐標，s代表尺度。在得到極值點后，需要用插值迭代的方法獲得更高尺度精度，需要用到Brown提出的方法［13］，為此需要將檢測點處的Hessian函數的特征值H（x，y，σ）進行泰勒展開，結果為：

當極值點的值為0時得到插值位置^x=（x，y，σ），代入式（2），該微分是對鄰近像素的有限差分逼近，當^x大于0.5時根據結果調整位置再一次進行以上的差值運算，直到^x的值小于0.5或者差值次數超過閾值次數為止。

在興趣點處用Haar小波計算其一定大小鄰域處的Haar小波響應的統計，從而計算出興趣點的主方向和特征描述向量［14］。最后只需比較兩幅圖像間興趣點描述子向量的距離，就可以完成兩幅圖像間特征點的匹配。

3 SURF算法的改進

盡管SURF算法在特征匹配算法中具有相對不錯的效率，也因為使用了boxfilter和積分圖像提高了效率，但是如果要用在實時處理上，其效率還是遠遠不夠的。現在主要運用的OpenSURF其匹配兩幅圖像所需要的時間往往需要在800ms以上，對于現在很多實時系統來說這種效率是無法容忍的。所以需要改進SURF算法，在保留其精準度的同時提高它的效率。

首先如上一章所述，SURF算法流程如圖2所示。

圖2 傳統的SURF拼接算法流程圖Fig.2 TheflowchartoftraditionalSURFalgorithminstitching

如圖2所示的是傳統的SURF算法的流程圖，可以看到這一流程完全是串行化的，實際上從圖中可以看出輸入的圖像一和圖像二做的完全是同樣的操作，所以完全可以把這個兩個流程做并行化處理，理論上可以提升一倍的效率。并行化后的流程圖如圖3所示。

圖3 并行的SURF拼接算法流程圖Fig.3 The flowchart of parallel SURF algorithm in stitching

其次，SURF算法在生成積分圖時是從BITMAP類上提取像素值，這樣每處理一個像素點就要做一次提取，這樣是相當耗時的，所以，在運行SURF算法之前，將兩幅圖像預處理為一組RGB矩陣，再改寫SURF算法直接從矩陣中讀取數據，這樣使得數據的讀取操作變得更加容易，可以很大程度上加快SURF算法的處理效率。至此，將輸入數據類型和程序流程改寫完成。可以對代碼具體的SURF算法進行改寫，這里主要是對算法中的循環進行Parallel并行化改寫。

用不同大小尺度的Gaussian二階偏導數對改進前的代碼進行多次測試得到平均數據，得到了如表1所示的未經過優化代碼的數據。

表1 未經過優化代碼運行數據Tab.1 The data of SURF before optimising

從表1中可以看出，隨著Gaussian scale的減小，圖片處理的越細密，匹配點數越多，若要使得匹配點達到50個，則代碼的執行時間平均為568.7 ms，這樣的匹配點數是SURF拼接的基本條件。這也就意味著，在不對代碼進行優化的情況下，若要保證兩幅圖像成功拼接，需要560.7 ms以上的時間來運行算法，這樣的表現達不到實時系統的要求。

經過上文所述的并行優化、輸入優化和數據結構的優化后再次在同樣的硬件條件下處理相同的兩幅圖像多次，記錄多組數據取得平均值，得到了優化后的算法運行數據，如表2所示。

表2 經過優化代碼運行數據Tab.2 The Data of SURF after Optimising

表2顯而易見的表明了算法的性能改善，在Gaussian scale為0.001時，不僅算法效率有了極其顯著的提升，而且在特征點數量上也有了一定的改善，這說明本文所述的算法優化是相當有效的。

圖4顯著地表現了算法優化的效果，在代碼優化前點數時間比最大可達到0.13，但是經過優化后這一比例最大達到0.76，最小時也有0.4，最小值是優化前最大值的近四倍。圖中的折線代表優化比，代表不同scale下點數時間比的優化倍數，這一倍數最大可達到5.85。在實際應用中當匹配點數足夠時，更多的匹配點數并不能帶來更好的肉眼可見的拼接效果，在這種情況下，時間方面的優化就顯得更為重要。

圖4 算法效率優化效果示意圖Fig.4 The Efficiency Result after Optimizing

在時間上的效果可以從圖5中明顯地表現出來，對比之下優化后的時間顯著減少，并且Gaussian scale越小算法處理圖像處理的越細膩，這種優化效果越明顯，最后收斂在0.17處，這表明只從時間角度上說，本文所述的優化可使時間效率提高近六倍。

以上證明了優化后的SURF算法在效率上的確得到了顯著的提高，下面驗證優化后的拼接效果。匹配并拼接兩幅640×480的圖像在scale為0.000005時經327.6 ms匹配拼接完成，左邊圖像檢測出750個興趣點，右側圖像檢測出803個興趣點，匹配點數264。優化后的拼接效果如圖6所示。

圖5 算法時間優化效果圖Fig.5 The Time Result after Optimizing

圖6 的拼接前后對比圖表現出了算法的良好拼接效果，算法成功地對兩幅圖像進行了拼接。證明了本文所做的優化一方面保證了算法的精確性，提供了良好的拼接效果，另一方面極大地提高了算法的效率。

圖6 算法優化后拼接效果圖

經過本文優化的SURF算法與其他算法相比，具有非常大的優勢。這里將本文的優化算法與一般的Accord.Net庫提供的拼接算法做拼接時間上的比較，兩種算法處理同樣一幅圖像，數據如表3所示。

表3 優化的SURF算法與Accord.Net的拼接算法對比Tab.2 The data of SURF after optimising v.s Accord.Net

從表中可以看出，本算法與其他算法相比具有很大的優勢。匹配點數量上可以發現，兩種算法的相差無幾，所以在同一幅圖的拼接效果上也是相同的。在時間上本算法只需要Accord.Net的三分之一的時間就可以完成效果相同的拼接效果。所以說，本算法與其他算法相比也具有相當大的優勢。

4 SURF算法在3D圖像拼接上的應用

如前文所述，在做圖像拼接時，優化后的SURF算法在時間和精確性上都具有很好的性能。那么從理論上來說SURF算法同樣可以用于3D圖像的拼接上，這一方法的實現為3D成像激光雷達的結果顯示帶來了極大的方便。

為了便于查看拼接效果，將3D成像激光雷達采集到的深度信息轉化為灰度圖進行顯示，拼接效果如圖7所示。

圖7 3D成像激光雷達深度信息拼接效果圖Fig.7 Stitching result of the distance Information of 3D Image Laser Radar

在圖7中，（b）是未經處理過的深度信息等效出的灰度圖像。將深度信息分割后可以還原出圖7（a）中的兩個圖像，將分割出的兩組距離信息輸入上文優化后的算法中。經過61.0 ms的處理，可以看出得到了八對匹配度良好的匹配點，算法輸出到重新拼接好的矩陣，還原為灰度圖如7（c）所示。對比原距離信息還原出的圖7（b）和再拼接后得到的距離信息還原出的圖7（c），可以看出除了圖像的下邊緣由于拼接產生的鋸齒瑕疵外，剩余區域幾乎沒有差異。

以上試驗可以驗證經過本文所述方法優化的SURF算法，完全可以用于3D成像激光雷達深度信息的拼接、還原工作中，這一應用會為3D成像激光雷達帶來視角更大、信息更加全面的顯示效果。

5 結 論

文中采用了并行化算法和優化算法輸入數據類型的方法將SURF算法進行了改進。從得到的數據來看，不論算法的整體效率還是時間效率上都有了很大的提高，而且算法對圖像的處理效果并沒有因為效率的提高而變差，與預期相符合。這為SURF算法在實時系統上的運用奠定了基礎。本文在第三部分進行了將SURF算法運用在拼接3D成像激光雷達所得到的深度數據的試驗，從實驗結果可以看出，這一方法是完全可行并且有效，這為3D成像激光雷達的數據顯示提供了一個新的思路。雖然本次優化已經將SURF算法的效率顯著提高，但是通過分析還是有一定優化的余地，例如改變算法細節的數據結構，優化其中對于數據的查找效率，這可以進一步發掘該算法的潛力，為實際運用帶來便捷。

［1］WANG Min，SONG Liwei，QIAO Yanfeng，et al.External field stitching technology for high speed targetmeasuring and its implementation［J］.Optics and Precision Engineering，2010，18（9）：2069-2076.（in Chinese）

王旻，宋立維，喬彥峰，等.外視場拼接測量技術及其實現［J］.光學精密工程，2010，18（9）：2069-2076.

［2］YU Xiaobo，SHENG Lei.Image stitching of multi-lens with large visual field in range instrumentation［J］.Optics and Precision Engineering，2008，16（11）：2144-2150.（in Chinese）

于曉波，盛磊.靶場測量中多鏡頭大視場視頻圖像的拼接［J］.光學精密工程，2008，16（11）：2144-2150.

［3］SzeliskiR.Image mosaicking for tele-reality applications［C］.IEEE，1994（1）：44-53.

［4］Peleg S，Herman J.Panoramic mosaics by manifold projection［C］.IEEE，1997：338-343.

［5］H JKyung，K JSoon.Constructing cylindrical panoramic image using equidistantmatching［J］.Electronics Letters.1999，35（20）：715-1716.

［6］ZHAO Xiangyang，DU Limin.An automatic and robust imagemosaic algorithm［J］.Journal of Image and Graphics，2004，9（4）：417-422.（in Chinese）

趙向陽，杜利民.一種全自動穩健的圖像拼接融合算法［J］.中國圖象圖形學報，2004，9（4）：417-422.

［7］C Harris，M Stephens.A combined corner and edge detector［C］//Proc of the 4th Alvey Vision Conference，1988，88：147-151.

［8］D G Lowe.Object recognition from local scale-invariant features［C］//Proc of the ICCV，1999：1150-1157.

［9］YUAN Jinsha，ZHAO Zhenbing，GAOQiang，etal.Review and prospecton infrared visible image registration［J］.Laser&Infrared，2001，39（7）：693-699.（in Chinese）

苑津莎，趙振兵，高強，等.紅外與可見光圖像配準研究現狀與展望［J］.激光與紅外，2009，39（7）：693-699.

［10］H Bay，A Ess，T Tuytelaars，et al.Speeded-up robust（SURF）［J］.Computer Vision and Image Understanding，2008，110（3）：346-359.

［11］H Bay.From wide-baseline point and line correspondences to 3D［D］.Swiss：Swiss Federal Institute of Technology，2006：19-23.

［12］M Brown，D G Lowe.Invariant features from interest point groups［C］.British Machine vision Conference，2002：656-665.

［13］H Bay，B Fasel，L Van Gool.Interactive museum guide：Fast and robust recognition ofmuseum objects［C］//Proc of the first internationalworkshop onmobile vision，2006.

［14］H Bay，T Tuytelaars，L Van Gool.SURF：Speeded uprobust features［C］//Proc of ECCV，2006，3951：404-417.

Research on panoram ic stitching in laser active imaging

MA Xue-song，ZHANG Hai-yang，HAN Lei，ZHAO Chang-ming，YANG Su-hui
（School of Optoelectronics，Beijing Institute of Technology，Beijing100081，China）

Laser active imaging combines laser technology，range-gated technology，weak target imaging technology and so on.Because of its high resolution，strong anti-interference ability and the ability to generate three-dimensional image，it is widely used in various areas of detection.But in this way，the image's field of view is usually small，which is not conducive to global observation and analysis.A panoramic stitchingmethod based on the improved SURF algorithm is proposed，and it can quicklymatch target features of adjacent scenes.The efficiency of this approach and stitching effect are tested through the experiments.The results show that thismethod can increase the visible range and improve comprehensive ability of observation and analysis，which lays a theoretical and experimental foundation for highspeed real-time large field of view observation.

active detection；image processing；feature recognition；panoramic stitching

TP301

A

10.3969/j.issn.1001-5078.2015.08.021

1001-5078（2015）08-0977-05

馬雪松（1989-），男，碩士，從事圖像處理算法和探測器性能分析。E-mail：2120120697@bit.edu.cn

張海洋（1981-），男，講師，主要研究領域為固體激光器及激光探測技術。E-mail：ocean@bit.edu.cn

2014-12-26；

2015-01-13