基于多譜融合的植被環境中障礙物檢測

王 盛，項志宇

（浙江大學 信息與電子工程學系，浙江 杭州，310027）

對自主車而言，障礙檢測系統一直是關鍵的組成部分之一.在結構化和半結構化道路的場景中，物體大多是剛性的，一般根據它們的體積和高度以及車體自身的性能即可判斷哪些是需要避開的障礙物、哪些是可以安全通過的.而在復雜的越野環境下，障礙物的種類非常繁多，如巖石、樹干、陡坡、坑洞等障礙物對于自主車而言都是無法安全通行的，依然可以將它們作為剛性物體來處理；另外越野環境下的地表通常又被許多植被所覆蓋，如果認為較高的植被也是障礙物，在雜草叢生的環境中自主車將寸步難行.實際上，像較高的雜草這一類植被在具備一定越野能力的自主車面前是可以安全通行的，不應被視為障礙物.因此，這類被植被覆蓋的區域需要在障礙檢測系統中進行單獨處理，這也對一般的障礙檢測方法提出了更高的要求.

對于區分植被和一般障礙已經有不少研究并且取得了一定的成果［1-4］.Hebert等［3-4］提出了一種激光雷達的三維點云分布特征，通過比較點云協方差矩陣的3個特征值，將點云分成平面分布、線性分布和散布分布3類.然后采用機器學習的方法實現分類.但是由于激光雷達本身技術上的一些限制和環境中客觀存在的物體間遮擋，實際應用中很難獲得足夠高質量的點云，尤其在遠處點云會更加稀疏，使得這一方法在實時系統中的單幀檢測效果大打折扣.另有學者從遙感領域獲得啟發，利用多光譜信息，對植被進行檢測［5-7］.這類方法主要利用了植被對于自然光中的紅光和近紅外波段具有不同的反射特性這一特點，在植被檢測效果上有了明顯的提高.隨后Bradley等［8-9］基于歸一化植物差分指數（NDVI）和三維點云分布特征提出了融合多傳感器的植被檢測方法.Nguyen 等［10-11］之后又提出了一種基于激光雷達點云和彩色圖像的植被檢測方法，通過將點云分割到均勻的柱狀區塊，利用點云分布和彩色特征結合svm 來達到分類的目的.

然而上述方法在檢測的準確率和魯棒性等方面尚存在不足，NDVI特征受環境的光照強度變化影響較大，而三維點云的分布特征在點云稀疏時效果不佳.本文針對以上缺點提出了改進方案，考慮了實際情況中點云的稀疏性和光照條件變化的影響，大大提高了障礙檢測算法在野外環境下的魯棒性，同時能夠適應曝光不足的現象.最終形成了一套適應于植被散布環境的障礙檢測系統.

1 系統構成與預處理

采用多譜融合的方法來對植被和障礙物進行分類估計，需要對不同波段的光強度信息進行數據收集.傳感器系統由彩色、紅外相機和64線激光雷達構成（如圖1所示），并利用基于平面匹配的方法［12］完成三維激光雷達與2個相機間外參的聯合標定，得到紅外相機與激光雷達之間的旋轉矩陣Ri和平移向量Ti，彩色相機與激光雷達之間的旋轉矩陣Rc和平移向量Tc.

圖1 多傳感器融合系統構成Fig.1 Multiple sensor fusion system structure

2 多光譜特征

2.1 植被差分指數（NDVI）

植被與一般障礙物最顯著的區別在于不同的光譜反射和吸收特性.對于一株富含葉綠素的植物，其光譜特性主要由水、葉綠素的吸收光譜和細胞壁的反射光譜所決定［13］.細胞中所含的大量水份吸收了自然光中波長大于1 400nm 的部分，葉綠素強烈吸收可見光中的紅光和藍光［14］.其余的光由于從水到空氣的折射率變化引起的內反射在細胞壁上被有效地分散，因此，波長在700～1 400nm 之間的光分量在各個方向上都有很強的反射.

為了進一步利用上述紅光和NIR 波段的光強信息，在遙感應用中通常會采用歸一化植物差分指數（NDVI）［15］.NDVI的數值在-1和1之間，越接近-1場景特性接近天空，越接近1場景特性接近綠色植被［16］.

式中：ρRED 為紅光強度值.

然而這個指數也存在一定的缺陷，尤其是在陰影和曝光不足的區域.由于NDVI是基于紅光強度值和近紅外強度值的一個指數，任何影響這2個數值的系統噪聲和誤差都會影響這個值的可信度，在曝光不足的情況下這種情況尤為嚴重.在陰影區域，由于照亮這一區域的并非太陽光，而是太陽光在環境中的反射光和折射光，這與來自太陽直射的自然光的光譜分布存在很大的差別，由于在大氣中的散射現象，光譜會朝藍光波段產生平移.

NDVI在遙感領域主要被應用于測量葉面積指數（LAI），即地表的植被覆蓋率.而在尋求植被和非植被的線性分類器時，原始的紅光和NIR 強度信息比NDVI更有效.這是因為完全基于NDVI的線性決策邊界對應Red-NIR 空間中一條與原點相交的線，而基于原始像素值和固定偏置的線性分類器的決策邊界可以是具有任意截距的.因此選擇使用原始的多光譜強度信息而不是遙感領域常用的NDVI特征值.

2.2 多彩色通道信息的利用

在對現有數據集的植被和非植被樣本進行了多光譜數據的分類統計后，針對NDVI特征值在實際應用中魯棒性較差以及人工閾值等方面的缺點，提出了一個新的特征.新特征仍然基于多光譜強度值，利用葉綠素強烈吸收可見光中的紅光和藍光并且在各個方向較強反射波長在700到1 400nm 之間的近紅外光的特性，新特征主要包括780nm 近紅外（NIR）強度值和彩色圖像中的RGB信息，為充分利用植被對可見光的選擇性吸收特性，從RGB圖像中提取 （G -R ）＋ （G -B ）作為特征.對一些正負樣本進行了特征統計，在二維特征空間中分布如圖2所示：

從圖2 中 可 以 看 出，在NIR 和 （G -R ）＋（G -B ）二維空間中，植被和非植被可以通過高斯模型進行有效的建模.

圖2 植被和非植被像素點分布圖Fig.2 Pixel distribution of vegetation and obstacles

3 基于高斯混合模型的分類策略

GMM 概率模型是由多個單高斯GSM 生成的，在多維特征空間中，單個高斯的權重、均值和協方差矩陣就是模型的主要參數.由k 個高斯構成的GMM 可 表 示 為 ｛（ωi，μi，Σi）｝i＝1，2，…，k.在vis-nir二維特征空間中，對每個訓練樣本人工標注類別（植被V 或障礙物O），已知分類標簽來求解模型參數可以通過期望最大化（EM）方法迭代求解［17］，分別得到對應上述2類的GMM：

所選取的高斯個數k也會對最終得到的模型產生影響，k過小無法準確描述該類樣本在特征空間中的分布；k過大會導致訓練樣本的過度擬合.k取1～5，在現有數據集上進行了重復試驗，比較EM算法的收斂效率和分類試驗結果，發現每個類別包含3個高斯模型的時候最佳.一個典型的混合高斯模型的概率分布如圖3 所示.其中P 為概率，fnir，fvis分別為可見光特征和紅外特征.

圖3 GMM 模型概率密度圖Fig.3 Probability density of Gaussian mixture model

4 障礙檢測算法總體檢測流程

在實際越野環境應用中，算法設計面臨以下難題：1）多光譜特征對光照變化十分敏感；2）柵格中的光譜統計特征受點云密度干擾較大.綜合考慮以上問題，本文提出的植被散布環境下的障礙檢測解決方案整體流程圖如圖4所示：

圖4 障礙檢測算法流程圖Fig.4 Obstacle detection algorithm flow chart

4.1 紅外光強歸一化

經過標定后，每個激光雷達點都被賦予了相應的彩色和紅外信息，稱為多譜點云.將該多譜點云投影到地面的一個柵格地圖中，柵格分辨率為20cm×20 cm.多光譜特征的有效性很大程度上依賴于RGB與NIR光強度值的可靠性，而圖像尤其是紅外圖像受環境光照條件的影響很大.比如在弱爆光條件下紅外圖像的強度值整體較一般情況下要弱，然而植被與一般障礙之間的相對光強信息并未丟失.在此提出一種自適應的紅外光強度值歸一化方法.

協方差矩陣可被分解為3個從大到小排列的特征值λ1＞λ2＞λ3［4］，若λ1≈λ2≈λ3點云為散布分布，則為植被的概率很高；若λ1，λ2?λ3或λ1?λ2，λ3則為線性分布和平面分布，這是一般障礙物的特征.這一特征的分類效果取決于λ1／λ3的閾值選取和每個物體點云的密集程度，閾值過大會導致障礙物被誤分類為植被，過小則會有大量植被分類錯誤.激光雷達獲取的單幀數據較為稀疏，想要得到較高的植被分類準確率同時會導致較高的誤報率.然而用來作為光強歸一化的基準，并不需要獲得所有的植被數據，選取更加嚴格的閾值得到最可靠的部分植被數據.以這部分高概率植被點云數據 ｛Xk｝veg對應的NIR 強度值為參考標準，對整幅紅外圖像進行強度信息的尺度變化，尺度因子為

4.2 特征信息加權

在柵格地圖中進行特征值統計的過程中，發現很多柵格中的點云信息并不單純，在包含有植被的部分柵格中可能同時存在土壤等非植被（如圖5所示），這類柵格一般應該被判為植被柵格，而在柵格光譜特征的統計計算中，柵格中密度相對較高的土壤點信息可能會掩蓋只有少數點的植被信息，從而導致柵格被誤分類為非植被，并可能按高度差誤報為障礙物.

圖5 植被散布環境下混雜有大量的地面信息Fig.5 Vegetation mixed with a lot of ground information

由于地面與植被和障礙物在高度上存在較大的差異，在計算特征值時引入基于高度的加權將會對檢測結果有較大的改善.首先根據柵格內的點云最大高度差hmax，將包含有融合點云信息的柵格分為3類：

第I類為地面柵格，一般越野車可以安全通過，II、III 2類柵格的屬性還需要通過統計特征值來進一步判斷.

第II類柵格被認為是存在較矮的植被或較低的障礙物，在計算特征值之前需要對柵格內的點云信息進行高度加權，高度越高，權值越大.這里采用的加權方式是高斯加權，每個點的近紅外強度和可見光強度值的加權系數如下：

式中：hi為該點與柵格最低點的高度差，hmax為該柵格的最大高度差.

第III類柵格被認為是存在較高的植被或障礙物或浮空障礙.考慮到如大樹這樣的樹干樹葉混合體，樹干部分顯然不可通行，因此最大權重取到1米左右來判別較為合理，更高的地方由于存在樹葉等容易導致柵格被判為植被而導致可通行.因此對加權的點云多譜特征設置最大高度為1.0 m，加權系數如下：

綜合式（6）、（7），得到II，III這2類柵格的加權公式：

結合式（5）、（8）在每個柵格統計可見光特征fvis和紅外特征fnir作為多光譜特征F 的2個維度：

利用加權后的特征進行訓練，得到如圖2所示的混合高斯模型用于分類.對于一個待分類的柵格，根據多光譜特征F （fvis，fnir）計算屬于植被V 和障礙物O 的概率：

若p （F ｜V ）＞p （F ｜O ）該柵格為植被，反之為障礙物.

5 實驗結果

以普通5座越野車為實驗平臺，64線激光雷達架設高度約為1.9m，利用搭建在越野車上的攝像機與激光雷達聯合系統，采集了包含三維激光雷達、多譜紅外、彩色相機同步數據共100余組，主要包含了稀疏高植被、密集矮草叢和大樹等幾種典型不同場景，并且在其中放置人工物體作為障礙.

在以上數據集，對植被散布環境下的障礙檢測算法進行了離線的測試，以下是幾個典型場景的實驗結果，每組實驗結果圖中包括輸入的彩色-紅外圖像對和輸出的檢測結果在三維點云圖中的顯示（其中顏色較亮的點云表示障礙物區域，其余為可通行區域，人為設置的障礙在結果圖中由圓圈標出）.

如圖6所示為稀疏高植被環境障礙檢測結果.環境中的紙箱障礙被成功檢出（6-II圈出），較遠處的另一個紅色物體為樹干.結果顯示，算法在成功檢測出障礙的同時對于較高的稀疏植被也有較好的過濾效果，相比NDVI的方法（6-I）植被去除率更高，僅在地面環境比較雜亂的區域存在少量的誤檢.

如圖7所示為密集矮草叢和大樹檢測結果.從檢測結果7-II看出算法對于這類地面裸露部分較少的環境擁有比較理想的檢測效果，3個人工放置的物體均被檢出，其余檢測到的障礙對應場景中的樹木和右上角的籬笆，同時近處的植被去除效果比NDVI的方法（7-I）更好.

為了驗證紅外弱曝光條件下的檢測結果，選取了一組弱曝光下采集的樣本（如圖8所示第1行），圖8-（I）和（II）分別為未采用和采用紅外光強歸一化的檢測結果.從檢測結果看到，經過光強信息歸一化后的檢測結果得到明顯改善，植被去除率大幅提高，證明算法對光照條件的變化具有比較好的魯棒性.

圖6 稀疏高植被環境檢測結果Fig.6 Results in sparse high vegetation scene

圖7 密集矮草叢和大樹檢測結果Fig.7 Results of dense dwarf bushes and trees

實驗所用彩色相機分辨率1 024×768，紅外相機分辨率752×476.對100組同步數據進行離線測試，將植被與障礙物柵格分類結果與人工標注的真實類別對比如表1所示.障礙和植被的分類準確率達到90%以上.同時單幀的平均處理時間為60ms，能夠用于在線實時處理.

表1 分類結果混淆矩陣Tab.1 Confusion matrix %

6 結 語

圖8 弱曝光條件下的檢測結果Fig.8 Results under weak exposure condition

本文對野外環境下的植被與凸障礙分類方法進行了深入研究.提出了新的多光譜特征，結合三維點云分布特征的預分類方法實現了紅外光強信息的自適應歸一化；特征計算中加入基于高度的高斯加權，有效過濾了復雜環境下的大量干擾.最后建立GMM 模型實現了真實障礙物的有效檢測.在數據集上進行分類實驗驗證了整體算法的有效性.

由于標定存在的誤差，導致像素級的數據對應存在少量的偏差，降低了分類準確率.另外基于RGB的光譜特征尚無法很好應對季節的變化，現有的方法對于枯草等非綠色的植被過濾效果有待提升.進一步的研究將重點關注這些問題.

（

）：

［1］MACEDO J，MANDUCHI R，MATTHIES L.Ladarbased discrimination of grass from obstacles for autonomous navigation［C］∥ISER 2000，Hawaii，USA：Springer Berlin Heidelberg，2000，271：111-120.

［2］MANDUCHI R，CASTANO A，TALUKDER A，et al.Obstacle detection and terrain classification for autonomous off-road navigation［J］.Autonomous Robots，2005，18（1）：81-102.

［3］HEBERT M，VANDAPEL N.Terrain classification techniques from ladar data for autonomous navigation［C］∥ Collaborative Technology Alliance Workshop.Adelphi，Maryland，USA：Army Research Laboratory，2003：411.

［4］VANDAPEL N，HUBER D F，KAPURIA A，et al.Natural terrain classification using 3-d ladar data［C］∥Proc.of IEEE International Conference on Robotics and Automation （ICRA’04）.New Orleans，LA，USA：IEEE Press，2004：5117-5122.

［5］RICHARDSON A J，WIEGAND C L.Distinguishing vegetation from soil background information［J］.Photogrammetric Engineering and Remote Sensing，1977，43（12）：1541-1552.

［6］HUETE A R.A soil adjusted vegetation index（SAVI）［J］.Remote Sensing of Environment，1988，25：295-309.

［7］DIMA C S，VANDAPEL N，HEBERT M.Classifier fusion for outdoor obstacle detection［C］∥Proc.of IEEE International Conference on Robotics and Automation （ICRA’04）.New Orleans，LA，USA：IEEE Press，2004，1：665-671.

［8］BRADLEY D，THAYER S，STENTZ A T，et al.Vegetation detection for mobile robot navigation［R］.Pittsburgh，USA：Carnegie Mellon University，Robotics Institute，February 2004.

［9］BRADLEY D M，UNNIKRISHNAN R，BAGNELL J.Vegetation detection for driving in complex environments［C］∥Proc.of IEEE International Conference on Robotics and Automation （ICRA’07）.Roma，Italy：IEEE Press，2007：503-508.

［10］NGUYEN D V，KUHNERT L，SCHLEMPER J，et al.Terrain classification based on structure for autonomous navigation in complex environments［C］∥Proc.of the 3rd International Conference on Communications and Electronics （ICCE）.Nha Trang：IEEE Press，2010：163-168.

［11］NGUYEN D V，KUHNERT L，JIANG T，et al.Vegetation detection for outdoor automobile guidance［C］∥Proc.of International Conference on Industrial Technology（ICIT）.Auburn，AL：IEEE Press，2011：358-364.

［12］UNNIKRISHNAN R，HEBERT M.Fast Extrinsic Calibration of a Laser Rangefinder to a Camera［R］.Pittsburgh，USA：Carnegie Mellon University，Robotics Institute，July 2005.

［13］SHULL C A.A spectrophotometric study of the reflection of light from leaf surfaces［J］.Botanical Gazette，1929，87（5）：583-607.

［14］CLARK R N，SWAYZE G A，LIVO K E，et al.Imaging spectroscopy：Earth and planetary remote sensing with the USGS Tetracorder and expert systems［J］.Journal of Geophysical Research：Planets，2003，108（12）：5131.

［15］UNSALAN C，BOYER K L，Linearized vegetation indices based on a formal statistical framework［J］.IEEE Trans.on Geoscience and Remote Sensing，2004，42（7）：1575-1585.

［16］KREIGLER F J，MALILA W A，NALEPKA R F，et al.Preprocessing transformations and their effects on multispectral recognition［C］∥Proc.of the Sixth International Symposium on Remote Sensing of Environment.Ann Arbor，Michigan，USA，Environmental Research Institute of Michigan，1969：97-131.

［17］BILMES J A.A gentle tutorial of the EM algorithm and its application to parameter estimation for Gaussian mixture and hidden Markov models［R］.California，USA：University of Berkeley，International Computer Science Institute，1997.

［18］NAVARRO-SERMENT L E，MERTZ C，HEBERT M.Pedestrian detection and tracking using three-dimensional ladar data［J］.The International Journal of Robotics Research，2010，29（12）：1516-1528.