基于林區采育機械的視覺和激光融合算法

彭 洋 ，孔建磊， 劉晉浩， 黃青青

(北京林業大學 工學院，北京 100083)

0 引言

我國人工林保持快速發展趨勢，現有人工林保存面積繼續居世界首位。隨著林業生產由勞動力集約型向技術集約型的轉變[1-2]，林業與環境特種裝備研究所研制成功了國內首臺多功能履帶式林木聯合采育機，該多功能林木聯合采育機是集采伐、打枝、去皮、造材、集材及歸堆等于一體的作業機械，大大提高了勞動生產率和木材生產的安全性[3]。然而，由于林地環境復雜，在實地作業過程中發現操作員需要對林木狀況及作業環境進行觀察和測量，造成了連續作業的間斷，降低了作業效率，尤其在光線差的條件下會大大增加操作員的作業危險性[4]。因此，智能檢測感知作業環境，準確識別采育目標并獲取其方位信息，可有效避免上述問題，增強采育機的作業能力。

目前，國外對林業裝備智能檢測系統的研究及應用已經較為廣泛，國內雖然已經開始使用激光掃描系統來進行林區環境測量，但車載多傳感器信息融合尚沒應用在林區采育目標識別中。因此，本文將多傳感器信息融合技術引入到林業聯合采育裝備中，在優化數據的基礎上提取林區目標的視覺和激光特征，通過高維FSVM模型對不同目標的特征向量進行學習和訓練，實現對采育目標的有效識別。

1 實驗設備及環境

本研究中，應用SICK LMS511-PRO 二維激光測距儀、Microsoft LifeCam Studio可見光像機和ART-640 THERMO 紅外熱像儀以及XSEN MTI-100慣性傳感器搭建多傳感器信息采集系統，檢測和識別林木聯合采育機的作業目標;設計高精度伺服云臺作為多源測量儀器的搭載平臺，通過人機交互式信息采集系統(上位機)和云臺控制系統(下位機)的通訊實現車載云臺的雙自由度運動及測量系統位置和角度的調整。

本研究選用國內首臺多功能履帶式林木聯合采育機作為實驗車輛，并選用廣西欽州桉樹人工林場作為測量檢測和采伐作業的實驗環境。根據采育作業需要，通過TCP/IP網口協議對二維激光測距儀工作參數進行設置。設置激光采樣頻率為100 Hz，最小角度分辨率為0.166 7°，最大測量距離為32 m，掃描范圍為+40°～+140°共100個角度，單次掃描結果呈現為由601個激光點構成的掃描平面。為保證可見光相機在遠距離清晰成像，設置圖像分辨率為1 920像素×1 080像素、圖像幀頻為20幀/s來提取激光測量對應場景的目標RGB信息和區域形狀特征。配置紅外熱像儀的鏡頭焦距為標準35 mm、圖像分辨率為640像素× 480 像素、幀頻為30幀/s獲取可見光圖片中心附近的紅外圖像，測得對應采育目標的溫度特性。設置慣性傳感器的采樣頻率為200 Hz，獲取采育機作業引起的激光測距儀位移變化情況，通過后續補充工作降低設備測量誤差。

2 視覺設備和激光測距儀的標定

視覺設備和激光測距儀的標定包含相機內部參數標定和聯合外部參數標定兩個部分。為了提高激光和視覺圖像數據的匹配效率，本研究選用3塊特定的標定物體(標定板)，每塊標定板上貼有10 cm×10 cm大小的黑白標定棋盤格。將標定板放置在距離激光測距儀、可見光相機和紅外熱像儀的幾何中心構成的平面同一距離的不同位置上，通過獲取的激光數據和對應的圖像數據組在同一實驗中完成可見光相機內部參數標定和可見光相機與激光測距儀外部匹配標定兩個標定過程。同時，針對傳統標定方法因測量距離差異帶來的誤差情況，將標定物體放置在不同距離上，并構建內、外部參數標定方程。

2.1 可見光相機內部參數標定

本研究中，將整個測量云臺放置在水平平面上，保證激光測距儀、可見光相機和紅外熱像儀的幾何中心構成的平面與地面垂直，將標定板放置在距離該平面di的距離上(即各傳感器幾何中心位于同一平面且該平面距離標定板所在平面的距離為di)，應用針孔成像模型描述視覺設備成像過程。任意選取標定板內空間點PI，其所在坐標系為世界坐標系，坐標為PIW(XIW,YIW,ZIW)，在可見光相機外部坐標系中對應點為PIC(XIC,YIC,ZIC)，投影到相機成像平面坐標系的對應點為pI，內部成像平面坐標系的橫軸為uc、縱軸為vc，則在內部成像平面坐標系中為pI(pIu,pIv)。可見光相機外部坐標系的ZC軸與相機內部成像平面垂直，XC軸與YC軸所在平面與相機內部成像平面平行，所以從可見光相機外部坐標系到內部成像坐標系的轉化過程即為相機內部參數標定過程，具體關系如式(1)所示：

(1)

其中：kc為比例系數；KC為相機內部參數。

本研究在MATLAB工作環境中運用張氏線性標定法對可見光相機的內部參數進行標定，將標定物體擺放在距離各傳感器幾何中心構成的平面6 m～32 m的不同距離上，并在2 m等間隔的距離上任意改變3個標定板的位姿，獲取不同狀態下的照片。相比傳統張氏方法[5]，每張照片可以提取三個標定物體，減少實驗重復次數，同時彌補不同距離上因相機自動調焦距和畸變引起的內參標定誤差，既滿足林區復雜環境實驗情況，也為不同傳感器間的聯合外參精準標定奠定基礎。

2.2 可見光相機和激光測距儀匹配標定

在相機內部參數標定實驗的同時，在激光測距儀的測距掃描層上使用可見光發射器發射可見綠光來顯示激光測距儀的掃描層，方便外部參數匹配過程中特征點的對應和提取，標定實驗場景如圖1所示。同時在3個標定板所在平面處增加多段原木樹干(樹種選用桉樹、柳樹、楊樹)作為外部參數標定物體，更符合采育機作業環境需求。擺放標定物體，使得其幾何中心位于上文提到的標定板所在平面內，位姿不斷變化，提取世界坐標系下任意標定板邊緣處的任意點PE，并設其在激光測距儀坐標系下的點為PEL(XEL,YEL,ZEL)，經過坐標系的旋轉和平移后該點在可見光相機坐標系下為PEC(XEC,YEC,ZEC)。由于激光測距儀可以直接獲取空間坐標信息，因此假設激光掃描數據分布在已知的與地面平行的平面上，該平面與地面距離設為常數值n，本實驗中n=375 mm。但考慮到激光原始數據為獲取的物體的距離和角度數據，屬于極坐標系，需要統一坐標系，即將極坐標轉化到笛卡爾坐標中:

PEL=[Dsinα,Dcosα,n]T.

(2)

其中：α為激光投影點在激光極坐標中的角度；D為PE點到激光測距儀的距離。

圖1 標定實驗場景

從激光測距儀坐標系的PEL到可見光相機坐標系的PEC需要通過旋轉和平移的剛性空間變化[6]，可見光相機外部坐標系和激光坐標系的轉換關系為：

PEC=kcKC(di，ΦPEL+Δ).

(3)

其中：Φ為3×3的旋轉矩陣；Δ為3×1的平移向量矩陣。

式(3)為求解Φ和Δ共12個未知數的齊次表達式，通過選取多個相機-激光匹配數據對，求解得到外部參數超定方程組的最小二乘解，即為可見光相機和激光測距儀的外部參數線性初始解。

為消除特征提取過程和標定過程的非線性誤差，任意取激光測距儀坐標系中的多個點投影到可見光相機坐標系中，本文運用外部參數的線性解，通過降低投影點與對應的可見光相機坐標系中該點之間的笛卡爾距離差E，尋找使得距離差函數的值最小的外部參數向量，即：

(4)

本文選用Levenberg-Marquardt方法求解外部參數的非線性最優解，對非線性問題進行優化，提升外部參數匹配精度。

2.3 可見光相機和紅外熱像儀匹配

林業裝備在林區作業時，天氣、環境、光線等各種因素會對視覺傳感器產生一定的影響，如當光線條件差或有樹葉遮擋等情況下，可見光圖像無法有效地進行目標信息獲取，而紅外圖像可以反映出可見光下無法捕捉的信息；另一方面，紅外圖像反映的是目標的熱輻射情況，無法準確表現出圖像中目標的實際形狀特征，所以也需要可見光圖像進行信息補充。因此，本文保持可見光相機光軸和紅外熱像儀的光軸水平，并將二者水平放置以實現匹配。

圖2為紅外圖像與可見光圖像匹配原理。要完成紅外圖像到可見光圖像之間的匹配，首先通過測量紅外熱像儀光軸到可見光相機光軸間的距離Oct，使得兩光軸重合用以完成兩種圖像的重合；同時考慮兩個傳感器的視場角不同，因此需要根據視場角較小的紅外圖像尺寸來截取可見光圖像中的對應區域，并通過適當的比例放縮調整實現紅外圖像與可見光圖像的融合，其計算公式如下：

PC=f[cM,cN,Pt+Oct].

(5)

其中：Pt為某點在紅外熱像儀坐標系中的坐標；PC為對應點在可見光相機坐標系中的坐標；M、N分別為紅外圖像的橫向尺寸、縱向尺寸；c為放縮系數。

圖2 紅外圖像與可見光圖像匹配原理

所得融合圖像可以綜合各圖像間的信息，使得可見光圖像像素點獲得對應的溫度值特征，得到可見光-紅外融合圖像。再結合激光數據和可見光相機的標定，使得二維圖像中采育目標具備了三維空間信息，如圖3所示。融合后的數據豐富了采育目標特征維度和信息量，為提升林木聯合采育機對林區作業環境的適應性和識別能力奠定了基礎。

圖3 激光與圖像標定結果

2.4 基于數據融合的目標識別算法

本文的數據采集地點選在廣西欽州桉樹人工林場，實驗中信息采集系統隨著采育機移動獲取林區采育目標及其他樣本的二維激光、可見光圖像和紅外圖像數據。基于上述工作基礎，對林區環境下人、樹木、巖石這三者目標進行激光和視覺特征提取。每一個目標樣本對應一個9維的特征向量，作為目標識別算法的輸入，將樹木、行人、巖石樣本各100個分成10組進行實驗，每組選取各10個樣本，輸入到本課題組提出的高維模糊支持向量機的識別模型中，最終得到的10次實驗的識別結果如表1所示。

表1 利用FSVM-HIGH算法對樣本的識別結果

從表1中可以看出：3種類別的樣本都可以被很好地識別出來，其中樹木的識別正確率比行人和巖石要高一些，在隨機的10次實驗中，樣本的識別正確率最低為86.67%，最高可達100%，均值為93%。

3 結語

本文通過采集復雜林業環境中的激光數據、可見光圖像信息和紅外圖像信息，并將其融合，進而提取獨立目標點云的特征，融合后共可提取出9種特征，組合成特征向量，注入到所提出的高維模糊支持向量機的識別模型中，實驗結果顯示識別正確率較高。該融合算法能夠為提取更多目標點云的特征奠定數據基礎，進而達到更好的識別效果，最終能夠為采育機操作員提供林區作業所需的信息，降低人工選擇的壓力和操作風險，提升采育機的作業效率。