基于深度相機的山地果園運輸車避障系統設計*

李震，顏少華，洪添勝，呂石磊

(1. 華南農業大學電子工程學院，廣州市，510642； 2. 國家柑橘產業技術體系機械化研究室，廣州市，510642； 3. 廣東省山地果園機械創新工程技術研究中心，廣州市，510642； 4. 華南農業大學工程學院，廣州市，510642)

0 引言

我國南方水果生產地主要集中在丘陵山地地區，坡度大，地形復雜，作業困難[1]。為了解放生產力，提高果園機械化水平，山地果園貨運技術取得了較好的發展[2]，其中單軌運輸車因其節能環保、方便搬運、經濟性好等特點，在果園中廣泛應用[3-4]。但運輸車在應用中，經常被前方突發障礙物阻擋，如果不能及時有效的避開，容易發生安全事故，影響運輸效率[5-6]，因此，設計一個可靠性強、實時性高的避障系統，對于提高生產效率、加強運輸安全具有重要意義。

目前主流農用機械障礙物檢測技術主要有超聲波、機器視覺、激光雷達[7]。超聲波存在聲波干衍射現象，導致在一定范圍內同一時間只能單探頭工作，加上其波束角大，極容易被樹葉雜草等障礙物反射誤觸，果園測量具有局限性[8]。機器視覺計算復雜度大，消耗運算能力高，加上被動式探測，光照過強會過度曝光，過暗精度，而運輸車軌道部分處于果樹覆蓋下，部分處于露天下，光強變化大，不適用于單軌運輸車避障[9-13]。激光雷達采用主動式探測，抗光強，但不適合在晨霧現象多的山地果園中使用，而且安裝在震動很大的運輸車上極容易損壞機械掃描部件[14-16]。而基于TOF技術的深度相機創造性的結合了視覺技術獲取信息豐富與激光測距抗光干擾性強的優點，采用近紅外激光主動式探測，可一次性獲得RGB圖像和深度圖像，體積小，功耗低，價格相對低廉，被廣泛應用于農業導航和三維重建[17-20]。

本研究基于TOF技術的深度相機，設計了一套山地果園單軌運輸機避障系統，旨在為果園自動化運輸提供一套高效準確的避障系統。

1 系統結構

1.1 系統結構設計

避障系統以ARGUS-A5深度相機作為障礙物數據采集器，以樹莓派3B+作為上位機數據處理器。整個系統可以分為三個模塊，即：障礙物檢測模塊、運輸車控制模塊、電源模塊。系統的整體結構如圖1所示。

避障系統其工作原理為：深度相機檢測到運輸車行使空間上的障礙物三維信息，障礙物信息由一個80像素×60像素矩陣表示，每個矩陣元素包含像素點的坐標信息、灰度信息以及深度信息，像素矩陣經過USB協議傳輸至樹莓派內存中保存，目標程序讀取設備數據后，經過數據處理做出避障決策，然后通過串口把避障標志位傳輸至下位機STM32控制芯片，STM32中控芯片讀取到決策標志位后通過控制無刷電機控制器對運輸車的無刷電機做出正反轉、停止的控制，實現避障啟停效果。

1.2 傳感器參數

ARGUS-A5是一款基于時間渡越法(TOF)的多點測距深度相機，其滿足刷新率高、中長距離測距的需求，內部集成了嵌入式數據修正算法，抗光干擾能力強，可以通過Micro USB 2.0接口輸出光照強度和深度數據。其主要參數如表1所示。

表1 深度傳感器參數表Tab. 1 Parameters of depth sensor

2 硬件設計

2.1 單片機主控電路

單片機主控電路主要由單片機最小系統以及光耦隔離電路組成。單片機最小系統包括電源電路、晶振電路、復位電路、下載電路等。其中，單片機采用基于ARM內核的STM32F103VCT6芯片，其各引腳對應關系及意義如表2所示。

按鍵模塊主要用來控制運輸車的運動狀態以及模式選擇，運動狀態包括前進、停止、后退，模式選擇包括手動模式以及自主運行模式；無線接收模塊接收到遙控器信號或者按鍵按下后，需要經過光耦隔離電路連接最小系統。由于無線信號及按鍵信號輸入端為5 V，TLP127光耦的LED壓降為1.15 V，推薦正向電流為16 mA，所以R6=(5-1.15)/16=240 Ω。其電路圖如圖2所示。

表2 單片機各引腳連接圖Tab. 2 Corresponding connections of MCU pins

圖2 光耦電路Fig. 2 Optical coupler equipment

2.2 無線遙控模塊

無線遙控模塊主要用來遠距離對運輸車進行控制，包括前進、停止、后退。這里采用PT2262/2272模塊進行無線遙控，其采用315 MHz的高頻發射電路，傳輸距離可達400 m，其工作中只需要將PT2262/2272的1～8號地址位狀態碼設置為一致，就可以實現發送端PT2262與接收端PT2272的四位數據端保持通信。其引腳圖如圖3所示。

圖3 無線遙控模塊電路Fig. 3 Wireless remote control module circuit

3 軟件設計

3.1 測距原理

深度相機采用TOF(Time of Flight)技術，能夠提供深度傳感數據。如圖4所示，其測量原理為相機將特定波長的近紅外光經過調制后發射出去，近紅外光遇到障礙物后反射，相機的TOF傳感器接收到反射的光信號后，捕捉到發送的光信號和接收到的光信號之間的相位差，MPU將相位的差異換算成光的飛行時間，已知光的飛行速度，這樣就可以計算出相機和目標物體之間的距離。

(1)

式中:depth——深度相機與障礙物之間的距離；

c——光速，3×108m/s；

t——飛行時間。

圖4 TOF測距原理圖Fig. 4 Schematic diagram of TOF

3.2 測量模型

深度相機在獲取三維空間深度信息時可以看成針孔成像模型，如圖5所示，假設攝像頭為B平面，成像平面為U-V坐標系，物體平面為X-Y-Z世界坐標系，攝像頭水平視角為FOV-H，垂直視角為FOV-V，設測量點坐標為Q(x，y，z)，成像點坐標點為q(u，v)，成像平面的邊長為L，高為H，與相機之間的深度距離為D。

圖5 成像模型示意圖Fig. 5 Schematic diagram of imaging model

測量平面跟深度信息之間的坐標關系

L=2D×tan(FOV-H)

(2)

H=2D×tan(FOV-V)

(3)

D=depth

(4)

假設相機光心C(cu,cv),在UV上的焦距為fu,fv,根據相似三角形

(5)

(6)

即已知p(u,v)的像素坐標信息以及深度信息，就可以知道有效檢測平面大小以及其中的檢測點Q(x,y,z)相對光心C(相機安裝位置)的空間三維信息。

3.3 算法設計

要實現避障決策，首先需要確認障礙物相對于運輸車行駛空間的位置，其次要分析障礙物類型，以便做出相應決策。

根據運輸車安全制動最小距離確定好測量深度閾值后，由式(2)和式(3)可以計算出相機在固定測量深度D上的最大測量平面。為了簡化計算量，可以根據運輸車通行通道的縱截面計算出關于避障需求對于測量平面的感興趣區域(Region of interest,ROI)，如圖6所示。對于處于感興趣區域的像素點探測到的障礙物信息，視為有效點信息，由有效點的坐標可以根據式(5) 和式(6)計算出障礙物平面探測點相對于相機安裝位置的三維坐標。

圖6 測量平面的ROIFig. 6 ROI of measurement plane1.測量平面 2.感興趣區域 3.有效像素點

單軌運輸車運行時，主要的障礙物有在軌道附近的石頭、袋裝肥料、就業時橫穿軌道的果農、放養在果園內的牲畜、以及軌道兩旁果樹的側枝等。對于比較小的石頭以及側枝，運輸車識別后可以直接通過，不需要做出避障措施，對于果農、較大的石塊、袋裝肥料等，處于運輸車通行范圍內的，運輸車需要做出避障決策。系統通過計算測量平面的感興趣區域有效點數量為M個，就可以計算出障礙物最大截面面積S。對于面積大于預定閾值的，經決策不為側枝樹葉的障礙物，應采取避障措施，其計算公式如式(7)所示。

(7)

式中:S——障礙物有效面積；

M——感興趣區間有效像素點；

U×V——測量平面像素點數量；

L×H——測量平面面積。

對于障礙物的類型識別，本文基于幀間差分法(Temporal Different)思想設計了一種障礙物識別模型。由于運輸車處于運動狀態，目標在不同圖像中的成像位置不同，也就是像素坐標不同。由于人、石頭等表面是相對平滑且連續的，所以單位時間內圖像的像素點應該處于連續狀態，而側枝樹葉等由于中間有空隙且凹凸不平，所以成像像素點應該處于間隔分散狀態。由于相機的工作頻率相對很高，運輸車速度較慢，為了消除霧霾、下雨、雪花等環境對測量的影響，該算法對時間上連續的20幀深度圖像進行濾波處理，分別把前10幀和后10幀圖像中平均深度值處于設定閾值內的像素點坐標存儲成新的兩幀圖像數據，對兩幀圖像數據進行差分運算，判斷運算結果的絕對值。當絕對值超過一定閾值時，即可判斷為側枝樹葉，從而實現目標的區分功能，如圖7所示。

圖7 障礙物識別模型Fig. 7 Obstacle recognition model

幀間深度差分法如圖7所示。記第n幀和第n-1幀圖像為Fn和Fn-1，兩幀圖像像素點的深度值記為Fn(u,v)和Fn-1(u,v),將兩幀圖像對應像素點的深度值相減，取其絕對值，得到差分深度圖Dn。

Dn(u,v)=|Fn(u,v)-Fn-1(u,v)|

(8)

對Dn有效點深度進行累加，得到Rn，設定閾值T，進行閾值判斷，對于Rn>T，判定為非障礙物，直接通過；對于Rn≤T,判定為障礙物，進行避障。

(9)

4 系統試驗與分析

4.1 試驗方法

為了測試系統的性能，對安裝了深度相機避障系統的單軌運輸機進行測試。試驗場地為華南農業大學工程學院，為盡可能模擬山地果園單軌運輸機的應用場景，架設了長150 m，最大坡度為35°，最大拐彎半徑為2 m，離地高度平均0.45 m，軌道寬0.05 m的環形軌道。為分析系統的避障效果，分別在運輸車行車空間上和非行車空間上的軌道兩旁架設人型、規則物體及仿真樹枝障礙物，將深度相機垂直安裝于運輸車縱截面正中心，分別檢測避障系統的準確性與靈敏性。準確性由能否準確檢測到障礙物以及能否區分干擾型障礙物來表現，靈敏性由運輸車距離障礙物制動距離表現。

強龍壓不過地頭蛇，茶園潑了化學水他工廠不賠能脫身。談到后來還不是松了口。不賠可以啊，你把那些潑出去的污水收回去。

4.2 結果及分析

4.2.1 準確性測試

準確性測試采用靜態檢測方法，基于單軌運輸車制作了1∶1的車架，將避障系統安裝于車架上，用電腦打印輸出模擬樹莓派串口決策標志位信號，分別以人、規則木板(0.4 m×0.4 m)、不同葉密度(葉片數300片/m2、400片/m2、600片/m2)的仿真樹枝置于運輸車通行軌道上的有效深度范圍內(圖8)，100次測量避障系統的避障結果如表3所示。

(a) 規則平面檢測

(b) 行人檢測

(c) 仿真樹枝檢測

表3 避障系統的準確性測試Tab. 3 Accuracy test of obstacle avoidance system

由表3可知，避障系統對于人體以及規則物體的避障率為100%；對于單位平方米葉片數量為300的側枝視為非障礙物的概率為92%；但是對于密度過高，單位平方米葉片數量大于400的側枝識別率僅為67%；單位平方米葉片數量大于600的視為障礙物，發生避障誤判的概率為84%；所以對于軌道兩旁單位平方米葉片數量大于400的側枝，應該指導農戶修剪掉以減少避障系統誤判。

4.2.2 靈敏性測試

避障系統的靈敏性試驗采用安裝在運輸車上實地測試，試驗軌道選取一段水平豎直軌道進行，選取一塊方形障礙物(0.4 m×0.4 m)用三角形架支于運輸通道上，使運輸車置于距離障礙物5 m的距離，以0.4 m/s的速度向障礙物方向行駛(圖9)，測試避障系統對于障礙物的識別以及靈敏度。通過運輸車停車后到障礙物的距離，計算出避障延時，計算公式如式(10)所示，試驗進行10次。試驗結果如表4所示。

(10)

式中:td——避障延時；

DS——檢測深度閾值；

LB——停車后運輸車與障礙物的距離；

V——運輸車的行駛速度。

圖9 系統靈敏度測試Fig. 9 System sensitivity test

表4 障礙物避障距離試驗結果Tab. 4 Obstacle avoidance distance test results

由表4可知，避障系統決策后運輸車與障礙物最大距離為110 cm，最小距離為101 cm，平均距離為103.3 cm；最大延時0.475 s，最小延時0.25 s，平均延時0.42 s；在運輸車的安全制動距離120 cm(預定閾值)范圍內，系統響應速度靈敏。

5 結論

本文基于渡越時間法的深度相機設計了一套應用于山地果園單軌運輸車的避障系統，實現運輸車遠程運輸中的障礙物實時檢測，提高運輸安全性。

1) 準確性試驗表明該系統對于面積大于設定閾值的規則障礙物避障率為100%，對于單位平方米葉片數量為300的側枝類干擾型障礙物誤觸率為8%，對于單位平方分米葉片數量大于該值的軌道上側枝應該予以修剪，為農戶維護運輸通道做出指導。

2) 靈敏性試驗表明該避障系統最小制動距離為101 cm，最大避障延時為0.475 s，具有響應快速、安全性高的優點。