露天礦區自動駕駛場景分析與關鍵技術研究

李軍 肖天中 張昊 陳兵

摘要：分析了露天礦用卡車的作業環境以及礦區無人駕駛技術的發展現狀，詳細介紹了常規礦區無人駕駛方案和關鍵技術。針對礦區揚塵密度大、路面顛簸、隨機落石以及路徑變化頻繁等特點，梳理了在此復雜環境下激光雷達、毫米波雷達、超聲波雷達以及視覺攝像頭等感知類傳感器的性能指標以及環境適應性，提出了由單車智能、路側協同支撐以及地面管理與監控系統三部分組成的礦區復雜環境下自動駕駛總體技術架構，并著重分析了各個子系統的功能和露天礦卡自動駕駛部分關鍵技術。

關鍵詞：露天礦山、自動駕駛、傳感器技術、環境感知、定位導航

Abstract：The operating environment of truck used in open-pit mining and the development status of unmanned driving technology in mining area are analyzed， and the scheme and key technologies of conventional unmanned driving in mining area are introduced in detail.In view of the characteristics of high dust density， road bumps， random rock fall and frequent path changes in the mining area， the performance indexes and environmental adaptability of sensing sensors such as lidar， millimeter wave radar， ultrasonic radar and visual camera are summarized in this complex environment.The overall technical framework of autonomous driving in complex environment of mining area is proposed， which consists of three parts： bicycle intelligence， road side cooperative support and ground management and monitoring system. The functions of each subsystem and some key technologies of autonomous driving of open-pit card are analyzed emphatically.

Keywords： open-pit mine， mining truck， automatic driving， sensor technology， environmental perception， positioning and navigation

0引言

作為礦產資源豐富大國，采礦業一直是我國國民經濟的基礎和支柱產業之一，目前我國80%的工業原料來自于采掘業產品，主要包括各種金屬和非金屬礦（煤礦、銅礦、鐵礦、化學礦等）采選。由于大部分礦區都處于偏遠地區，再加上露天礦山作業環境惡劣，揚塵等環境對人身體損耗較大，礦區行駛危險度高，導致社會人員從業意愿較低，再加上百噸以上的礦車培訓周期較長，導致礦卡司機緊缺，且司機的成本逐年增加，據不完全統計一輛礦車的人工費用（一輛車配備四名司機）達到85萬/年，國外的人工費更是達到了100萬美元/年。采用可靠的自動駕駛技術不僅能避免或減少環境對駕駛人員健康、安全的危害，而且將大幅提升效率、降低成本，更加經濟、節能和環保。

1 露天礦卡復雜環境分析

礦卡自卸車的作業流程如圖1所示，主要分為“采”、“運”、“卸”三個部分。礦卡首先空載從起始點前往采集點，從采集點將礦物滿載運回卸載點，如此往復。隨著采集點的深入，礦卡的運行路徑會隨之發生變化。基于此可以將運行軌跡分成常規路面和施工路面，對于常規路面，有著路況相對簡單和路面平整等特點;對于施工路面有著路況顛簸、路面落石、路徑不確定等特點。不僅如此整個作業區都存在揚塵遮擋嚴重、運輸過程伴隨著前車落石或者礦山滑坡以及彎道控制的風險，這給自動駕駛傳感器性能、障礙物檢測與成分分析以及決策控制都提出了更高的要求。

常規的礦區無人駕駛系統首先通過裝備感知傳感器實現礦用卡車對環境感知，再由基于GPS定位的卡車調度系統為每輛車指定裝載點及卸料點的位置和規劃運輸路線，然后卡車通過接收無線指令到達裝有GPS的挖掘機裝載點進行裝載，最后卡車按照規劃路線運行至卸料點進行卸料。此方案在路況比較簡單、突發情況較少的環境下基于簡單的環境感知和GPS調度可以滿足一定的需求，但是在礦區施工路面揚塵遮擋嚴重、路面顛簸、落石幾率較大和行駛路徑發生變化的情況下無法滿足要求。

以湘潭重工MCC600D重型礦自卸車為例，自重180噸滿載情況下達到600噸，在滿載情況下以50Km/h的速度行駛的剎車距離為100m，要想保證自卸車的碰撞安全距離，普通傳感器可以檢測的距離至少達到100米以上，在揚塵比較嚴重車輛的視覺距離不到五米的情況下，以攝像頭為主的視覺傳感器很難發揮作用，普通的車載激光雷達在觀測條件較好的情況下也僅僅達到了150米左右，在揚塵密集的環境下也無法保證安全的建模距離，并且車輛在行駛過程中，不會經常急剎車，因此自動駕駛礦卡保持200-300米是比較合理的安全距離。除了揚塵的影響，路面顛簸和落石對自動駕駛的有效避障和路徑規劃帶來了很大的挑戰，在礦卡運行中需要有效且快速的分辨前面的障礙物是泥塊還是石塊以此來做決策判斷是直行、繞道還是停車，也是礦卡能否高效完成自主運輸的關鍵。

2 礦區自動駕駛架構設計

為實現礦區自動駕駛高度智能化，針對礦區作業復雜環境特點結合常規基于GNSS定位以卡車調度系統為主導的自動駕駛方案，將礦區自動駕駛系統總體架構分為單車智能、路側協同和地面管理與監控系統三個層面（見圖2），為更好的兼顧實際作業中的突發狀況和行車安全性，該設計架構以單車智能為主，路側協同為輔的模式，再通過后臺管理系統主要作為設備監控、全局建圖與規劃、突發情況下的自動駕駛等級降級判斷和遙控接管，進一步保障系統行車安全。

車端具備高精度定位導航、障礙物檢測與識別、局部建圖、局部路徑規劃、通信、決策和執行等能力，車端和其他要素（礦卡和云臺）之間基于5G和LTE-V2X等通信網絡實現信息和局部地圖傳輸，云平臺具備實時礦卡與路測設備監測、礦卡協同控制、實時更新全局地圖、路徑規劃和全局控制能力。

2.1 單車智能

自主式礦卡系統是實現礦卡作業的主體，是礦山運輸無人駕駛系統的主要執行機構。接收地面管理與監控系統的各種指令，包括作業任務與參考路徑信息，控制車輛的驅動系統、制動系統、轉向系統、車廂、車燈等機構執行相應的動作。在指令執行過程中，自主式礦卡系統通過車載傳感器感知周圍地形和障礙物信息，并實時向地面管理與監控系統報告車輛的運行狀態，保證安全、高效地完成作業任務。

2.2 路側協同支撐

在路側端安裝諸如攝像頭、激光雷達和毫米波雷達等感知模塊，如圖3所示。主要安裝在道路中間、轉彎拐角以及上下坡視角局限處，并結合路側端的邊緣計算能力，將礦區局部情況上傳至地面管理與監控系統，幫助用戶全面了解礦區的情況，同時擴展礦卡的感知范圍。

2.3地面管理與監控系統

地面管理與監控系統提供礦山運輸作業所需的礦山數字地圖，對運輸車輛的運行路徑進行規劃，在作業過程中獲取礦區車輛信息，采集礦區設備狀態，自動維護礦區作業進度信息，為用戶提供清晰、直觀的礦區信息綜合顯示接口和人工干預控制接口。

1）由調度員在地面監控與管理子系統中發布礦區運輸任務，制定生產計劃;

2）根據地面監控與管理子系統的數據庫中存儲的礦區全局地圖，按照不同的作業任務將礦區分為停車區、裝載區、卸載區、維修保障等功能區域;

3）地面監控與管理子系統對通過通信子系統將運行指令、礦區地圖和規劃路徑等信息下發至自主式礦卡子系統;

4）自主式礦卡子系統在運輸過程中，根據自身態勢感知能力，自主進行車速配置，若遇到特殊情況，自主式礦卡子系統自行判斷降級（降效率）運行或者是將控制權交還給地面監控與管理系統;

5）路側端通過架設協同子系統，將礦區全景地圖數據通過通信子系統傳輸至地面監控與管理子系統，并將地圖進行準實時更新。

3 露天礦卡自動駕駛關鍵技術

3.1 LiDAR外參標定算法

LiDAR/相機傳感器外標定的基本原理是，利用傳感器測量值建立連接點的對應關系或幾何約束，然后估計傳感器在參考坐標系下的變換矩陣T。

如圖4所示，假設在整個傳感器系統中，將相機本體坐標系設為參考坐標系，標定的目標是求解LiDAR本體坐標系在參考坐標系中的變換參數T，包含旋轉R和平移t。

從紅外影像中可以刺點得到折線的折點P的2D像素坐標，同時對 LiDAR 點云數據進行處理得到對應的3D坐標，從而建立了一組2D-3D連接點。改變傳感器平臺相對于被觀測場景的位姿關系，得到多組 2D-3D連接點，從而構建計算機視覺中的PnP（Perapective-n-Point） 問題，利用基于最小二乘平差的數值非線性優化方法求解最終的變換參數T。

處理流程如下：

1）點云預處理;

根據被掃描目標（墻角）的尺度以及傳感器平臺和掃描場景的相對位置，可以設置適當的坐標區間作為濾波條件閾值，來裁剪感興趣區域，刪除點云感興趣區域之外的外點;

2）連通分量標記點云分割

使用連通域標記法可以將來自不同掃描線的V形軌跡進行分割;

3）V形折線的3D折點提取

LiDAR的點云觀測數據中包含V形軌跡，可以使用RANSAC算法檢測直線模型。RANSAC的輸入是經過先前步驟處理的結果點云，通過對點云數據的擬合可以獲取直線模型及其參數;

4）2D-3D連接點

從無畸變紅外影像中人工刺點，獲取與V形折線的3D折點對應的 2D 像素坐標， 從而在 LiDAR 和相機之間建立一對關聯坐標系變換的連接點。

5）旋轉矩陣的構建

通過以上處理，可以獲取一系列2D-3D連接點對，它們的2D像素坐標和3D坐標分別在相機坐標系和LiDAR坐標系中，都已被精確量測。接下來就是求解相機和LiDAR之間的旋轉和平移， 該問題在計算機視覺中叫做PnP（Perapective-n-Point）問題。

3.2 多源異構數據融合算法

多傳感器數據融合也叫多源異構信息融合，將不同傳感器獲得的信息進行綜合利用，避免了單個傳感器的感知局限性和不確定性，形成對環境或目標的更全面的感知和識別，提高了系統的外部感知能力。

考慮到露天礦山具有復雜的作業環境，例如道路顛簸崎嶇、坡度大、彎道多;雨雪、霧霾、沙塵等惡劣天氣條件;落石滑坡等各種突發路況，本方案采用多傳感器數據算法對外部環境進行感知，其融合過程如下圖5所示。

針對多傳感器數據特征級融合不充分、不高效的難點，設計了跳躍融合法，首先單獨對攝像頭數據和激光點云數據進行初步建模和特征提取，然后再對兩組圖片特征和點云特征進行裁剪和縮放后的數據進行特征級融合，同時進行匹配、濾波和降噪處理;最后將降噪后的數據分別重新投影到RGB像素坐標系和點云坐標系，進行精細回歸處理。其一方面支持RGB-I和鳥瞰圖（BEV）中間特征層之間的交互，另一方面采用跳躍連接（skip-connection）使融合結果既包含完整的輸入信息又具有反復抽象后的特征。

3.3 高精度三維地圖構建與準實時更新技術

三維高精度地圖的構建對針對礦區非結構掛道路的影響主要包括提升車端感知性能、拓展自動駕駛新功能、動態建圖等相關應用。具體體現在如下幾個重要方面：

2.高精地圖元素更新

3.自建局部“記憶地圖”，支持記憶泊車、園區記憶式自動駕駛

4.事件型動態信息采集與上報（落石、坑洼、事故等）

基于視覺/激光SLAM技術的三維高精度地圖構建與更新方案如圖6所示，其中整個智能駕駛攝像頭和激光雷達形成SLAM的輸入數據端。首先通過視覺/激光SLAM建立三維地圖模型，再通過中央處理器對初始三維模型進行感知、濾波、分割、檢測、跟蹤等操作，輸出給導航網絡端進行語義建圖及匹配定位，同時通過目標識別形成相應的ADAS系統目標屬性。最后分兩方面進行輸出：其一是通過太網發送給后臺云端進行地圖底圖的更新。其二是通過輸出給MCU（微處理器單元）進行融合定位及車輛控制實現車端的局部路徑規劃和避障。

同時，通過部署路側感知設備，進行三維高精度地圖構建的冗余設計，打造安全運輸的解決方案。通過云端 V2X 通信模式將路側端感信息傳到后臺進行局部三維地圖構建，在后臺將礦卡感知地圖、路測感知地圖以及高精度地圖底圖進行數據協同，準實時構建出作業區域三維高精度地圖。

4 展望

國內礦區自動駕駛雖然在城市道路環境自動駕駛取得了一定的成果，但是由于受到傳感器性能的限制，導致在礦區特殊環境下的無人駕駛領域一直無法實現完全的國產自主化。相較于城市環境，露天礦區復雜環境面臨著觀測條件差、道路顛簸、揚塵遮擋嚴重以及障礙物材質識別困難等問題。因此發展高性能傳感器技術和高準確率障礙物檢測識別技術成為實現礦區復雜環境亟待解決的問題也是未來礦區自動駕駛的發展方向。