激光探測與測量視覺技術在堆取料機全自動控制中的應用

王旭修，蔡有高，時培領，陳 煌，李 祥，劉 明

(華能(福建)海港有限公司，福建 福州 350602)

堆取料機作為一種連續高效的散料輸送設備廣泛應用在涉及大宗散貨儲運的各行業中,在散貨集疏運中發揮了重要作用。如何有效地降低人工成本、提高生產效率，是所有大型散貨料場亟需解決的問題[1-2]。

近年來，隨著傳感器、視覺、圖像技術的飛速發展，利用工業相機、激光掃描儀、攝像機等視覺傳感器設備進行數據采集，實現目標定位、識別、三維重建來指導執行機構完成自動化作業的技術越來越成熟，通過對散貨料場進行三維重建可以完成斗輪堆取料機無人化控制和料場的可視化管理[3]。 我國基于Lidar(激光雷達)的視覺技術在堆取料機應用較晚，相關技術與發達國家還有一定的差距。依托福州華能羅源灣港區將軍帽作業區一期工程堆取料機無人化操作自動控制系統，針對現代斗輪機的作業要求和特點，研發了一套基于Lidar機器視覺的散貨料場堆取料機全自動控制系統。現場測試證明，系統具有環境自動感知、控制策略自動生成、安全可靠性高的特點，未來具有廣泛的應用前景。

1 系統設計及原理

堆取料機實現全自動控制的一個重要前提是感知作業周邊環境和作業對象形狀，并根據作業料堆形狀進行相關的作業規劃和策略生成，最終控制設備按照預定規劃路徑進行作業。在作業過程中如果對象和環境發生實時變化，則進行動態自動調整。

為實現上述功能，系統配備了高性能的工業計算機作為核心計算單元，用來接收處理激光掃描儀的實時掃描數據、GPS系統的實時定位數據，并在線將實時掃描數據和定位數據進行擬合，實時料堆建模，生成作業指令，通過堆取料機的機載可編程控制器(PLC)下發各傳動執行機構，指導堆取料機完成自動作業，系統架構見圖1。

圖1 系統架構

2 自動作業系統關鍵技術

2.1 坐標系建立及標定

激光掃描儀安裝在堆取料機上，作業過程中激光掃描儀本身進行掃描運動，同時堆取料機進行臂架俯仰、臂架回轉、整機走行運動。因此在將激光掃描儀掃描數據轉換至料場靜止坐標系下進行建模時，首先須根據堆取料機的運動特性建立相應子坐標系，包括成像設備(激光掃描儀)坐標系CLA、俯仰機構坐標系CLU、回轉機構坐標系CSL和走行(軌道)坐標系CTR(因堆取料機的走行為在固定軌道上的一維運動，且軌道是靜止的，因此也稱全局靜止坐標系)，各坐標系的建立見圖2。同時，設矩陣R1、R2、R3分別對應CLA到CLU、CLU到CSL、CSL到CTR的坐標系變換關系[4-5]。因此掃描數據轉換到全局坐標系進行堆形建模必須通過標定方法來確定R1、R2、R3這3個矩陣參數。

圖2 各坐標系的建立

設備在運動過程中的俯仰、回轉和走行姿態數據利用RTK-GPS計算后得出，輸出俯仰角度(°)、回轉角度(°)、走行距離(m)共3種姿態數據值。

采用標定球進行R1、R2和R3矩陣參數標定的方法，主要流程如下：

1)建立全料場全局坐標系，并在全料場確定3個及以上不共線的目標點(本文布置4個標定球)，測量標定球球心在全局坐標系下的值。

2)在堆取料機處于不同回轉角度、俯仰角度下，采用激光掃描儀掃描目標物輪廓獲得點云數據，提取球體表面的點云數據，根據式(1)對球體表面數據采用最小二乘法進行求解。

(x-a)2+(y-b)2+(z-c)2=r2

(1)

式(1)可以寫成式(2)中的x、y、z，為采集的球體表面坐標值，a、b、c、r為待求的球心坐標和半徑。

(2)

X=(A-1A)-1AB

(3)

在全料場點云數據中提取球體表面特征點，根據提取的特征點求解出35組不同位姿下的球心坐標中，表1中給出了部分數據。

表1 部分球心坐標計算

3)采用Rodrigues形式將R表示為R(k,θ),k1為回轉軸、k2為俯仰軸、k3為掃描儀與大機安裝位置的固定關系，θ為不同位姿下回轉或俯仰軸所對應的角度值,μi,j為第i個位姿下第j個球的在掃描儀坐標系下的坐標值，t為與k對應的平移量，Gcj為第j個球在料場坐標系下的坐標值，矩陣M為掃描儀坐標系轉俯仰坐標系、俯仰坐標系轉回轉坐標系的一個綜合表達式，全局標定歸結為如式(4)所示的優化問題，采用列文伯格-馬夸爾特(LM)算法進行優化。

M=

(4)

F(k1,k2,k3,t1,t2,t3)=

(5)

采集35組不同位姿的掃描儀數據進行分析，目標球的全局坐標見表2。

表2 標定球全局坐標值

根據采集的數據計算出不同位置下的球心在掃描儀坐標系下的值，采用LM算法進行參數優化，解算結果為：

k1=[-0.024 132 235 657 823 0，-0.008 487 429 298 749 68，-1.003 458 402 126 93]，

k2=[-0.006 986 397 116 652 64，1.004 044 115 515 83，-0.006 878 217 490 527 25]，

k3=[0.442 325 868 464 691，0.884 651 736 929 383，0.147 441 956 154 897]，

t1=[89.448 745 222 113 3，600.106 793 609 578，14.585 922 738 912 8]，

t2=[-4.960 648 574 857 26，125.966 577 019 193，-32.508 919 304 048 5]，

t3=[14.404 003 528 372 4，-126.590 439 618 449，-13.593 962 074 243 8]。

根據標定結果對球心進行誤差反算，見圖3，在100 m處其結果偏差為8 cm，滿足精度控制要求。

圖3 標準球反算誤差

2.2 全料場數據的拼接

三維激光發射方式是沿直線方向的，不能一次將目標掃描重建，在掃描過程中可能需要在幾個不同的方向和角度上掃描同一個物體，每個不同的位置其局部坐標系都不一樣，將多個坐標系下的料場數據還原到同一坐標系中，完成全料場點云數據的拼接，實現料場的可視化控制與管理。

想要求出兩組點云的變換關系，必須要找到兩站點云中3對或3對以上的特征點，在三維點云拼接算法中，最經典的算法是ICP(iterative closest point)算法[6-7]，該算法是由Besl P.和McKay N.提出，ICP算法原理是利用最小二乘來實現最優變換，本文采用基于奇異值分解(SVD)迭代點云配準算法對兩組點云的變換關系進行優化求解。

將兩組點云P和Q中的點之間的關系描述為：

q′i=Mp′i+T+Ni

(6)

式中：pi和qi分別為P、Q中的點；M為兩組點云的旋轉矩陣；T為平移量；Ni為對應的誤差。將匹配問題轉換為目標函數求極小值，建立誤差函數：

(7)

采用計算3×3的矩陣

(8)

對矩陣H作奇異分解：

H=UΛVT

(9)

計算：

M=VU-1

(10)

T=p-Rq

(11)

重復上述過程進行多次迭代計算，設第m次迭代后的旋轉矩陣Mk、平移矩陣為Tk，令pk+1=Mpk+Tk，然后計算下一次的Mk+1和Tk+1。迭代終止的條件為：

(12)

數據拼接效果見圖4。

圖4 數據拼接效果

2.3 作業路徑預測

目前常見的斗輪堆取料機控制系統，大多利用PLC主從站、變頻器、繼電器、終端顯示等，采用總線技術實現聯合邏輯控制，并可以完成半自動和手動控制，由于PLC很難實現復雜的智能控制，難以解決無人值守操作，為此本系統采用了基于Lidar的機器視覺技術，依據堆取料機作業工藝特點[8]，提出了一種基于視覺圖像處理算法的作業路徑規劃算法，能夠提前對設備的作業路徑進行規劃，并能利用視覺系統采集的料堆數據進行實時分析，實現路徑的實時更新。

路徑規劃算法流程：1)掃描目標作業區域獲取點云數據。2)對非料堆區域數據進行去噪，降低干擾數據對目標區域的影響。3)將料堆的三維點云數據的X、Y、Z值轉換為圖像中的像素點，X、Y為圖像中的位置，Z為圖像的灰度。4)為降低小區域凸起和空洞對全局規劃造成的影響，采用5×5的卷積核對料堆的圖像膨脹腐蝕處理后，再采用Canny算子進行邊界識別，求出料堆的邊界。5)根據作業模式(堆料或取料)、作業方式(新堆、續堆、覆蓋堆、分層分段取、分層整取)、識別出的料堆邊界、安息角等參數，計算出每次臂架的回轉折返點的控制線，如果在取料路徑中發現有空洞會快速跳過該區域，在堆料路徑中發現有料會造成碰撞將提前進行避讓。圖5為續堆和覆蓋堆在設備作業前生成的作業路徑，圖中弧線為軌跡規劃結果。

圖5 續堆和覆蓋堆軌跡規劃

2.4 現場測試

以福州華能羅源灣港區將軍帽作業區一期工程堆取料機無人化操作自動控制系統為背景，對系統進行綜合測試，在接收到中控下發的作業任務后，完成一系列的處理，包括作業任務分析、目標作業區域掃描、料堆的三維重建、作業路徑的生成、自動化堆取作業等無人化操作，現場測試過程見圖6。

圖6 現場測試

3 結論

1)通過研究Lidar機器視覺在散料堆取料機全自動控制應用過程中的關鍵技術，有效解決了三維激光掃描儀在項目應用過程中的難點。

2)基于設備自身位移傳感器和角度傳感器建立全局標定模型，采用回轉、俯仰角度傳感器與標定球構成的標定點相結合的方式實現全局標定，完成了掃描儀坐標系到全局坐標系的轉化，經過現場測量表明，在多個大機位姿下掃描儀三維數據的料場坐標歸一化誤差可控制在8 cm以內，滿足自動作業要求。

3)設計開發出全料場二維和三維可視化庫和作業路徑規劃庫,集成于料場無人化系統，該技術在福州華能羅源灣港區將軍帽作業區一期工程堆取料機無人化操作自動控制系統項目中得到應用和驗證，項目性能指標達到國際同類型先進產品水平。