基于三維點云分割的煤堆體積計算方法研究

崔 崢，王增才，張 杰，閆 明，王普圣

(山東大學機械工程學院，山東 濟南 250061)

0 引 言

煤炭作為重要的能源物資，成本高、儲量大，因此需要進行快速準確的盤點。目前大多數煤炭是以煤堆的形式進行儲存，對于煤堆的體積測量費時費力，往往需要付出巨大的人力物力。針對煤堆體積測量，國內學者已經展開了大量研究實踐工作[1-5]。陳瑩等[6]提出了由4臺CCD攝像機、圖像采集卡和微機構成的計算機視覺測量系統，用來測量形狀不規則的大型物料堆體積的方法。朱海波[7]提出采用激光掃描光三角測量原理的系統設計，實現對露天煤場存煤量自動檢測功能。該系統將CCD攝像機、激光測距儀和地圖星均安裝在煤場一側的測量塔上，首先標定一個已知空間位置作為初始點，由計算機控制激光掃描測距系統對煤場進行自動掃描，通過激光測距儀測量每一個待測點與掃描儀的空間距離，通過地圖星記錄待測點與初始點的位置變化，進而用光三角法和初始點的標定信息計算獲得待測點的三維坐標，最后由計算機擬合煤堆表面形狀，并求出存煤體積。秦健[8]提出將激光測距儀和步進電機安裝在煤場取煤的斗輪機的懸臂上，行程傳感器觸點安裝在待測煤推的縱向區域，采集煤堆表面數據，生成三維坐標數據計算體積的自動盤煤及管理系統。梁樂[9]研究了一種雙目視覺的測量方法，主要通過半全局匹配法計算視差圖，然后根據數值積分計算目標的體積，實驗表明對于一些形狀不規則的物體有著較好的測量效果。丁嗣禹等[10]使用雙目相機作為圖像采集設備，采集不規則物料堆的俯視圖像，通過半全局匹配算法計算出不規則物料堆的視差圖，然后在視差圖優化階段主要使用中值濾波算法和最近鄰插值算法，將視差圖中的視差值轉換為三維坐標數據，還原物料堆三維場景，再借助改進的OTSU算法對物料區域進行分割，根據區域內物料堆的平均高度和平均面積計算堆料的體積。以上方法在計算煤堆體積時，所需設備較多，且需要多次信號處理，因此計算過程較為緩慢。

針對以上問題，本文提出了一種基于三維點云分割的煤堆體積計算方法。使用激光雷達對煤堆進行掃描，獲取到煤堆及其周邊環境的點云數據，然后將點云數據直接輸入到Point-Net神經網絡中進行處理，將煤堆點云數據與其他物體點云數據進行區分和分割，從而獲取僅含有煤堆的點云數據，最后對該點云數據進行Delaunay三角劃分，并進行積分計算，得到煤堆的體積數據。

1 三維點云的語義分割

1.1 激光雷達與三維點云

激光雷達是一種主動式的現代光學遙感技術，它采用非接觸式測量的方法，可以快速掃描形狀不規則的復雜物體，獲取目標表面回波點的坐標信息。三維點云是指按照規則格網排列的三維坐標點的數據集，可以由激光雷達掃描被測物體獲得。

1.2 點云的語義分割

在對煤堆進行掃描時，由于激光雷達掃描范圍廣、速度快，因此所形成的點云數據往往是大片包含有煤堆和各種復雜環境的場景，這對于后續煤堆的體積計算有極大的干擾性。為了只獲取煤堆的點云數據，需要構建神經網絡對點云進行語義分割。

神經網絡是一種由大量的節點也就是神經元直接相互關聯而構成的計算模型；每個節點(除輸入節點外)所代表的輸出函數稱為激勵函數；每兩個節點的連接都代表該信號在傳輸中所占的比重(即認為該節點的“記憶值”被傳遞下去的比重)，稱為權重；網絡的輸出由于激勵函數和權重的不同而不同，是對于某種函數的逼近或是對映射關系的近似描述。圖1為兩層的神經網絡構圖。

圖1 神經網絡結構圖Fig.1 Neural network structure diagram

(1)

最終輸出結果見式(2)。

output=

(2)

式中，h為激活函數。

網絡訓練過程為：①初始化權重，通過前向傳播，計算網絡的輸出；②使用代價函數衡量當前的預測與真實值的誤差；③使用梯度下降，將誤差反向傳播(鏈式法則)，修改網絡權值；④循環，直到網絡誤差達到目標要求停止，應用訓練好的模型對測試樣本訓練。

最終訓練得到的神經網絡模型可以對特定的目標進行區分識別，但一般的神經網絡都應用于圖像識別，所處理的文件類型也都是照片等二維信息。三維點云雖然能夠方便快捷表達物體的三維結構，但其數據結構復雜，具有置換不變性，即使點云的坐標發生改變，其表達的物體特征沒有變化，因此很難直接應用于神經網絡中。雖然可以將點云數據進行體素化來輸入神經網絡中處理，但該方法將會損失點云中大量的特征信息[11-15]。因此，本文提出應用Point-Net神經網絡，可以直接作用于點云數據中，解決以上問題[16]。

首先，Point-Net神經網絡主體架構由T-Net微型網絡和Mlp多層感知機組成。T-Net微型網絡可以看成一個縮小版的Point-Net神經網絡，其主要作用是生成一個仿射變換矩陣，對點云的旋轉及平移進行規范化處理，從而解決了點云置換不變性的問題。Mlp多層感知機也稱為人工神經網絡，其隱藏層與輸入層為全連接，主要通過二維卷積來實現對點云中的局域特征進行升維操作，這樣可以在更高的維度對點云的局域特征進行提取，極大地減少了特征損失。

Point-Net神經網絡的架構見圖2。Point-Net神經網絡是分類網絡的擴展，簡而言之，該神經網絡主要運用Mlp多層感知機對每個點的局域特征進行升維處理，隨后將n×64維局域特征和1 024維全局特征進行融合，最后利用(128，m)的感知機進行特征分類，輸出結果為n×m，n對應n個點，m對應點所對應的m個分類得分。將三維點云數據輸入到T-Net微型網絡的一些主要特點如下所述。

圖2 Point-Net架構圖Fig.2 Architecture diagram of Point-Net

1)將最大池化層集作為對稱函數，從每個點聚合信息，使模型對輸入排列保持不變。

2)能夠預測每個點的特征，依賴于來自附近點的局部結構和全局信息，使得預測對象的轉換不變，如平移或旋轉。

3)通過在特征提取前將所有輸入集合對齊到規范空間，使點云的語義標注與點云幾何變換保持不變。

其輸出的分類結果見式(3)。

f(x1,x2,…,xn)=γ×g(h(x1),…,h(xn))

(3)

式中：x為點云中的點；h為特征提取層；g為對稱方法，Point-Net采用了max-pooling策略；為高維特征提取。

對分割結果的可視化可以借助Cloud Compare軟件完成。

2 三角劃分

整套體積測量系統流程見圖3。在使用Meshlab軟件進行補全降噪后，可以獲取較為完整的煤堆點云數據。為了計算該煤堆的體積，需要對煤堆點云進行Delaunay三角劃分。

圖3 體積測量系統Fig.3 Volumetric measurement system

平面中定義一點集Q，Q={Qi|i=1，2，…，j}，且j≥3。V(Qm)=∩H(Qm，Qn)，(1≤n≤j,m≠n)，即V(Qm)表示比其余點更接近Qm的點的軌跡是(j-1)個半平面的交，它是一個不多于(j-1)條邊的凸多邊形域，稱為關聯于Qm的Voronoi域。Q中任意一點均可作為一個Voronoi多邊形，如圖4(a)所示，這樣的j個Voronoi多邊形組成的圖形稱為Voronoi圖[17]。

由Voronoi圖衍生得到Delaunay圖，二者互為對偶。圖4(b)中對每條非邊界的Voronoi邊作其中垂線，得到的即為Delaunay三角剖分[18]。基于格網劃分的Delaunay三角網絡的具體構網步驟為[19]：①將獲取到的雜散點云數據進行格網塊劃分，按照劃分逆序對格網塊內的數據點依次構建Delaunay三角網；②構網過程中受相鄰格網中數據點影響的三角形與鄰近三角形暫時保存，完成構建的三角網結果保存入數據庫；③合并臨近的Delaunay三角形子網并進行優化處理，改進過后符合條件的三角形仍按照上述步驟中的構網規則進行處理；④直到完成格網中所有Delaunay三角網構建[20]。

圖4 Voronoi圖和Delaunay圖Fig.4 Voronoi diagram and Delaunay diagram

對煤堆點云數據進行Delaunay三角剖分后，將會獲得由大量三角面片組成的凸殼，將這些三角面片投影到地面上，就會形成數量龐大的三棱柱，因此，只需要計算出三棱柱的體積，即可獲得煤堆的體積。

3 實驗結果

3.1 實驗平臺的搭建與數據的獲取

本文運行網絡模型的電腦配置為NVIDIA GTX 1080Ti顯卡，3.6 GHz、16 GB RAM的Intel Core i7-7700 CPU處理器，所使用的軟件為Spyder環境下的Tensorflow，計算機為Windows7系統。

由于建立數據集需要大量的三維點云數據，而真實煤堆的體積較為龐大，采集工作費時費力，因此，本文將通過在實驗室人為搭建煤堆及煤堆所在的復雜環境來模擬真實礦場環境，采用體積為1 000 dm3左右的煤堆進行實驗驗證。通過使用激光雷達掃描，共獲得36組三維點云數據，所搭建某一場景掃描獲得的點云見圖5。

圖5 搭建場景及其三維點云Fig.5 Built scene and its 3D point cloud

3.2 實驗數據的預處理

由于振動、空氣中的煤塵會產生噪聲點，這將極大影響點云數據的準確性，因此，需要對點云數據進行降噪處理，本文采用中值濾波進行降噪。中值濾波是將點云序列中的一個值用該點的鄰域中各點值的中值代替，讓其鄰域各點接近真實值，從而消除孤立的噪聲點。處理后的點云數據見圖6。由圖6可知，降噪處理有效降低了多余的數據點，減少了數據計算的工作量。對于其他場景下的點云數據也進行相同的處理，隨后將這些數據進行格式變換。使用激光雷達掃描后，獲得的點云數據格式為ply格式，利用Matlab將ply格式轉換為txt格式。

圖6 降噪處理后的點云數據Fig.6 Point cloud data after noise reduction processing

將數據集進行分類，分為訓練集，驗證集和測試集。使用Cloud Compare軟件對訓練集中的數據進行標注，區分出煤堆和其他目標物，最后將txt文件轉換為h5格式，用于神經網絡的訓練。

3.3 實驗結果

對Point-Net神經網絡模型進行了4 000次迭代，學習率采用指數衰減的方式更新，初始學習率定為0.5，動量因子為0.9。多次調整超參數，最終mloU(平均交并比)達到93.43%，可以將煤堆與其他目標物進行分割，達到了語義分割的效果。分割前以及分割后可視化的效果見圖7，其中，中間區域為煤堆點云，兩端區域為其他環境點云。

圖7 點云分割的可視化Fig.7 Visualization of point cloud segmentation

使用Meshlab軟件對分割后的點云數據進行刪減，最終形成的煤堆點云數據見圖8。由圖8可知，點云較為稀疏，有空洞，因此需要對點云進行三維插值。通過配置PCL庫，對點云進行補全。首先定義NAN點，為激光發射器發射出去的激光未收到返回光束或者激光接收器接收到的返回激光強度超出閾值范圍。補全規則為，每一線激光掃描得到一行點數據中，查找與NAN點最近的點進行補全，如果本行數據全部為NAN(不可能發生)，則此行可刪除，調整點云尺寸。最后利用Matlab軟件對點云模型進行Delaunay三角劃分，將該模型劃分成無數三棱柱，從而利用積分法計算其體積。操作流程見圖8。

圖8 體積計算流程圖Fig.8 Flow chart for volume calculation

圖9為分割后點云中的一個三棱柱，d點為△abc的質心，根據a、b、c的坐標可以計算出d點的坐標，進而求出質心d與投影面之間的距離h，則該三棱柱的體積v即為高度h與投影面三角形面積s的乘積。整個煤堆體積計算公式見式(4)。

圖9 三棱柱示例圖Fig.9 Example diagram of triangular prism

(4)

式中，V為所有三棱柱體積總和，即為煤堆體積。

通過將煤堆放置在已知體積的容器中來獲得其真實體積，并與通過分割計算的體積進行對比，實驗測量了四組體積不同的煤堆，結果見表1。

表1 實驗結果對比Table 1 Comparison of experimental results

4 結 語

本文通過使用激光雷達掃描煤堆獲取其點云數據，并利用Point-Net神經網絡對掃描獲取的點云數據進行數據處理，成功將煤堆點云數據從整體環境中分割出來，極大減少了人為分割點云的工作量。研究可知，Point-Net神經網絡平均交并比在91%左右，可以較為精確地識別出煤堆的點云數據，具有一定的可靠性。同時，體積計算的相對誤差均在5%以下，精度較高，證明了該方法的有效性。計算得出的體積相對于實際體積較小，這是由于在點云數據分割過程中，有少量煤堆點云數據未被識別出來，造成計算出的體積偏小。另外，將點云數據輸入到神經網絡并最終計算體積結果平均時長不超過10 min，說明該方法方便快捷的特點。研究表明，本文所提出的體積測量方法精度高，速度快，所需設備簡單，成本較低，具有一定的先進性和創新性。