基于TOF 相機(jī)的露天礦卡車裝載體積測(cè)量實(shí)驗(yàn)研究

張燁佼 馬連成 段金剛 劉洪臻 孫效玉 劉煜祖 王仁炎

(1.東北大學(xué)智慧礦山研究中心,遼寧 沈陽 110004;2.鞍鋼集團(tuán)礦業(yè)有限公司齊大山鐵礦,遼寧 鞍山 114000;3.紫金礦業(yè)集團(tuán)股份有限公司,福建 龍巖 364000)

露天礦生產(chǎn)過程中,運(yùn)輸成本占據(jù)了總成本的60%,計(jì)量工作的準(zhǔn)確與否對(duì)礦山企業(yè)的成本管理、司機(jī)考核都具有十分重要的意義[1-4]。

卡車裝載計(jì)量方法主要有重量測(cè)量與體積測(cè)量。其中裝載體積測(cè)量比較成熟的方法是三維激光掃描。文獻(xiàn)[5]使用2 個(gè)激光雷達(dá)對(duì)移動(dòng)中的卡車進(jìn)行測(cè)量,重建卡車及其負(fù)載,通過卡車的激光雷達(dá)測(cè)量,獲取裝載物的三維點(diǎn)云,借助卡車鏟斗的先驗(yàn)?zāi)Ｐ蛣?chuàng)建負(fù)載網(wǎng)格,最終根據(jù)網(wǎng)格估算荷載體積。文獻(xiàn)[6]采用固定式單線激光雷達(dá)對(duì)目標(biāo)車輛進(jìn)行俯視掃描,基于車輛形態(tài)特征分割出載荷物頂部點(diǎn)云,然后經(jīng)時(shí)態(tài)校正,并與預(yù)先構(gòu)建的車輛信息數(shù)據(jù)庫進(jìn)行匹配,重建出載荷物的三維表面模型,最后通過對(duì)載荷物表面模型的切片積分實(shí)現(xiàn)方量核算。文獻(xiàn)[7]利用雙目立體相機(jī)獲取電鏟鏟斗的三維點(diǎn)云,利用機(jī)器學(xué)習(xí)方法從原始點(diǎn)云中分割出裝載鏟斗裝載物表面點(diǎn)云,并和預(yù)先構(gòu)建的鏟斗模型進(jìn)行差分計(jì)算裝載量。攝影測(cè)量方法也是一種比較常見的體積計(jì)算測(cè)量方法,文獻(xiàn)[8]使用搭載數(shù)碼相機(jī)的無人機(jī),從多個(gè)視角拍攝礦卡,采用數(shù)字?jǐn)z影測(cè)量技術(shù)重建礦卡裝載物的表面三維模型,通過體積積分計(jì)算礦卡裝載量。上述文獻(xiàn)中提到的方法,三維激光掃描設(shè)備昂貴,前期點(diǎn)云圖像的拼接處理繁瑣[9],攝影測(cè)量方法則后續(xù)處理工作量很大[10]。

目前市面上推出了基于飛行時(shí)間測(cè)量技術(shù)的新型相機(jī)—TOF 相機(jī),使用該相機(jī)可直接獲取對(duì)象的深度圖、灰度圖和點(diǎn)云數(shù)據(jù),可用于三維建模與體積計(jì)算。文獻(xiàn)[11]使用TOF 相機(jī),以每秒15 幀以上的速度獲取患者胸部和腹部的點(diǎn)云模型,對(duì)胸部和腹部進(jìn)行三維建模,計(jì)算出胸部和腹部等不同區(qū)域的呼吸信號(hào)。

TOF 相機(jī)模組具有體積小、方便靈活、獲取數(shù)據(jù)簡便、實(shí)時(shí)性強(qiáng)等優(yōu)點(diǎn),作為一種新興技術(shù)在自動(dòng)駕駛、動(dòng)作識(shí)別跟蹤、虛擬現(xiàn)實(shí)、醫(yī)學(xué)、機(jī)器人自主導(dǎo)航、工業(yè)自動(dòng)化裝配等眾多領(lǐng)域都有巨大的應(yīng)用潛力[12]。在國內(nèi)露天礦應(yīng)用尚屬空白,因此本研究提出基于TOF 相機(jī)掃描的礦卡裝載體積計(jì)算方法,并在實(shí)驗(yàn)室環(huán)境下進(jìn)行了試驗(yàn),取得了較為滿意的效果。

1 TOF 相機(jī)原理

TOF 技術(shù),即飛行時(shí)間技術(shù),相機(jī)發(fā)射光脈沖信號(hào),脈沖信號(hào)遇到障礙物(被測(cè)物體)之后返回到相機(jī),此時(shí)測(cè)得發(fā)射光脈沖信號(hào)和反射光脈沖信號(hào)的相位差或者時(shí)間差,即可計(jì)算出被測(cè)物體與測(cè)量設(shè)備的距離[13],測(cè)量的具體原理如圖1 所示。

圖1 TOF 相機(jī)測(cè)量原理Fig.1 Measurement principle diagram of TOF camera

TOF 測(cè)量距離計(jì)算:

式中,D為相機(jī)與被測(cè)物體的距離;C為光速常量;f為信號(hào)的調(diào)制頻率;Δφ為發(fā)射光脈沖信號(hào)和接收信號(hào)之間的相位差。

由式(1)可知,在調(diào)制頻率不變的條件下,測(cè)量距離的遠(yuǎn)近由相位差的大小決定。

基于TOF 技術(shù)的相機(jī)稱為TOF 相機(jī),它由調(diào)制光發(fā)射器和CMOS 圖像傳感器組成。和3D 激光掃描傳感器技術(shù)原理相似,不同點(diǎn)在于3D 激光掃描技術(shù)以點(diǎn)進(jìn)行掃描,TOF 相機(jī)是以面的形式遍歷整個(gè)圖像的像素點(diǎn)來形成深度圖像信息[14]。TOF 相機(jī)并不需要掃描,就可以對(duì)整個(gè)場(chǎng)景完成深度測(cè)量,同時(shí)還能從取得的相位信息中獲得強(qiáng)度信息[15]。

2 實(shí)驗(yàn)材料與實(shí)驗(yàn)方案

2.1 實(shí)驗(yàn)材料

實(shí)驗(yàn)材料主要包括相機(jī)、拍攝架、礦車模型、碎石、量杯,如圖2 所示。

圖2 實(shí)驗(yàn)材料實(shí)物圖Fig.2 Physical diagram of experimental materials

(1)相機(jī)。拍攝所用TOF 相機(jī)型號(hào)為SmartToF? TC-E2 系列,該型號(hào)相機(jī)的相關(guān)參數(shù)見表1。可通過Micro USB 2.0 接口以30 FPS 的速度輸出QVGA(320×240)尺寸的深度圖、灰度圖及點(diǎn)云圖。產(chǎn)品采用850 nm LED 光源。測(cè)距范圍可達(dá)6 m,精度可達(dá)mm 級(jí)。配套的軟件支持Windows/Linux/ROS/Android 等多個(gè)平臺(tái),同時(shí)支持C/C++/Python/Matlab/Java/C#等開發(fā)語言。運(yùn)行環(huán)境為處理器Intel Core i5-7200U 2.7 GHz 和8 GB RAM 的筆記本電腦。

表1 SmartToF? TC-E2 系列參數(shù)Table 1 SmartToF? TC-E2 series parameters

(2)拍攝架。由于TOF 相機(jī)拍攝近景敏感度較強(qiáng),為了保證拍攝高度精確以及防止相機(jī)抖動(dòng)造成的相位角度偏移,實(shí)驗(yàn)室使用拍攝架固定相機(jī)。

(3)礦車模型。尺寸為270 mm×150 mm×150 mm,裝載容積為850 ml。

(4)碎石。若干,模擬裝載物。

(5)量杯。量取200 ml 碎石,裝載礦車模型,用于實(shí)驗(yàn)體積精度對(duì)比。

2.2 實(shí)驗(yàn)方案

基于TOF 相機(jī)的礦車裝載體積計(jì)算實(shí)驗(yàn)方案主要包括3 部分:數(shù)據(jù)采集準(zhǔn)備、點(diǎn)云數(shù)據(jù)處理準(zhǔn)備、裝載體積計(jì)算。

(1)數(shù)據(jù)采集準(zhǔn)備。根據(jù)礦車模型容量與量杯大小,計(jì)劃采集5 種卡車裝載模式,拍攝方式為俯視,經(jīng)過實(shí)驗(yàn)室多次測(cè)試,拍攝高度在30～60 cm 左右時(shí)(攝像頭到車斗的距離),取得的點(diǎn)云圖效果最好,沒有成片的黑斑。拍攝高度取30、45、60 cm 3 種。普通相機(jī)拍攝的5 種裝載模式如圖3 所示。

圖3 相機(jī)模式下5 種裝載類別示意Fig.3 Schematic diagram of five loading categories in camera mode

(2)點(diǎn)云處理準(zhǔn)備。TOF 相機(jī)采集的數(shù)據(jù)模式包括灰度圖、深度圖、點(diǎn)云圖3 種類型,要進(jìn)行體積計(jì)算,首先需要對(duì)點(diǎn)云處理。點(diǎn)云處理軟件目前市面上有很多種,例如Realworks、Cyclone、TerraSolid、cloudcompare 等等。Cloudcompare 是一款三維點(diǎn)云處理軟件,它設(shè)計(jì)之初就是用來做點(diǎn)云比較。在進(jìn)行點(diǎn)云對(duì)比這類任務(wù)時(shí)具有出色的性能。此外它具有體積小、運(yùn)行速度快、開源、可進(jìn)行批處理等優(yōu)點(diǎn)。考慮到本研究中體積計(jì)算和點(diǎn)云處理多需要進(jìn)行點(diǎn)云的比較和配準(zhǔn)工作,cloudcompare 是最適合的選擇。

(3)體積計(jì)算。體積計(jì)算分2 種方法,一種是將裝載后的點(diǎn)云與空車點(diǎn)云進(jìn)行配準(zhǔn),配準(zhǔn)之后兩者之間形成的多余部分即為裝載礦石的體積,稱為累計(jì)體積。另一種是對(duì)相鄰裝車點(diǎn)云進(jìn)行配準(zhǔn),計(jì)算多余部分的體積,計(jì)算結(jié)果為單次裝載體積。

3 數(shù)據(jù)采集

在windows 系統(tǒng)下,SmartToF? TC-E2 自帶的SDK 配套 SmartToFViewer 可以直觀顯示測(cè)量效果,包括灰度圖、深度圖、點(diǎn)云圖3 種類型。以空車狀態(tài),TOF 相機(jī)到礦車的測(cè)量距離30 cm 為例,在各項(xiàng)參數(shù)都未進(jìn)行設(shè)置的情況下采集的初始數(shù)據(jù)如圖4。

從圖4 可以看出,在各項(xiàng)參數(shù)都未進(jìn)行設(shè)置的情況下,圖像質(zhì)量較差,存在較多的黑斑和噪聲點(diǎn)。黑斑表示過曝,此時(shí)采集到的數(shù)據(jù)是無效的,需要減少曝光時(shí)間;但減少曝光時(shí)間會(huì)使得光照的有效范圍變小,礦車模型周圍顏色變?yōu)楹谏?也表示無效部分。

圖4 TOF 相機(jī)采集的空車3 種初始圖像Fig.4 Three initial images of empty vehicle collected by TOF camera

圖像背景噪聲點(diǎn)較多,需要在控制曝光時(shí)間防止黑斑出現(xiàn)的情況下,盡量增加曝光時(shí)間,此外還可以使用幅值濾波來控制圖像噪點(diǎn),以此來過濾光照不佳的點(diǎn)和雜點(diǎn)。

此外,原始的點(diǎn)云數(shù)據(jù)包含著大量的孤立點(diǎn)和離散點(diǎn)。在點(diǎn)云處理中濾波作為預(yù)處理的第一步,對(duì)后續(xù)的影響比較大,只有在濾波預(yù)處理中將噪聲點(diǎn)、離群點(diǎn)、孔洞等進(jìn)行處理之后,才能夠更好地進(jìn)行配準(zhǔn)、特征提取等后續(xù)工作。

經(jīng)過積分時(shí)間參數(shù)設(shè)置和幅值濾波調(diào)整后,取得的較高質(zhì)量的圖像如圖5 所示。

圖5 經(jīng)過積分時(shí)間設(shè)置和幅值濾波調(diào)整后的圖像Fig.5 Images after integration time setting and amplitude filtering adjustment

SmartToFViewer 可輸出當(dāng)前顯示圖像的點(diǎn)云圖,輸出的文件格式為.Ply。

4 點(diǎn)云處理

將上文取到的點(diǎn)云圖載入到 cloudcompare 中,對(duì)裝載點(diǎn)云圖做后續(xù)的處理工作。

實(shí)驗(yàn)當(dāng)中,由于測(cè)量高度不變,各點(diǎn)云圖之間除了實(shí)際上的高程有些許誤差以外,從其他視圖上來看基本上是完全重疊的。因此可統(tǒng)一對(duì)重疊在一起的5 種裝載點(diǎn)云選取俯視圖視角,框選出礦車主體部分,使用分割功能分割掉其他多余部,以此去除掉全部的雜點(diǎn)和背景點(diǎn)。去除掉雜點(diǎn)和多余的背景點(diǎn)的5 種點(diǎn)云圖如圖6 所示。

圖6 處理之后的點(diǎn)云圖Fig.6 Point cloud after processing

處理完畢后,對(duì)余下的礦車主體部分進(jìn)行配準(zhǔn),消除高程誤差。

點(diǎn)云配準(zhǔn)即是將處在不同位置或者視角的點(diǎn)云數(shù)據(jù)經(jīng)過旋轉(zhuǎn)或平移等操作整合到同一個(gè)坐標(biāo)系下的過程,進(jìn)行配準(zhǔn)的2 個(gè)點(diǎn)云可以經(jīng)過旋轉(zhuǎn)平移等一系列位置變換完全重合。

點(diǎn)云配準(zhǔn)總體上可以分為粗略與精確配準(zhǔn)2 種方法。

粗略配準(zhǔn)是在不知道任何初始相對(duì)位置的情況下進(jìn)行的配準(zhǔn),主要目的是快速估算一個(gè)大致的點(diǎn)云配準(zhǔn)。要求計(jì)算速度較高,對(duì)于計(jì)算結(jié)果的精確度要求則不高。本次實(shí)驗(yàn)室環(huán)境下由于使用拍攝架,拍攝方位和拍攝高度固定,因此不會(huì)用到粗略配準(zhǔn)。

精配準(zhǔn)的目的是在粗配準(zhǔn)的基礎(chǔ)上讓點(diǎn)云之間的空間位置差別最小化。最為廣泛的精算法是迭代最近點(diǎn)算法(ICP 算法)[16]。ICP 算法通過計(jì)算源點(diǎn)云與目標(biāo)點(diǎn)云對(duì)應(yīng)點(diǎn)的距離,構(gòu)造旋轉(zhuǎn)平移矩陣,通過旋轉(zhuǎn)平移對(duì)源點(diǎn)云進(jìn)行變換,計(jì)算變換之后的均方差。若均方差滿足誤差條件,則算法結(jié)束。否則繼續(xù)重復(fù)迭代直至誤差滿足條件。ICP 算法的優(yōu)點(diǎn)是簡單,不必對(duì)點(diǎn)云進(jìn)行分割和特征提取即可進(jìn)行配準(zhǔn),并且初值較好的情況下,精度和收斂性都很好。

通過cloudcompare 提供的精準(zhǔn)ICP 配準(zhǔn)算法,對(duì)預(yù)處理過后的5 種裝載點(diǎn)云進(jìn)行配準(zhǔn)。配準(zhǔn)后的點(diǎn)云如圖6。

5 裝載體積計(jì)算

cloudcompare 擁有用于計(jì)算點(diǎn)云與任意平面(恒定高度)或2 個(gè)點(diǎn)云之間的體積的功能。它將點(diǎn)云底面劃分成離散的網(wǎng)格,計(jì)算每個(gè)網(wǎng)格對(duì)應(yīng)單元的體積并相加求和。它依賴于點(diǎn)云的光柵化/網(wǎng)格化過程,因此它有點(diǎn)像光柵化工具。

生成柵格網(wǎng)格的過程當(dāng)中,如果沒有點(diǎn)落在給定的單元格內(nèi),則該單元格被視作空單元格(可將其視作類似于產(chǎn)生了空洞)。

體積計(jì)算則是將每個(gè)單元的體積求和。這個(gè)單元體積則是每個(gè)單元格的面積乘以高度差。只有對(duì)于底部點(diǎn)云和頂部點(diǎn)云都具有有效高度值的單元格才能用于體積計(jì)算,空單元格將被忽略不計(jì)。因此,需要設(shè)置合適的網(wǎng)格長度來盡量減少空單元格的個(gè)數(shù),并在必要時(shí)填充剩余的空單元格,以盡量減少體積計(jì)算的誤差。

體積計(jì)算公式為

式中,Gi,Gj為網(wǎng)格長度;Δh為高度差。

選擇點(diǎn)云之后,需要處理網(wǎng)格中仍為空的單元格。空單元格不能用于體積計(jì)算。因此首先需要設(shè)置合適的網(wǎng)格長度來最大程度地減少空單元格的數(shù)量。網(wǎng)格長度不能選得太大或太小,太小將會(huì)有很多單元成為空單元格,太大則會(huì)出現(xiàn)較大凸包,產(chǎn)生較大計(jì)算誤差。cloudcompare 會(huì)在存在較多空單元格時(shí)顯示紅色警告,也會(huì)在計(jì)算結(jié)果當(dāng)中顯示匹配到的所有非空單元格的數(shù)目。

對(duì)于剩余的空單元格的處理方式有很多種選擇。留空、取最小高度、取最大高度、取平均值,取指定值(該值需要輸入)、插值。

最常見的選擇是插值。它是取空單元格最近的非空相鄰單元格的線性插值來代替空單元格。插值用于確認(rèn)網(wǎng)格間距是否夠大,相比較其他選擇能更多地減少空單元格數(shù)量。

選擇插值之后,經(jīng)過多次長度選擇,單元格長度選擇0.003 m 時(shí),單元格匹配度最高,匹配度為98.3%。此時(shí)分別進(jìn)行裝載體積計(jì)算。

按照如上方法,采用裝載后點(diǎn)云與空車點(diǎn)云進(jìn)行疊加計(jì)算卡車總裝載體積、采用前后2 次裝載點(diǎn)云疊加計(jì)算單次量杯裝載體積。采用3 種不同高度對(duì)4種不同裝載體積進(jìn)行實(shí)驗(yàn),得到數(shù)據(jù)分別如表2、表3所示。

表2 計(jì)算累計(jì)裝載體積Table 2 Calculation of cumulative loading volume

表3 計(jì)算單次裝載體積Table 3 Calculation of single loading volume

表中計(jì)算結(jié)果表明,2 種體積計(jì)算結(jié)果與真實(shí)值的平均偏差均在5%之內(nèi),能夠滿足現(xiàn)場(chǎng)實(shí)際需要。但2 種體積計(jì)算方法之間存在誤差,即總裝載量不等于各次裝載量之和,究竟是cloudcompare 軟件問題,還是材料松散問題或相機(jī)拍攝問題,有待后續(xù)進(jìn)一步實(shí)驗(yàn)研究。

6 結(jié)論

TOF 相機(jī)體積小,獲取數(shù)據(jù)簡單方便,作為一種新興技術(shù)在三維模型與體積計(jì)算方面有巨大的應(yīng)用潛力,據(jù)此本研究提出了基于TOF 相機(jī)的礦車裝載量體積計(jì)量方法,主要研究結(jié)論如下:

(1)采用裝載后點(diǎn)云與空車點(diǎn)云疊加、前后2 次裝載點(diǎn)云疊加2 種方法,對(duì)3 種不同高度5 種裝載量拍攝的礦車模型點(diǎn)云數(shù)據(jù)進(jìn)行處理,分別計(jì)算礦車總裝載體積、單次量杯裝載體積,平均誤差不超過5%,滿足露天礦卡車裝載計(jì)量精度要求。

(2)選擇cloudcompare 對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行降噪、配準(zhǔn)以及體積計(jì)算,減少了點(diǎn)云處理工作量,但采用該方法計(jì)算出的體積有一定偏差,后續(xù)需要進(jìn)一步完善計(jì)量方法。

(3)該方法較三維激光掃描經(jīng)濟(jì)實(shí)惠,較攝影測(cè)量后續(xù)處理工作量小,后續(xù)將進(jìn)一步加強(qiáng)實(shí)驗(yàn)研究,并早日進(jìn)行現(xiàn)場(chǎng)試驗(yàn)。