基于TOF深度圖像修復的輸送帶煤流檢測方法

汪心悅， 喬鐵柱， 龐宇松， 閻高偉

(1.太原理工大學 新型傳感器與智能控制教育部重點實驗室， 山西 太原 030024； 2.太原理工大學 物理與光電工程學院， 山西 太原 030024； 3.代爾夫特理工大學 機械、海事和材料工程學院， 荷蘭 代爾夫特 2628 CD； 4.太原理工大學 電氣與動力工程學院， 山西 太原 030024)

0 引言

智慧礦山建設是實現煤炭工業高質量發展的重要保障。在智慧礦山各環節中，智能生產、智能運輸及智能調度管理等環節都需要煤流數據的支持[1]。因此，輸送帶煤流檢測問題十分重要。

帶式輸送機是主要的煤炭運輸設備[2]。根據計量原理不同，傳統煤流檢測裝置主要分為核子膠帶秤[3]和電子膠帶秤[4]。核子膠帶秤的放射源在使用和存儲時存在一定的安全和環保隱患；電子膠帶秤屬于接觸式檢測裝置，檢測精度易受輸送帶張力、剛度等因素的影響。近年來，非接觸式檢測方法在煤流檢測領域得到廣泛研究和應用。N. M. Mihut[5]設計了一種基于超聲波傳感器的輸送帶物料運輸流量測量系統，但超聲波測距響應速度慢，且帶式輸送機高速運行時測量誤差較大。李萍等[6]基于線激光條紋實現帶送煤炭體積測量，該方法采集區域不均勻，測量誤差較大。代偉等[7]采用雙目視覺方法獲取煤料圖像各點深度信息，基于煤量計算公式實現煤流檢測，但雙目視覺系統立體匹配計算成本高、實時性差，另外井下環境光照條件復雜、粉塵較大，且煤料與輸送帶顏色相近，均會影響檢測效果。

基于飛行時間(Time-of-Flight，TOF)測距原理的相機[8-9]可直接獲得均勻的場景深度信息和強度信息，測量效果幾乎不受環境光影響[10]，且受物體表面灰度特性影響較小[11-12]。然而，TOF相機因采用主動紅外成像機制，獲得的深度圖像在深度不連續處(即物體邊緣)存在一些飛行像素噪聲與多徑誤差噪聲[13]，造成邊緣信息錯誤，無法準確表示物體邊緣的深度值。此外，受物體材質、拍攝角度和粉塵等影響，深度圖像會包含一些無深度數據的空洞和脈沖噪聲[14]。劉嬌麗等[15]、J. Jung等[16]提出了不同的深度圖像修復算法，但難以兼顧去噪和邊緣特征保持。

本文采用TOF相機采集輸送帶運煤圖像，根據TOF深度圖像和強度圖像數據特點，提出了一種基于TOF深度圖像修復的輸送帶煤流檢測方法，并通過煤料運輸實驗驗證了該方法對煤流檢測的精度。

1 輸送帶煤流檢測方法原理

基于TOF深度圖像修復的輸送帶煤流檢測方法主要包括TOF圖像采集、煤料區域識別、強度圖像引導的深度圖像修復、煤流計算等，如圖1所示。煤料區域識別是將采集的TOF圖像均衡化后，采用幀差法和邊界跟隨算法去除背景噪聲。深度圖像修復基于Canny邊緣檢測法檢測深度圖像和強度圖像邊緣并尋找相似邊緣，采用強度圖像引導的深度圖像修復算法對深度圖像邊緣進行校正，從而獲得高精度的深度圖像。煤流計算通過建立煤料體積計算模型實現。

圖1 輸送帶煤流檢測方法原理Fig.1 Principle of coal flow detection method of conveyor belt

2 煤料區域識別

為了簡化后續圖像邊緣修復和煤流計算，對圖像中感興趣區域(Region of Interest，ROI)即煤料區域進行識別。對獲取的TOF深度圖像進行直方圖均衡化處理，以增強圖像對比度。將當前深度圖像fd與輸送帶空載時采集的深度圖像f0逐像素相減，得到深度差值圖像：

D=|fd-f0|

(1)

采用邊界跟隨算法檢測深度差值圖像最外層邊界，壓縮水平、垂直和對角線方向的像素點，只保存相應方向的終點坐標，即保留所有輪廓拐點處的像素點，拐點之間直線段上的像素點舍棄，從而加快運算速度。將邊界內面積小于100像素的區域視為噪聲并去除，得到ROI。

3 強度圖像引導的深度圖像修復

TOF深度圖像中深度值不連續區域往往對應強度圖像中灰度值不連續區域，因此提出一種強度圖像引導的深度圖像修復算法(圖2)，利用強度圖像中有效的邊緣信息對深度圖像中邊緣處的不可靠數據進行修復。

圖2 強度圖像引導的深度圖像修復算法原理Fig.2 Principle of intensity image-guided depth image restoration algorithm

基于Canny邊緣檢測算法分別獲取當前深度圖像和強度圖像的邊緣信息，采用雙閾值識別圖像中的強邊緣和弱邊緣，并結合強弱邊緣的位置關系，得出圖像整體邊緣信息。之后將深度圖像的邊緣信息投影至強度圖像，對投影后的深度圖像邊緣依次進行掃描，若某邊緣點的8鄰域范圍內存在強度圖像邊緣點，則將該深度圖像邊緣點判定為相似度大的邊緣點。將深度圖像上所有相似度大且與強度圖像邊緣點不重合的邊緣點放入候選集合R中，將深度圖像上相似度大的邊緣點8鄰域范圍內的強度圖像邊緣點放入候選集合I中，得到深度圖像和強度圖像的相似邊緣。

利用強度圖像邊緣校正深度圖像邊緣的原理如圖3所示。將強度圖像邊緣點投影至深度圖像中，對集合I中的邊緣點在8鄰域范圍內進行掃描，若集合I中某邊緣點A在對應深度圖像中相同位置的點A′的8鄰域范圍內存在集合R中的點，則將這些點去除，并將點A′處的深度值fA′由該點8鄰域范圍內所有邊緣點深度值的中值所替代；若點A′的8鄰域范圍內不存在集合R中的點，則點A′處的深度值fA′不變。

圖3 深度圖像邊緣校正原理Fig.3 Principle of depth image edge correction

深度圖像邊緣校正過程可表示為

(2)

式中：N8A′為點A′的8鄰域范圍；MA′為點A′的8鄰域范圍內所有邊緣點深度值的中值。

針對深度圖像上的空洞及相似邊緣校正后在8鄰域范圍內留下的空缺，采用基于Navier-Stokes方程的圖像修復算法，根據待修復區域周圍的像素值及像素間的結構關系，估算空缺區域可能的像素排列，從而修復圖像非邊緣部分。針對脈沖噪聲，選用尺寸為3×3的中值濾波器濾波，以深度圖像深度值的中值作為濾波器中心像素值。完成上述操作后，得到高精度深度圖像。

4 煤流計算

基于高精度深度圖像，對煤料進行像素級分割，建立煤料體積計算模型，得出當前區域的煤料體積，再根據當前輸送帶速度計算煤流，如圖4所示。OW為TOF相機的焦點，也是世界坐標系OWXWYWZW的原點；H為TOF相機距輸送帶的垂直距離；α，β分別為TOF相機在XW，YW方向的視野范圍；v為輸送帶沿XW方向的實時速度；L，K分別為TOF相機所采集圖像在XW，YW方向的實際長度。

圖4 煤流計算原理Fig.4 Principle of coal flow calculation

將輸送帶空載時的高精度深度圖像F0與當前高精度深度圖像Fd逐像素相減并乘以轉換系數δ(深度圖像像素值與實際深度的轉換比例)，得到當前ROI內煤料的實際高度圖像：

h=δ|Fd-F0|

(3)

h上任意位置(x,y)處像素點的值h(x,y)代表該點對應的煤料實際高度。計算Fd中ROI表示的實際面積：

(4)

式中：SD為Fd所表示區域的實際面積；m為每幀深度圖像的像素數；n為當前ROI內的像素數。

(5)

當前ROI的煤料總體積可近似轉換為單位像素表示的體積積分，通過對煤料進行像素級分割并積分得到。積分原理如圖5所示。將煤料體積近似劃分為多個底面積相同的立方體，每個立方體與深度圖像的像素點一一對應。

(a) 俯視

(b) 俯視分割

(c) 側視

(d) 側視分割

當前ROI內的煤料體積為

(6)

當前煤流為

(7)

5 實驗與結果分析

實驗環境如圖6所示。采用Swift-G TOF相機(參數見表1)采集煤料深度圖像和強度圖像。將TOF相機安裝在輸送帶上方，使其軸線垂直向下?？紤]到測量范圍，相機安裝高度距輸送帶上表面1.08 m。將實驗采集的圖像以數字方式傳輸至計算機?；赩isual Studio 2019、開源計算機視覺庫OpenCV 和Windows10操作系統對輸送帶煤流檢測方法進行開發和實驗。

圖6 實驗環境Fig.6 Laboratory environment

參數值分辨率/像素640×480工作范圍/m0.5～6視野范圍/(°×°)43×33照明內置7個LED@850 nm運行溫度/℃-20～50最大幀率/(幀·s-1)44

實驗采用大小不等的煤塊。TOF相機以10幀/s的速度采集輸送帶運煤圖像。輸送帶當前速度由測速裝置獲得。深度圖像煤料區域識別如圖7所示，其中a-c分別為均衡化、去除背景噪聲、采用邊界跟隨算法處理后的深度圖像，d為煤料ROI區域。

圖7 深度圖像煤料區域識別Fig.7 Recognition of coal area in depth image

強度圖像引導的深度圖像修復如圖8所示。a，b分別為均衡化、邊緣檢測后的深度圖像；c為深度圖像與強度圖像邊緣相似度大的區域；d,e分別為均衡化、邊緣檢測后的強度圖像；f為將深度圖像ROI修復并均衡化后的結果。

圖8 強度圖像引導的深度圖像修復Fig.8 Intensity image-guided depth image restoration

為便于驗證煤流檢測效果，將煤流轉換為一段時間內的煤料總體積：

(8)

式中：s為TOF相機幀率；k為TOF相機在煤料經過時段所采集深度圖像的總幀數；Gi為根據TOF相機采集的第i幀深度圖像計算得到的瞬時煤流。

為了驗證本文方法的準確性和精度，將煤料分為體積不同的3組，分別在0.5，1.0，1.5，2.0 m/s輸送帶速度下檢測煤料體積，每次實驗重復10次，取平均值，結果見表2。采用平均誤差表示檢測準確度，采用標準差表示檢測精度。

表2 煤料體積檢測結果Table 2 Detection results of coal volume

從表2可看出：未采用深度圖像修復時，煤料體積最大檢測誤差為5.73%，最大標準差為3.783，表明基于TOF相機的輸送帶煤流檢測方法可行；采用強度圖像引導的深度圖像修復算法后，煤料體積最大檢測誤差為3.78%，最大標準差為0.491，提高了檢測準確性與精度；隨著輸送帶上煤料體積增大，檢測誤差略有減小。實驗中所有數據的平均處理時間為83 ms。可見，本文方法滿足實際生產中對煤流檢測準確性、精度及實時性要求。

6 結論

(1) 提出了一種基于TOF深度圖像修復的輸送帶煤流檢測方法:采用幀差法和邊界跟隨算法識別煤料區域；針對深度圖像邊緣信息不準確問題，提出了強度圖像引導的深度圖像修復算法，利用強度圖像中的有效邊緣信息對深度圖像中邊緣處的不可靠數據進行修復；結合TOF深度圖像特點，通過建立煤料體積計算模型計算煤流。

(2) 實驗結果表明，該方法對煤料體積的檢測誤差不超過3.78%，標準差不超過0.491，數據平均處理時間為83 ms，滿足實際生產要求。

(3) 下一步將重點研究如何減少因帶式輸送機運行抖動導致的檢測誤差。