基于圖像分割的皮帶跑偏故障分級報警方法研究

聶志勇，官鋒，穆杞梓

（國家能源集團信息公司，北京 100011）

1 引言

皮帶輸送機作為一種連續性物料運輸機械，近年來在煤炭、礦山、港口等領域獲得廣泛應用。在輸送機運行過程中，最常見的故障就是皮帶跑偏。若故障不及時處理容易導致物料堆積泄漏，造成環境污染等不良后果。因此，研究皮帶跑偏檢測方法對維護整個生產系統的安全具有重要意義。

目前，各電廠、港口等對于皮帶跑偏故障常采用傳感器式檢測方案。其通常在輸送帶兩側機架安裝偏差開關，一旦發生跑偏事故，輸送帶推動偏差開關的作用臂發生偏轉，進而觸發開關并發出報警信號。然而，這種方法常出現誤報現象，嚴重影響工廠正常生產。近年來，隨著機器視覺在能源領域的不斷發展，結合圖像識別的皮帶跑偏檢測方法逐漸受到研究者關注。此類方法不僅能從根本上避免因人工導致的失誤，提高檢測精度；并且能在檢測出皮帶跑偏故障的同時，及時上報報警信息并快速響應處理，節省時間和成本。最近，Yang 等通過線陣CCD 采集皮帶下表面圖像，并采用列閾值的圖像分割算法檢測皮帶邊緣，從而確定偏差。Mei 等提出一種基于圖像增強算法的偏差檢測方法，通過自適應閾值和圖像增強算法檢測皮帶邊緣，據此計算皮帶的偏移和變形并預測跑偏故障。

隨著深度學習的發展，結合神經網絡的皮帶跑偏檢測方法開始成為研究熱點。當前結合神經網絡的皮帶跑偏檢測方法主要是以皮帶兩側托輥作為檢測目標的托輥檢測法。Liu 等提出一種基于模板匹配的橢圓弧檢測算法來檢測托輥外邊緣。然而由于檢測目標易受干擾，因此當單側目標被遮擋時該方法無法正常檢測。且其易受現場亮度、托輥與相機的距離等環境因素影響，對于新場景需要進行針對性優化，普適性較低。最近，范等提出基于BP 神經網絡的皮帶跑偏檢測方法。王等提出用鑒頻器來判斷故障聲，并通過CNN 定位故障聲位置。然而，上述方法均在皮帶出現輕度跑偏時就產生報警信號，而實際生產作業中，皮帶輕微偏斜并不會對生產造成影響，若輕度跑偏報警過于頻繁，會出現較多干擾信號，影響現場調度人員判斷。因此，對皮帶跑偏故障進行分級報警顯得尤為重要。

基于上述分析，本文提出一種基于圖像分割的皮帶跑偏故障分級報警方法。該方法結合實例分割及邊緣檢測技術，首先基于Mask R-CNN 進行實例分割獲取圖像中皮帶的位置，其次結合霍夫直線檢測有效定位皮帶邊緣，最終通過判定皮帶邊緣和預設報警線之間的位置關系確定報警級別，從而達到在減少人工成本的同時及時獲取報警信息的目的，避免因人員誤判導致的經濟效益損失。

2 基于圖像分割的皮帶跑偏故障分級報警方法設計

根據實際場景，皮帶跑偏故障分為輕度、中度及重度跑偏。在輕度跑偏時，跑偏故障不會對生產造成影響；中度跑偏后，皮帶運行中存在撒煤等生產隱患；重度跑偏情況下，皮帶嚴重偏斜，無法正常工作。因此，為進行皮帶跑偏故障分級檢測，本文基于專家經驗提前對皮帶跑偏報警線進行標注（如圖1 皮帶兩側各3 根綠色直線），并在此基礎上設計了皮帶跑偏故障分級檢測模型。

圖1 皮帶預標注報警線示意圖

該模型主要包含3 個階段。首先，通過實例分割技術輸出圖像中的皮帶實例（圖1 黃色區域所示），并篩取皮帶邊緣點；其次，運用霍夫直線檢測技術獲取皮帶邊緣集，設計過濾方法對該集合中的直線進行過濾；最后結合邊緣點及邊緣集擬合得到皮帶邊緣（圖1 中紅色直線），并通過比較皮帶邊緣與預設報警線間的位置關系確定跑偏故障等級。

2.1 基于Mask R-CNN 的皮帶實例及邊緣點提取方法

為計算皮帶跑偏程度，首先需要對圖像上的皮帶實例進行識別及分割。該過程屬于目標檢測的范疇。基于深度學習的典型目標檢測方法包括yolo 系列，Fast R-CNN，Faster R-CNN 等。2017 年，何等提出Mask R-CNN 作為Faster R-CNN 的改進，他們通過ROI Align 來替換ROI Pooling 的取整操作，使得對每個感興趣區域取得的特征都能更好地對齊原圖上的感興趣區域。因此，為保證皮帶感興趣區域提取的準確性，本文通過Mask R-CNN 模型識別圖片中的皮帶實例，為其繪制邊界框并對邊界點進行標記。模型整體架構如圖2 所示。

圖2 Mask R-CNN 整體架構

Mask R-CNN 在輸入圖像后，首先，使用殘差網絡ResNet101 以及特征金字塔網絡FPN 作為骨架層進行特征提取，其中由ResNet 網絡完成主干特征的提取，并通過FPN 加強特征提取，以獲得圖像的多尺度特征；其次，在獲得對應的特征圖后，將其送入區域建議網絡RPN 來獲得感興趣區域；最后，通過ROI Align 對感興趣區域進行池化操作，將相應區域池化為固定尺寸的特征圖；最后對這些感興趣區域進行分類、邊框回歸和mask 生成，并將檢測得到的所有mask 疊加融合為1 個mask 整體。

在輸出mask 基礎上基于預設報警線分別計算得到皮帶兩側邊緣點。鑒于該過程中輸出的邊緣點數量眾多，導致后續計算量較大，因此需要對上述邊緣點進行篩取。而Mask R-CNN 模型輸出的mask 存在不規則現象，通過直接均分篩取得到的邊緣點不能很好的表現出皮帶實例的語義信息，因此本文設計了如下邊緣點均分方法來分別獲取皮帶2 側各n 個（本文根據專家經驗選取n=10）具有較強特征的邊緣點（以左側邊緣點獲取為例）：

（1）獲取mask 縱坐標方向的最大、最小值：yMax，yMin；

（2）考慮到mask 的連續性，將皮帶依照縱坐標均分為n-1 等份，記縱坐標依次為y1,y2,...,yi,...yn， 其中y1=yMin，yn=ymax。 對于某縱坐標yi， 獲取mask 多邊形左側區域與直線y=yi的交點， 記為 集 合， 其 中，xmaxi表示縱坐標yi下獲取的所有邊緣點中橫坐標的最大值；該步驟中獲取的所有邊緣點組成邊緣點集

（3） 選 取 各 縱 坐 標 中 最 靠 近 皮 帶區 域 的 那 一 點(xmaxi,yi) 進 行 存 儲， 記 為。

2.2 皮帶邊緣檢測及過濾

通過標準霍夫直線檢測獲取圖像中皮帶2 側的邊緣線，并設計相關過濾方法對直線檢測結果進行過濾。

霍夫直線檢測具體步驟如下：

（1）對輸入圖像進行高斯模糊。

圖像中的皮帶邊緣往往是灰度變化幅度最劇烈的區域，而這其中存在一些表現出階躍效應或屋頂效應的孤立像素點或像素塊，對最終的邊緣檢測效果帶來干擾。因此，這一步，通過高斯濾波器來消除圖像噪聲，從而提高和噪聲相關的邊緣檢測算子的性能。

（2）使用Canny 算子進行皮帶邊緣檢測。

（3）利用概率霍夫變換直線檢測獲取皮帶邊緣。

對得到的邊緣檢測結果進行概率霍夫變換直線檢測得到最終所需的皮帶邊緣。在該步驟中，為滿足足夠的泛化性，Canny 邊緣檢測和概率霍夫變換直線檢測的參數設置寬容度較高，導致在最終結果中生成大量直線，使得后續計算量龐大。因此，為保證檢測的實時性，縮短檢測周期，本文設計了如下過濾方法來剔除多余的直線檢測結果：

①將用戶標注的預警線轉換為極坐標參數(θ,r)；

②將霍夫變換直線檢測結果中各直線坐標轉換為極坐標參數(θ’,r’)，并根據公式（1）篩除多余結果；

③估計皮帶寬度?；陬A設報警線獲取皮帶兩側中心點，求出兩點間的歐式距離d，即為對應皮帶寬度估值。（以1920*1080 圖像分辨率為例，豎直方向像素點為1080，皮帶兩側中心點為皮帶兩側輕度報警線與直線y=540 的交點。）

④根據公式（2）篩選滿足條件的直線，獲取最終結果。

2.3 邊緣線擬合及分級報警

基于2.1 節輸出的皮帶2 側各n 個邊緣點，以及2.2節篩選得到的備選皮帶邊緣，設計如下擬合方案，準確得到皮帶2 側邊緣：

（1）利用預設報警線獲取圖像中的皮帶中軸，并基于該中軸線區分皮帶左右兩側備選邊緣；

（2）分別計算皮帶兩側各邊緣點與備選邊緣直線間的歐式距離；對于某邊緣點i（x,y），其到直線j：Ax+By+C=0 的歐式距離定義為：

（3）分別計算皮帶兩側各備選直線的邊緣擬合權重，以皮帶左側為例，某備選直線j 的邊緣擬合權重（j=1,2,3....ml）如公式（4）所示：

（4）分別取出皮帶兩側權重最小的直線作為其邊緣。同時，通過判斷皮帶邊緣與各條報警線間的位置關系確定最終報警級別。具體方法如下（以左側皮帶為例）：

①以皮帶中軸線為基準，在圖像中分別以2.1 中mask 縱坐標方向的最大、最小值：yMax，yMin做兩條水平直線y=ymin及y=ymax；

②計算上述2 條直線與3 條皮帶跑偏預警線（如圖3所示綠色直線）分別相交形成的多邊形的面積S2及S3；

圖3 皮帶跑偏故障分級報警計算方法圖示

③以皮帶中軸線為基準，遍歷計算皮帶左邊緣與中軸線及y=ymax,y=ymin形成的多邊形S1與上述S2以及S3是否有交集，當或時，皮帶正常運行；當且或，且時，皮帶發生輕度跑偏；當且時，皮帶發生中度跑偏；當且時，皮帶發生重度跑偏。其中t1表示一般跑偏故障閾值，t2表示重度跑偏故障閾值，這里根據專家經驗設定取值為：t1=40%，t2=80%。

本模型優點在于報警條件可客制化，且在邊緣直線檢測階段使用的是概率霍夫變換方法，因此相較于傳統霍夫直線檢測在惡劣場景（如塵土干擾、光照強度不足等）下的魯棒性更高。

3 實驗及評價

3.1 實驗環境及數據

本文所有實驗均在windows 10 專業版64 位操作系統下進行，配置采用Intel Xeon Gold 5218R CPU，搭配2 張NVIDIA RTX6000 顯卡，基于pytorch 框架，在python 3.8，CUDA10.2.89 上訓練和測試深度神經網絡模型。

為測試所提方法的有效性及準確性，基于烏東及錦界煤礦實際生產中的皮帶視頻監控數據建立訓練集、驗證集及測試集。該測試集主要包含13 個樣本數據共21490 張圖像，每個樣本中包括數量不等的正負樣本，其中負樣本中包含一定比例的輕度、中度以及重度皮帶跑偏圖像。

3.2 實驗結果

3.2.1 分級報警可行性分析

在上述測試集中測試本文所提算法對于皮帶分級跑偏故障檢測的準確性，具體結果如表1 所示。根據結果，所提算法在輕度、中度以及重度跑偏故障檢測中的準確率均大于90%，驗證了所提算法對于分級故障檢測的可行性。

表1 皮帶分級故障檢測準確率

3.2.2 與傳統托輥檢測方案比較

在上述測試集中將所提方法與傳統托輥檢測方案進行對比，驗證本方法對于識別皮帶故障的準確性，結果如表2 所示。可見，所提方法在11 個樣本中都表現出與傳統托輥檢測算法相等甚至更優的精確率，而在9 個樣本中也表現出相對更高的召回率。同時，在表現略差的情況下，本方法與托輥檢測方案的誤差也始終控制在0.08以內，驗證了本方法對于檢測皮帶跑偏故障的準確性。

3.2.3 項目現場應用結果評價

通過在項目現場實際應用部署，驗證所提方法在現實應用場景中的有效性。使用本文所設計方法得到的皮帶正常工作時及皮帶跑偏故障時檢測結果如圖4 所示。從實際現場部署及報警結果來看，本方法能有效識別皮帶邊緣線，在皮帶發生跑偏故障時準確且及時地判斷故障等級并發出報警信號，該結果也與3.2.1 及3.2.2 節中的測試結果高度吻合?？梢?，所提方法在項目實施現場能夠滿足實時的皮帶跑偏故障檢測需求，有效實現跑偏故障分級報警。

圖4 所提方法項目現場實際應用部署情況

4 結語

本文提出一種基于圖像分割的皮帶跑偏故障分級報警方法，該方法運用Mask R-CNN 模型進行實例分割來定位皮帶位置，并基于霍夫直線檢測方法定位皮帶邊緣，最終通過判斷該檢測邊緣與預設報警線間的位置關系實現故障分級報警。本文創新性地提出了一系列優化方案，包括篩取皮帶邊緣點以及過濾多余的邊緣直線來減少計算量，大大提升了算法效率。通過在真實的數據集以及實際現場部署來驗證算法可行性及準確性，結果顯示，本方法能夠實現皮帶分級報警，且相比傳統皮帶托輥檢測方法，其在多數情況下表現出更高的準確性，避免了傳統托輥檢測因單側遮擋造成的誤報、漏報事故，有效減少了井下安全事故發生的可能，提高了生產安全。