通風機械儀表盤在復雜背景環境中視覺故障檢測與定位研究

周晟剛

(安徽省煤炭科學研究院，合肥 230001)

0 引言

通風機械儀表盤作為重要的測量和監控工具，在通風系統中起著至關重要的作用。它可以準確顯示和記錄通風機械的各項參數，幫助維持通風系統的運行效率和安全性。隨著科技進步和工業化進程的推動，通風機械的種類和規模不斷增加，對儀表盤的標準和技術要求也在不斷提高。從傳統的機簡單指示器到現代智能儀表盤，通風機械的監測和調節變得更加智能化和精準化。這使得通風系統能夠提供更高效、安全、舒適的通風環境[1]。然而，長期運行或維護不當可能導致通風機械故障，進而影響通風系統的正常運行和安全保障。因此，準確并及時地定位故障的位置非常重要，這直接影響到維修行動的迅速性。同時，故障定位的準確性也對生產效率、成本和安全產生著重大影響。為了提高通風機械故障的檢測精度和減少故障定位時間，可以采用高精度視覺檢測和定位方法，并結合圖像處理和機器學習技術。通過對儀表盤上的圖像進行分析和識別，有效避免無計劃停機和減少維修成本[2]。因此，開展儀表區域高精度視覺識別的研究具有重要的背景和意義。

國內相關故障檢測與定位研究研究有：文獻[3]中提出一種基于PLC用于電氣自動化儀表的故障檢測系統。該系統的硬件模塊包括以下組成部分：數據采集模塊、PLC芯片選配與通信模塊、上位機程序模塊、數據集成模塊和儀表故障檢測模塊。這些模塊的協同工作保證了整個系統的穩定運行和高效性能。文獻[4]中提出了一種石油化工自動化儀表故障診斷方法。該方法首先將信號分解為多個模態，并通過對每個模態的處理獲得準確的頻率信息。通過使用合適的懲罰因子，可以減少在信號中存在的噪聲。然后，根據每個分解模態的基帶范圍計算關鍵參數，這些參數對故障檢測和診斷非常重要。最后，將故障信號與儀表故障特征參數進行比較，以確定所觀察到的故障類型。

國外相關故障檢測與定位研究研究有：文獻[5]中提出了一種基于知識圖的故障診斷系統。研究RBT3-TextCNN模型和Jieba工具的預訓練方法。這種方法使用文本卷積神經網絡(TextCNN)和三層魯棒優化變壓器雙向編碼器表示(RBT3)，可以同時提取實體和識別故障查詢意圖。此外，還開發了一個基于WebSocket協議的故障報警監控模塊，可以自動將出現的故障詳細信息發送給操作人員。文獻[6]中提出一種基于分布式滑模觀測器的MAS故障診斷方法，提出基于滑模的分布式未知輸入觀測器來估計擴展狀態，并引入自適應律來調整觀測器參數。最后，通過數值仿真驗證了該方法的有效性。

然而，上述方法應用于通風機械儀表故障區域定位工作中后，發現其故障區域定位結果與實際結果相差較大。對此，本文通過機器學習優化的方式，設計了一種新的通風機械儀表故障區域高精度視覺定位方法。在使用Kinect相機提取到通風機械儀表圖像后，通過改進直方圖均衡化的方式調節圖像的亮度與色調，并在此基礎上，引入局部圖像處理環節對圖像實施分塊式對比度增強處理，依次調節圖像的亮度與色調，從而增強通風機械儀表圖像的局部對比度。對增強處理后的圖像進行基于像素相關性的儀表故障區域分割提取，在劃分出通風機械儀表故障區域后，利用深度卷積網絡檢測其中的目標信息。最后，計算定位目標的質心坐標，將質心位置設成通風機械儀表故障位置，通過實時投影完成高精度定位。

1 通風機械故障儀表圖像采集與預處理

1.1 通風機械儀表圖像的提取

Kinect相機是機器視覺領域常用的相機之一，Kinect相機具備追焦能力[7-8]。本研究中，使用Kinect相機提取通風機械儀表所處環境圖像。圖1為Kinect相機成像示意圖。

圖1 Kinect相機成像原理圖

Kinect相機的成像如下。

1)連接Kinect相機：將Kinect相機通過USB接口與計算機連接。確保連接穩定并符合硬件要求。

2)安裝驅動程序：根據Kinect相機型號和計算機操作系統，安裝相應的驅動程序[9-10]。

3)啟動相機：打開使用Kinect相機的圖像采集軟件或開發環境，調用相應的API函數啟動相機。

4)獲取彩色圖像：通過API函數，調用相機的彩色傳感器來獲取實時的彩色圖像。此時，相機會捕捉到前方環境的彩色圖像信息。

5)獲取深度圖像：通過API函數，調用相機的深度傳感器來獲取實時的深度圖像。深度圖像顯示場景中各個點距離相機的遠近[11]。

1.2 通風機械儀表圖像局部對比度增強處理

在得到通風機械儀表圖像后，通過改進直方圖均衡化的方式調節圖像的亮度與色調，把圖像中不同區域內的亮度差異擴大。通過對比度的增強，故障區域的邊緣和細節能夠更突出地顯示出來，有助于更準確地分割故障輪廓[12]。

在全局直方圖均衡算法的基礎上，引入局部圖像處理環節對圖像實施分塊式對比度增強處理，依次調節圖像的亮度與色調，從而增強通風機械儀表圖像的局部對比度。

在增強處理的過程，為了防止出現馬賽克問題，設置閾值約束各個像素塊的裁剪工作，把大于閾值的區域劃分至其他區域重新裁剪。閾值的變化對通風機械儀表圖像增強作用也存在差異，閾值較大時，會導致圖像曝光率超標，而閾值較小時，會導致圖像增強效果較差[13-14]。因此，合理的閾值是保證通風機械儀表圖像增強效果的前提。為此，本文將自適應閾值調整技術引入直方圖均衡化方法中，可以結合圖像的亮度信息自主設置合理的閾值，此時圖像暗部細節的增強效果便得到優化，具體步驟如下：

1)對2.1小節采集到的通風機械儀表圖像執行分塊操作，保證各個像素塊大小一致，不存在重疊性[15]；

2)變換圖像色域，自RGB空間變成YUV空間；

3)分塊運算頻率分布直方圖，提取其均值；

4)運算動態閾值，將像素塊的亮度均值設成邊界條件，運算超過均值的直方圖面積。直方圖面積可體現直方圖的突兀水平，結合一個或多個直方圖的突兀水平，動態設置差異的閾值，閾值將根據圖像灰度值的分布狀態實現自動調節[16]；

5)根據閾值裁剪焊點區域圖像直方圖，大于閾值的區域實施求和處理，均分至各個像素點的坐標，并將大于閾值的像素量均分至每個灰度范圍中；

6)運算像素累積分布函數Rh：

(1)

其中：m表示通風機械儀表圖像的像素數量，mh表示第h個像素，且j∈m；

7)使用一維低通濾波率，優化像素平滑水平，過程如下：

(2)

其中：X(h)表示濾波后通風機械儀表圖像的像素值；

8)為防止出現塊效應，通過插值運算方法計算塊和塊之間像素值。插值運算方法如圖2所示[17]。

圖2 插值運算方法

圖2中的黑色正方形區域代表通風機械儀表運行環境深度圖像的邊角區域像素，用于直接運算映射函數，白色正方形區域是邊緣區域。通過線性插值方法運算像素[18]，運算方法如下：

(3)

其中：g(x，y)表示圖像素點數值；(x1，y1)、(x2，y2)依次表示近鄰像素塊中心坐標，g1、g2表示子塊映射值[19]。

圖2中的白色圓形區域代表通風機械儀表深度圖像的中間區域像素塊，以雙線性插值方法運算獲取像素值，運算方法過程如下：

(4)

9)融合原圖與增強后通風機械儀表圖像：

g(x，y)=?×o″+(1-?)o

(5)

其中：?表示融合所用權值；o″、o依次表示增強前后的圖像。

2 通風機械儀表圖像故障區域的分割和檢測方法

2.1 基于像素相關性的儀表故障區域分割提取

假設2.2小節增強處理后的通風機械儀表圖像g(x，y)的像素集合為G={gi|i=1，2，...，m}，將集合G中像素設成中心像素點，然后設計檢索窗口，窗口中的像素集合為F={fj|j=1，2，...，m}。圖像的分割步驟如下。

輸入：增強后的圖像g(x，y)、局部窗口尺寸Mj。

輸出：g(x，y)的像素相關性關系R。

1)運算檢索窗口中像素的中位數：

Nj=median(fj)

(6)

其中：median()表示MEDIAN函數。

2)假設Bj表示檢索窗口中像素的浮動值，則存在：

Bj=abs(fj-Nj)

(7)

其中：abs()表示絕對值函數。

3)運算像素中位絕對偏差是：

NAj=median(Bj)

(8)

4)分析檢索窗口中像素是否屬于噪聲像素，則存在：

(9)

其中：β表示閾值，Qjr表示像素決策概率值。當Qjr的數值等于0時，代表檢索窗口中像素非噪聲；當Qjr的數值等于1時，代表檢索窗口中像素是噪聲像素。

5)把集合F里噪聲像素點去除，獲取正常像素集合F′。然后根據檢索窗口中正常像素點之間灰度值的相似度D運算像素間相關性關系，過程如下：

R=exp(mean(D)-D×Qjr)

(10)

基于像素之間的相關性，給出儀表圖像故障區域分割的步驟如下：

輸入：迭代最大值γ、模糊因子n、像素聚類數目A、像素聚類的局部窗口尺寸Mj。

輸出：通風機械儀表圖像中的故障特征分割結果θ。

1)分析g(x，y)的像素中心，設計合理的像素檢索窗口，運算窗口內像素和中心像素的相關性。

2)在初始化模糊隸屬函數的前提下，計算像素聚類中心：

(11)

3)若迭代次數為最大值，便進入4)，反之回到2)。

4)執行去模糊處理，則圖像g(x，y)分割結果為：

θ=argmax{uj}

(12)

上述過程，通過利用改進像素相關性分割算法對圖像進行分割，將通風機械儀表區域從背景中提取出來。這一步可以通過結合像素之間的相關性來判斷是否屬于通風機械儀表的區域。

2.2 基于深度卷積網絡對分割圖像的故障判斷

利用深度卷積網絡(DCNN)對分割后的圖像進行故障輪廓檢測。DCNN是一種強大的圖像分類和目標檢測算法，在訓練階段需要準備故障樣本來進行模型訓練，以便能夠準確地檢測和識別通風機械儀表的故障情況。深度卷積網絡結構圖如圖3所示。

圖3 深度卷積網絡結構圖

從圖3看出，深度卷積網絡是一種具有深度結構的前饋神經網絡，其中包括輸入層、轉換層、用于特征提取的卷積層和池化層、用于故障檢測的全連接層、輸出層[20]。

利用深度卷積網絡檢測通風機械儀表圖像中故障輪廓的過程如下。

1)切割處理：根據上述經過分割得到的通風機械儀表區域圖像數據θ結果，進行切割處理。該處理過程可以通過裁剪出分割區域的圖像塊或裁剪成更小的圖像片段，作為深度卷積網絡的輸入向量。這樣可以提取出每個故障區域的局部特征，更有利于深度學習網絡的訓練。處理參數為：

(13)

其中：h×z表示圖像分割區域的空間壓縮維度，這里的h代表影像增強參數，z代表訓練次數。

2)深度學習網絡的訓練：使用上述經過切割處理后的數據樣本作為輸入向量，對深度卷積網絡進行訓練。訓練目標是使網絡能夠學習到故障樣本的特征，并能夠準確地判斷通風機械儀表圖像中的故障。

卷積層使用卷積驗證從輸入訓練數據中提取特征。DCNN通常具有多個卷積核，每個卷積核都可以提取不同的數據特征。將輸入的一維數據設為x，則經卷積特征映射可表示為：

(14)

池化層對信號進行降采樣，從而達到減少模型參數的數量的目的，在通道數量不增加的情況下對特征進行選擇。一維卷積層的輸出一般為大小W×D的特征(W表示特征的長度、D表示通道數。平均池化和最大池化為常用的池化操作，采用平均池化操作，則經池化操作后輸出變為：

(15)

式中，yk+1表示池化后第k+1層輸出。

全連接層將前一層網絡的每一個節點連接到當前層的所有網絡節點。在使用過程中，全連接層可由卷積運算實現；卷積核為1×1的全連接層可轉換為卷積，而卷積核大小為W的全連接層層可轉換為全局卷積。

3)在完成對深度卷積網絡的訓練后，輸入圖像分割結果，過程如下：

(16)

其中：(I，J)表示引用分割框的坐標，p表示參照系目標的概率，b表示回歸損失，s表示平衡參數。

在篩選深度卷積網絡輸出故障輪廓候選框的火車上，可以確定候選框的所述類別。將候選框與類別標簽作為網絡訓練數據，可以得到故障輪廓的候選框和實際候選框。

4)將故障輪廓區域的數據集作為正類樣本，將非故障區域的數據集作為負類樣本，通過迭代訓練形成完整的深卷積網絡訓練學習過程。

5)故障檢測層包括需要故障檢測回歸的N個任務。對于第個任務，使用兩個完全連接的層輸出。第一個調諧共享的卷積提取特征，第二個連接故障結果。全連接運算定義表示為：

(17)

通風機械儀表盤故障類型共分為5種，包括儀表讀數偏差、儀表指針脫落、儀表表面污染、儀表內部出現故障、儀表盤安裝不當。使用權重系數和故障類型的權重向量來計算故障類型的概率或分類得分。以下是判斷通風機械儀表盤故障類型的表達式：

S(F)=∑(Wi*Pi)

(18)

式中，S(F)表示通風機械儀表盤故障類型，W表示第i個任務對應的權重系數，P表示故障類型F的權重向量的第i個元素。通過將式(18)應用于式(17)中的全連接運算，可以確定最終的故障類型。

3 基于目標質心計算完成儀表故障區域定位

在分割通風機械儀表圖像并提取其中的故障輪廓后，計算故障區域的輪廓質心橫、縱坐標，過程如下：

(19)

其中：(xj，yj)表示第j個像素坐標，T(xj，yj)表示第j個像素的灰度值。

圖4 投影成像空間坐標示意圖

由于焊點目標的質心點具有固定性。因此，為準確定位通風機械儀表故障輪廓位置，通過將目標點坐標映射到投影成像空間坐標系中，可以得到在實際空間中的位置，實現通風機械儀表的故障區域定位。

(20)

其中：ρ、η表示目標點坐標在投影成像空間坐標系中二維坐標值，(x，y，z)表示目標點在投影成像空間坐標系中位置，(x0，y0，z0)表示相機坐標原點在投影成像空間坐標系中位置，x0、Δy表示用于在相機的水平和垂直方向上對每個像素進行采樣的量化因子，ρ0、η0分別為在水平和垂直方向上采樣期間相機成像中心的位置偏移。通過上述過程即可獲取目標點坐標的二維坐標值、基坐標系位置，從而實現通風機械儀表故障區域的精準定位。

4 實驗與分析

4.1 實驗環境

為驗證性能上述設計的基于機器學習優化的通風機械儀表故障區域高精度視覺定位方法，進行實驗測試。為測試所設計系統的功能實現效果，本章節進行系統實現與測試。為了驗證本文方法的數據安全性能與共享時間效率，整個實驗都需要在性能強大的服務器上完成，服務器為：5 TG的內存、NVIDIA RTX 2080Ti 12G的顯卡，服務器的軟件環境為：Python 4.8的代碼編寫軟件平臺、Windows10操作系統的硬件環境。

4.2 圖像增強與目標分割結果

對基于Kinect相機采集到的通風機械儀表圖像進行增強處理后，圖像信息熵變化如圖5所示。信息熵可體現圖像細節特征完備性，數值越接近于1，表示圖像細節特征越完備。

圖5 圖像增強前后信息熵變化

觀察圖5可知，本文方法對通風機械儀表圖像增強后，圖像細節特征完備，信息熵超過0.9，說明本文方法對通風機械儀表進行圖像增強處理后，圖像細節特征的保存效果較好。

利用本文方法將圖像實施分割處理，有效分離圖像中的有效目標和背景，分割效果如圖6所示。

圖6 通風機械儀表目標分割結果

4.3 通風機械儀表故障檢測結果

基于上述通風機械儀表目標分割結果，對通風機械儀表故障進行檢測。實驗中，將文獻[3]、文獻[4]方法作為對比方法，得到通風機械儀表故障檢測對比結果如圖7所示。

圖7 通風機械儀表故障檢測結果

觀察圖7可以發現，本文方法的通風機械儀表故障檢測精度均高于90%，最高檢測精度為98%；文獻[3]方法的通風機械儀表故障檢測精度低于本文方法，最高檢測精度僅為87%；文獻[4]方法的通風機械儀表故障檢測精度低于文獻[3]方法，最高檢測精度僅為82%；由此可見，本文方法對通風機械儀表故障檢查精度較高，具有有效性。

4.4 通風機械儀表故障區域定位結果

基于上述是通風機械儀表故障檢測結果，對通風機械儀表故障區域進行定位。得到通風機械儀表故障區域定位的對比結果如圖8所示。

圖8 通風機械儀表實際故障區域定位結果

觀察圖8可以發現，兩種文獻方法的定位坐標點與通風機械儀表實際故障區域具有一定的偏差，而應用本文方法后，故障定位坐標點與實際故障坐標點吻合度較高，但定位誤差極小。由此可以表明，本文方法對通風機械儀表的故障區域定位問題具有可用價值。

4.5 通風機械儀表故障區域定位時間結果

為進一步驗證本文方法的故障區域定位效率，以區域定位時間為測試指標，將這3種方法進行比較和測試，測試結果如表1。

表1 3種方法故障區域定位時間對比表

觀察表1可以發現，本文方法的通風機械儀表故障區域定位時間均低于10 s，最低定位時間僅為5 s；文獻[3]方法的通風機械儀表故障區域定位時間高于本文方法，最低定位時間達到30 s；文獻[4]方法的通風機械儀表故障區域定位時間高于文獻[3]方法，最低定位時間達到36 s；由此可見，本文方法對通風機械儀表的故障區域定位效率較高，具有實用性。

5 結束語

智能機械是目前工業制造領域所應用的重點智能化技術之一，焊接機器人和其他焊接機械的應用使焊接工作成為可能，智能化的發展不僅降低了體力勞動的投入成本，而且具有很高的工作安全性。

為有效實現焊接機械對通風機械儀表的定位精度，本文設計了基于機器學習優化的焊接機械通風機械儀表高精度視覺定位技術，對通風機械儀表圖像實施采集、增強、分割處理，然后利用深度卷積網絡檢測其中的目標信息，再通過計算焊點質心坐標實現高精度視覺定位。從實驗結果能夠看出：本文方法不僅可以增強通風機械儀表圖像的細節特征，還能夠有效提取圖像中通風機械儀表目標信息，準確定位焊點所在位置。