面向電力設備紅外圖像的溫度值識別算法

王凱旋，任福繼，倪紅軍，呂帥帥，汪興興

（1.南通大學 機械工程學院，江蘇 南通 226019;2.德島大學 智能信息工學部，日本 德島 7 708501）

電力設備是電能輸送的重要組成部分，電力設備的安全運行關系到電力系統的穩定性[1-2]。由于變電設備長期暴露于自然界中，容易產生發熱現象從而引起變電設備的故障[3]。紅外診斷技術是判斷變電設備是否存在故障的重要方法之一，利用紅外測溫設備獲得變電設備的紅外圖像，并根據紅外輻射信息判斷設備表面的溫度分布情況，根據變電設備運行溫度標準進行故障判斷[4-5]。目前，為了提高運維人員的檢測的效率，常見的紅外測溫設備均會在紅外檢測圖像右側生成測溫圖譜、標記溫度最大值和最小值，方便進行溫度匹配、統計和記錄[6-7]。傳統人工方式的故障診斷方法浪費大量人力、物力，效率低下，并且出錯率高[8-9]，因此，利用機器學習技術進行變電設備紅外圖像溫度值的自動化識別、判斷故障、統計記錄具有重要意義。

紅外圖像中溫度值識別問題實際上是字符識別問題，目前越來越多的研究學者對字符識別展開了研究。曹長玉等[10]提出了一種多模板匹配符號定位方法，通過光學字符識別(optical character recognition,OCR)定位各種符號位置，利用模板圖像與測試圖像進行相似度匹配，從而進行符號精確識別，準確率達到94%。劉靖鈺等[11]基于HSV 模型采用對比度受限的自適應直方圖均衡化方法定位車牌，該方法識別無遮擋車牌時精度維持在90%。Naiemi 等[12]等提出了一種采用SVM 進行分類的增強HOG 特征提取方法，能抵抗縮放和平移的字符變化，節省計算成本；Kaur等[13]提出了一種基于線性支持向量機分類器的Brahmi 字符識別系統，提取了字符圖像像素點的梯度信息，并將梯度直方圖存儲為每個字符圖像的特征向量，識別率達91.6%。但目前缺乏針對紅外圖像中數字識別的研究。

近年來，機器學習等方法廣泛地應用在圖像處理、缺陷檢測、表情認知等領域[14-16]。任福繼等[17]提出了一種基于ResNet 的害蟲識別方法，將輸入信號與殘差特征相結合，在害蟲檢測和分類方面取得了顯著效果。Lin[18]等采用PCANet 深度學習網絡，通過對數字圖像的識別重構溫度矩陣，組合出溫度的變化范圍，雖然訓練的準確率達到了99.7%，但在測試中準確率只有92.61%。此外，卷積神經網絡(convolutional neural network,CNN)作為一種傳統的機器學習方法，受到了研究學者的廣泛關注。Biniz 等[19]通過優化CNN 網絡結構，在手寫可見光圖像中實現了Amazigh 語言中Tifinagh 字符的識別。Torres 等[20]通過結合CNN和ResNet-101 模型對乳腺紅外熱像圖進行乳腺癌識別研究，實現了異常熱像圖識別。但是，與可見光圖像不同，變電設備的紅外圖像存在很多無關背景因素，會直接影響識別準確率。因此，預處理和識別區域的精確分割對提高紅外圖像的識別準確率至關重要。

本文針對電力設備紅外圖像背景復雜、分割效果差、識別準確率低等問題，提出了面向電力設備紅外圖像的溫度值識別算法。根據紅外圖像特點，提出了改進的自適應閾值的紅外圖像預處理方法，有效去除復雜背景。在此基礎上對溫度圖譜和溫度值區域準確定位和分割，并采用CNN網絡進行訓練，實現了紅外圖像溫度的識別，篩選出溫度異常的紅外圖像，對電力系統的安全穩定運行具有十分重要的意義。此外，使用MATLAB中的App Designer 模塊將識別結果直接呈現給用戶，有利于實現機器學習缺陷檢測技術的可視化，提高巡檢效率和準確率[21-22]。

1 算法設計

面向電力設備紅外圖像的溫度值識別算法流程如圖1 所示。本文提出的算法主要包括3 個階段：1）基于改進自適應閾值的紅外圖像預處理；2）基于輪廓信息的溫度值分割；3）基于CNN 的溫度值識別。具體算法過程如算法1 所示。

圖1 溫度值識別算法流程Fig.1 Temperature value recognition algorithm framework

1.1 基于改進自適應閾值的紅外圖像預處理

電力設備紅外圖像通常包含樹木、建筑物等復雜背景，并且由于采集設備的不同，通常會包含時間、設備型號水印和邊框[23]，直接對紅外圖像進行識別會影響準確率，因此需要進行圖像預處理。紅外圖像預處理流程如圖2 所示。

圖2 紅外圖像預處理流程Fig.2 Infrared image preprocessing framework

采用加權法進行灰度變換，在此基礎上，為了增強細節信息，提高對比度，采用Gamma 校正方法對灰度圖像進行歸一化處理，Gamma 校正如式(1)，結果如圖3 所示。根據紅外圖像的特點，經過測試校正參數γ取0.45，常數C取0.85。

圖3 Gamma 校正后圖像對比Fig.3 Image comparison after gamma correction

式中：L(x,y)為原圖像；LG(x,y)是校正后的圖像；γ為校正參數；C為常數。

目前，常見的二值化方法包括最大類間方差法(Otsu)和最大熵閾值法，考慮到紅外圖像和可見光圖像在圖像色彩組成上存在差異[24-25]，隨機選取100 張紅外圖像與可見光圖像進行對比分析，其直方圖統計結果如圖4(a)和圖4(b)所示。從圖中可以看出，可見光圖像的像素分布均勻，峰值出現在像素較低處，波谷不明顯，表明圖像整體較亮。紅外圖像直方圖存在雙峰，并且波谷明顯。其中T1和T2的閾值分別對應波谷的兩端，選擇合適閾值能夠很好地分離目標與背景。因此，提出了基于紅外圖像直方圖驅動的自適應閾值的二值化方法。

圖4 直方圖統計與二值化結果Fig.4 Histogram statistics and binarization results

圖4 所示為采用改進的二值化方法預處理后的紅外圖像，并與傳統二值化方法進行對比。從圖中可以看出最大類間方差法與最大熵閾值法在溫度值部分都存在椒鹽噪聲點，且受背景的影響溫度值不能很好地分離出來，二值化效果不好。本文提出的改進自適應閾值的二值化方法能夠完整地保存溫度值，最大值和最小值區域沒有椒鹽噪聲點，滿足二值化處理要求，可以根據不同的對象分別確定不同的閾值，得到理想的預處理結果。

1.2 基于輪廓信息的溫度值分割

電力設備紅外圖像預處理以后，能夠有效去除背景信息，突出溫度值區域。下一步對溫度值進行分割，包括溫度值區域定位與溫度值字符分割兩部分。其中，溫度值區域定位流程如圖5 所示。

圖5 溫度值定位流程Fig.5 Temperature value location framework

首先基于輪廓信息對溫度值區域進行定位。由于二值化后的紅外圖像測溫圖譜矩形框保留完整，采用像素累加法定位矩形框，以矩形框的長邊為方向，對整體圖像按列累加連續的像素，篩選出連續像素等于矩形框長度的列，同時以矩形框短邊為參考，定位出矩形框四角的像素坐標，進而根據矩形框與溫度值的相對位置關系定位ROI的位置并分割，結果如圖6(a)和圖6(b)所示。

圖6 溫度值定位與分割Fig.6 Location and segmentation of the temperature value

采用垂直積分投影法對溫度值進行字符分割，如式(2)所示：

式中：Vx為圖像x列的垂直投影積分結果；f(x,y)為像素點(x,y)處的灰度值；N為ROI 區域的高度;h為ROI 區域的長度。

垂直投影結果如圖6(c)所示。從圖6 中可以看出。像素累積值在連接處有突變，表明該區域共有兩個字符，進而根據此特點確定字符的個數和位置，實現溫度值的分割，結果如圖6(d)所示。

1.3 基于CNN 的溫度值識別

采用基于CNN 的溫度值識別方法，具體的網絡結構如圖7 所示。其中，C1和C2為卷積層，P1和P2為池化層，FC 為全連接層。

圖7 CNN 結構圖Fig.7 Structure of convolutional neural network

CNN 結構參數如表1 所示。首先輸入像素大小為16×16 的溫度值圖片。兩個卷積層卷積核大小為5×5，步長為1，池化層P1采用最大池化操作，池化核大小為1×1，步長為1。在池化層P2采用2×2 的卷積核進一步提取圖像特征，步長為2，得到特征圖大小為4×4×12，最后輸入全連接層，dropout 值0.5，采用Softmax 分類器對結果進行預測，分為11 個類別，包括符號“?”和數字“0～9”。

表1 CNN 結構參數Table 1 CNN structure parameters

CNN 的損失函數用預測值與真實值的偏差表示，如式(3)所示，并采用梯度下降法進行更新。

2 系統設計

采用MATLAB 的App Designer 模塊設計電力設備紅外圖像溫度值識別與記錄系統，包括3 個模塊：圖像載入模塊、圖像識別模塊和異常檢測模塊。系統界面如圖8 所示。

圖8 系統界面Fig.8 System interface

圖像載入模塊可以通過添加文件夾的形式批量加載所有電力設備紅外圖像，點擊識別記錄按鈕可以實現對電力設備紅外圖像中溫度值識別，并將溫度值定位結果與溫度值識別結果顯示在界面上，進而通過異常檢測模塊根據溫度信息和電力設備運行準則判斷出設備狀態。設計的系統可以輸出圖像信息，包括設備紅外圖像中溫度的最大值與最小值、圖像名稱以及設備狀態。

3 實驗結果與分析

電力設備紅外圖像采用FLIR 紅外成像儀拍攝，像素為320×240。硬件配置為Intel（R）Core（TM）i5-10400F@2.90 GHz，16.0 GB RAM，NVIDIA GTX 2 060，軟件為MATLAB2019b。

3.1 紅外圖像溫度值數據集建立

由于缺少紅外圖像溫度值數據集，隨機選取1 000 張紅外圖像，分別提取“0～9”和“?”共11 個標簽的溫度值圖像。根據上述溫度值的定位和分割獲取溫度值樣本，為保證后續識別的統一性，將所有溫度值圖像像素大小調整為16×16。通過分析可知，紅外圖像的溫度值一般分布在?20～110℃，并且各標簽樣本出現的頻率不同，“3”和“5”最多、“?”最少，為保證各標簽樣本數量一致，經過篩選和處理后每個標簽樣本保留200 張，最終共建立了11×200 張圖像的電力設備溫度值數據集。

3.2 實驗結果

將電力設備溫度值數據集按照8:2 的比例分為訓練集與測試集。CNN 的具體參數設置為：學習率為0.5，衰減率為0.99，損失函數系數為0.01，批量大小為11，迭代2 400 次。將測試集輸入到CNN 中得到識別結果，以標簽“0”為例，卷積層和池化層的可視化結果如圖9 所示。

圖9 標簽“0”的特征圖Fig.9 Feature maps of label“0”

CNN 損失和準確率曲線如圖10 所示。從圖10中可以看出，模型在前200 次迭代迅速下降，之后出現了一段過渡期，在800 次迭代后開始繼續下降，并在1 700 次時損失開始趨于0，并逐漸收斂。識別的準確率在500 次迭代后大幅提高，在800 次迭代后準確率超過95%，在1 500 次迭代后準確率達到了最大值98.6%。

圖10 訓練誤差和測試準確率曲線Fig.10 Training error and test accuracy curves

3.3 分析與討論

選取準確率、召回率和F1值作為評價指標，并采用十倍交叉檢驗法進行驗證，結果如表2 所示?？梢钥闯觯瑯撕灐?”、“0”、“2”、“4”、“7”和“8”的識別正確率達到100%，而“5”識別正確率最低僅為88.89%。十倍交叉檢驗結果表明字符的整體識別性較好，整體準確率達到99.04%。在此基礎上選取500 張電力設備紅外圖像采用上述系統進行分析和測試，其中493 張識別正確，識別的準確率為98.6%，滿足了使用要求。

表2 溫度值識別結果Table 2 Temperature value recognition results

為更好地分析測試集中各溫度數值的識別匹配度，對混淆矩陣進行分析，并提取識別錯誤標簽的匹配度，結果如圖11 和表3 所示。

圖11 混淆矩陣圖Fig.11 Confusion matrix

表3 錯誤標簽匹配率Table 3 Matching rate of error labels

可以發現，“3”、“6”和“9”標簽錯誤識別為“5”，這直接影響了“5”的識別準確率，而錯誤標簽的匹配率在50%左右，表明CNN 在錯誤標簽識別時的確定性也不高，主要原因在于圖片的相似性和噪聲的干擾，最終導致錯誤識別。

取500 張電力設備紅外圖像測試不同方法的溫度識別準確率，結果如表4 所示?？梢园l現，HOG+SVM 和PCANet 方法雖然在訓練的過程中準確率較高，但受電力設備紅外圖像復雜背景的影響，其泛化和遷移能力不足，在測試時準確率僅為92%和92.61%。采用Otsu+CNN 方法識別時由于二值化處理效果不好，識別的準確率僅為96.8%。VGG16 方法采用預訓練和微調的方式進行識別，測試準確率在98%左右。本文采用改進的自適應閾值二值化處理后訓練準確率超過99%，且識別準確率達到了98.6%，高于其他方法。此外，HOG+SVM 方法采用HOG 進行特征的抽取，耗時26.34 s。其余方法使用神經網絡進行特征提取，所用時間均在16.5 s 左右。這表明，本文算法能夠快速識別變電設備紅外圖像上的溫度，滿足實際的使用要求。因此，本文提出的算法識別準確率高、耗時短，能夠有效地識別溫度值，充分驗證了本文算法在電力設備紅外圖像中的適用性和可靠性。

表4 不同方法溫度識別結果Table 4 Temperature recognition results for different methods

4 結束語

本文根據電力設備紅外圖像特點，提出了面向電力設備紅外圖像的溫度值識別算法。首先，使用改進自適應閾值的紅外圖像預處理算法，通過對紅外圖像進行直方圖統計，自適應確定合適的閾值進行預處理，凸顯了溫度值區域并有效地去除了背景信息。接著，采用基于輪廓信息的溫度值分割算法，根據輪廓與相對位置信息對溫度值區域進行定位，采用垂直投影法進行字符分割。再結合CNN 進行訓練與識別，建立了包含“0～9”和“-”11 個標簽2 200 張圖像的溫度值數據集，結合十倍交叉檢驗法進行測試，并選取準確率、召回率、F1值評價其性能。最后，基于MATLAB 中App Designer 模塊設計電力設備紅外圖像溫度值識別與記錄系統。結果表明，本文提出的算法的溫度值識別準確率達到98.6%，高于傳統的字符識別算法，設計的溫度值識別與記錄系統將電力設備紅外圖像與仿真程序整合在一起，操作簡單，圖形用戶界面友好，降低了電力檢修人員的勞動強度，能夠及時記錄電力設備狀態，提高了巡檢效率。