基于FAsT-Match算法的電力設備紅外圖像分割

鄒 輝，黃福珍

基于FAsT-Match算法的電力設備紅外圖像分割

鄒 輝，黃福珍

（上海電力學院自動化工程學院，上海 200090）

紅外技術能有效地檢測電力設備過熱缺陷，具有遠距離、不接觸、不取樣、準確、快速、直觀等特點。傳統的電力設備故障紅外人工診斷耗時、耗力，而針對人工診斷不足提出的智能診斷其難點之一在于能否較好的獲得感興趣區域（ROI，Region of interest）。紅外圖像具有強度集中、對比度低等性質，常用的分割算法用于電力設備紅外圖像ROI獲取，其結果往往是過分割。針對過分割難點，本文提出一種基于FAsT-Match算法的電力設備紅外圖像分割方法。首先，運用FAsT-Match算法在可見光圖像中近似模板匹配，然后在紅外與可見光圖像之間通過近似仿射變換找到目標在紅外圖像中的近似區域，最后用分割算法對近似區域分割。實驗結果表明，提出的方法能夠較好地解決電力設備紅外圖像過分割問題。

紅外圖像分割；模板匹配；仿射變換；電力設備；故障診斷

0 引言

電力設備正常運行對電網可靠供電具有重要影響，據統計電力系統事故中有90%是由電力設備故障引起，而出現故障的電力設備中有一半會在早期階段表現出不正常的發熱癥狀。因此，對電力設備運行狀態的監測、故障診斷和及時維修日益得到人們的重視[1]。紅外測溫的原理是探測器檢測物體表面發射的紅外輻射能量，并轉換成相應的電信號，再經過專門的電信號處理系統，獲得物體表面的溫度分布狀態。由于電力設備不同性質、不同部位和嚴重程度不同的故障，在設備表面不僅會表現出不同的溫度值，而且溫度分布形式也不一樣。分析電力設備表面的溫度信息，能夠對電力設備中潛伏的故障或事故隱患性、具體位置和嚴重程度做出定量的判定[2]。目前，紅外技術在電力系統中最主要的應用形式是技術人員手持熱像儀現場診斷或采集圖片以供后續PC機分析。一般來說，熱像儀會自帶圖像分析軟件，技術人員能夠很方便地使用軟件分析溫度信息。這種方法的缺點是采集圖片和分析圖片都需要人工來完成，對于含有眾多電力設備的變電站，人工診斷將變得異常復雜。近些年來，變電站巡檢機器人得到廣泛研究并得到實際應用，巡檢機器人攜帶紅外熱像儀、可見光CCD攝像機等有關的電站設備檢測裝置，在巡檢軌道上設置停靠檢測點，停車后控制云臺轉動拍攝可見光和紅外圖像[3-4]。巡檢機器人將所得的紅外圖像發回控制室再進行人工分析，這種方法減少了人工采集圖片的勞動量，但未能擺脫對人工診斷的依賴。

隨著圖像處理和人工智能的發展，有研究人員提出電力設備故障紅外智能診斷。智能診斷方法主要分為三步[5]（如圖1所示），首先從紅外圖像中找出感興趣的區域（ROI），然后從區域中提取相關的信息，最后對提取到的信息分類從而完成電力設備故障診斷。其中最關鍵的一步是感興趣區域的獲得，能否準確地得到ROI在一定的程度上決定了能否提取出能夠較好地代表電力設備狀態的信息。獲得感興趣區域方法主要分為兩類，一類是圖像的二值分割[6-8]，另一類是人工給定區域[9-12]。文獻[6]對電力設備紅外圖像采用簡單的閾值分割，文獻[7]采用閾值分割和數學形態學處理的方法獲得ROI，文獻[8]采用分水嶺算法對圖像分割。文獻[13]首先采用高帽、低帽變換結合的方法對電氣設備紅外圖像進行增強，對增強后的圖像采用元胞自動機（CA）法進行邊緣提取，并進行二值化處理，最后與經過OTSU算法分割后的紅外圖像進行融合。文獻[14]先用K-means算法對電力設備紅外圖像分割，然后用馬爾可夫隨機場（MRF）模型進一步優化分割。文獻[15]針對電路板紅外圖像芯片提取，提出一種基于兩方法博弈的馬爾可夫隨機場紅外圖像分割算法。電力設備紅外圖像是偽彩色圖像，反映了電力設備表面溫度分布狀態，具有強度集中和對比度低等特性，傳統的分割算法往往不能很好地將目標和背景區分出來。而人為給定感興趣區域，顯然大大降低了智能診斷系統的效率。

綜上所述，電力設備故障紅外人工診斷具有耗時耗力和診斷周期長等缺點，而針對人工診斷不足而提出的智能診斷存在感興趣區域（ROI）能否較好地獲得問題。電力設備所在的區域往往是感興趣的區域（ROI），圖像分割的目標是希望把電力設備從圖像中分割出來。針對電力設備紅外圖像過分割問題，本文受紅外和可見光圖像在一定程度上信息互補和FAsT-Match算法[16]的啟發，綜合利用紅外和可見光圖像，提出一種基于FAsT-Match算法的電力設備紅外圖像分割方法。首先，FAsT-Match算法用于電力設備可見光圖像目標定位，然后根據紅外與可見光圖像之間的仿射變換求出目標在紅外圖像中的區域，最后用分割算法對區域分割。本文方法與其他方法（通常是直接對原始紅外圖像分割）最大的不同之處在于通過目標定位去除部分干擾背景。

圖1 智能診斷系統的基本步驟

1 FAsT-Match算法

FAsT-Match算法[16]（Fast Affine Template Matching）由Simon Korman等人于2013年提出，是一種在二維仿射變換下減小SAD（Sum-of-Absolute- Differences）誤差以達到近似全局最優的快速仿射變換模板匹配算法。模板匹配通常需要考慮所有可能的變換，如旋轉、尺度變化或是二維仿射變換，這時會帶來計算量爆炸性的增長，使得模板匹配在很多場合下的運用受到了限制。FAsT-Match算法首先初始化仿射變換參數網絡，根據參數網絡可得到相對應的仿射變換矩陣，對每一個仿射變換矩陣，采用隨機算法（Random Algorithm）來估計SAD；對估計出的SAD設定閾值，保留在閾值范圍內的仿射變換參數網絡及對應的矩陣；最后用分支界定（branch-and-bound scheme）方法重新初始化仿射變換網絡和估計SAD，直到滿足一定的條件（通常是迭代次數或最小的SAD）。

給定灰度圖像模板1和目標圖像2，圖像的大小分別為1×1和2×2（FAsT-Match算法不只適合正方形圖像，只是為了方便陳述采用正方形這種情況），灰度值的大小在[0 1]之間。定義圖像總的變化為：

式中：()和()分別表示圖像在像素點和的像素值，()為像素點的8鄰域。

定義D(1,2)為圖像1中的像素點與經過仿射變換后在圖像2中的像素點兩者之間的歸一化SAD距離，數學表達式為：

式中：如果像素點經過仿射變換超出圖像2的范圍，則|1()－2(())|＝1。

FAsT-Match算法的基本思想是希望找到一種仿射變換使D(1,2)最小，定義模板圖像經過所有的仿射變換求得的D(1,2)中最小值定義為D(1,2)。定義￥為圖像1經過仿射變換和￠后像素之間最大的距離，數學表達式為：

式中：||×||2表示目標平面的歐幾里得距離（Euclidean distance）。值得注意￥值的大小與目標圖像無關，由變換、￠和模板圖像1的大小決定。

FAsT-Match算法原理之一就是當圖像是光滑連續的圖像，那么￥(,￠)的值可以界定D(1,2)和D￠(1,2)之間的不同和模板圖像1總的變化量，這樣就僅需要考慮很小一部分的仿射變換，而不是所有的仿射變換，因此可以合理地離散二維仿射變換參數網絡（由模板和目標圖像的大小及給定參數決定）。對每一個仿射變換，FAsT-Match算法采用隨機算法估計相似性度量函數SAD。所謂隨機算法就是在模板1中隨機取一些點（給定參數決定了隨機采樣點數），模板中的點通過仿射變換求出在圖像中的位置，把這些對應點的像素值差的和作為相似性度量函數SAD的估計。SAD越小，說明模板匹配效果越好，估計完SAD后用分支界定（branch-and-bound scheme）的方法來加速算法，最終求取近似全局最優的仿射變換。FAsT-Match算法的詳細介紹及理論證明請參考文獻[16]。

2 本文提出的方法

電力設備紅外圖像分割的目的是希望把電力設備從圖像中分割出來，也就是電力設備所在位置是感興趣區域，但由于紅外成像設備固有特性及成像環境的影響，紅外圖像具有強度集中、對比度低、信噪比低、視覺效果模糊等特點，使得用傳統的分割算法分割其結果往往是過分割。FAsT-Match算法對于光滑連續的圖像能夠取得很好的效果，但直接用于電力設備紅外圖像模板匹配，效果往往很差，其原因是紅外圖像是偽彩色圖具有稀疏性質不滿足連續光滑條件。圖2為變壓器油枕定位，其中平行四邊形為定位結果。受紅外和可見光圖像在一定程度上信息互補[17]和電力設備的紅外圖像和可見光圖像之間存在仿射變換啟發，本文首先運用FAsT-Match算法完成目標在可見光圖像中的定位，然后利用紅外圖像和可見光圖像之間的近似仿射變換求出目標在紅外圖像中的區域，最后采用分割算法對區域分割從而完成電力設備紅外圖像的分割。

圖2 變壓器油枕紅外圖像FAsT-Match算法定位

本文提出的方法分為如下3步：

1）利用FAsT-Match算法在可見光圖像中進行快速模板匹配，完成目標在可見光圖像中的近似定位。

假設模板和可見光圖像分別為1和2，如圖3(a)、(b)所示，在可見光圖像中運用FAsT-Match算法可求出目標所在區域，其目標定位結果如圖3(c)所示，其中紅色的平行四邊形為模板匹配結果。具體步驟如下：

Step1 根據1和2的大小、給定的和參數初始化仿射變換網絡和隨機算法采樣的估計點數，其中決定了網絡的密度、決定了采樣點數，本文、初始值分別為0.25和0.15；

Step2 對1中點的坐標進行仿射變換，去掉其結果超過目標圖像邊界的仿射變換；

Step3 對每一個仿射變換，采用隨機算法算法估計D(1,2)，返回的參數記為d；

Step4 對所求d設定閾值，保留在閾值范圍內的仿射變換參數矩陣及網絡參數，判斷是否滿足一定的條件（最小的d值的大小或迭代次數），滿足時則停止運行返回最優d及仿射變換矩陣，不滿足時則繼續運行Step5。

Step5 根據保存下來的仿射變換參數網絡，用分支界定的法更新和值，得到新的仿射變換參數網絡和采樣估計點數，跳到Step3，直到滿足一定的條件。

2）通過紅外圖像和可見光圖像之間的近似仿射變換找出目標在紅外圖像中的近似區域。

本文實驗圖片來源于便攜式紅外熱像儀在變電站采集的圖片，對絕大部分紅外熱像儀而言，上面的可見光照相機和紅外CCD固定在很近的位置，這也就是說紅外圖像和可見光圖像兩者之間存在近似仿射變換。雖然由于調焦、拍攝距離和角度不同等原因，對不同組的紅外圖像和可見光圖像之間的近似仿射變換矩陣參數不完全相同，但通過實驗證明這種差異對紅外圖像和可見光圖像之間的近似仿射變換不會造成太大的影響。隨機選取7組紅外圖像和可見光圖像，應用Matlab Image Processing Toolbox中的圖像配準工具，在可見光和紅外圖像中選取一些相對應的點（圖4(a)給出7組中的一組），求出這7組近似仿射變換矩陣。

FAsT-Match算法求出目標在可見光中的位置（如圖4(c)中平行四邊形）經過7種不同的仿射變換，可求出目標在紅外圖像（如圖4(b)）中的近似區域，如圖4(c)所示，圖中每一種顏色代表一組變換結果，可得出對同一臺紅外熱像儀仿射變換參數的不同不會太大影響目標在紅外圖像中的定位。在實驗中，為了提高可見光和紅外圖像之間仿射變換的通用性，采用7組仿射變換矩陣的平均值，然后上下左右移動5個像素。這樣處理后，對同一臺紅外熱像儀任意一組紅外和可見光圖像之間的仿射變換，只需要事先給定仿射變換矩陣參數。值得注意的是，對于巡檢機器人在停靠檢測點拍攝的紅外圖像和可見光圖像，它們之間近似仿射變換參數是可以事先求出并作為已知參數給定（因為停靠點是相對不變的，而給定的參數顯然比平均參數更準確）。

3）用最小的矩形框定目標在紅外圖像中的區域，用分割算法對這個區域分割，最后用數學形態學的方法去除噪聲點。

圖5(a)中的平行四邊形為圖4(c)中小平行四邊形經過仿射變換后上下左右移動5個像素的結果，大的矩形為小平行四邊形最小框定矩形。對框定的矩形區域（如圖5(b)）分別采用5種不同的算法進行分割，分別為大津法（OTSU）、迭代閾值分割算法、K-means算法、區域生長法（種子生長點為灰度值最大的點）和脈沖耦合神經網絡圖像分割算法[17]，并用數學形態學的方法去掉噪點，分割結果如圖6所示。

圖3 可見光圖像中的目標近似定位

圖4 紅外圖像和可見光圖像之間的近似仿射變換

圖5 紅外圖像中的近似目標區域結果

圖6 近似目標區域圖像分割結果，從左到右的分割方法依次為大津法、迭代閾值分割算法、K-means算法、區域生長法和脈沖耦合神經網絡圖像分割算法

3 實驗結果分析

為了驗證本文方法的有效性，作為對比實驗，分別用這5種算法對圖4(b)原始紅外圖像分割，實驗結果如圖7所示。圖8給出了部分原始紅外圖像和本文方法提取的目標區域分割的結果，受版面限制只給出了5種分割算法中的大津法。比較圖6或圖7中的分割結果可得出，不管是對原始紅外圖像還是目標的近似區域進行分割，對同一張圖片用5種分割算法得到的結果大致上是相同的，局部有所差別。原始紅外圖像分割和本文方法分割結果對比（圖6與圖7對比，或圖8中第4行和第五行對比），本文提出的方法去除了一部分與目標類似的背景，分割效果更好。從圖6、圖7和圖8中的分割結果還可以看出，對電力設備紅外圖像來說，像天空這種背景常用的分割算法都能夠很好的分割出來，這是因為天空與電力設備的對比度較大。然而，像與電力設備目標類似的背景（如電線、鐵和其它干擾設備等）則很難分割出來，這是因為在圖像中它們表現出來的性質往往相似。

圖7 原始紅外圖像分割結果，從左到右的分割方法依次為大津法、迭代閾值分割算法、K-means算法、區域生長法和脈沖耦合神經網絡圖像分割算法

表1為不同分割方法的程序運行平均時間，本文方法程序運行時間為FAsT-Match算法、紅外圖像與可見光之間的近似仿射變換和分割算法運行時間的總和，其中FAsT-Match算法通常運行的時間為幾秒鐘到幾十秒。對大津法、迭代法、K-means算法、區域生長法來說，提出的方法雖然比對原始紅外圖像分割的方法耗時更多，但分割的效果更好；對脈沖耦合神經網絡圖像分割算法而言，提出的方法不僅分割效果更好且運行時間也少。

4 總結

針對電力設備紅外人工診斷不足而提出的智能診斷，其重要環節之一是感興趣區域的獲得，用傳統圖像分割方法其分割結果往往是過分割，這是因為電力設備紅外圖像是一種偽彩色圖，具有如強度集中、對比度低、紋理信息不豐富等性質。紅外圖像是一種稀疏圖像，不滿足光滑連續的條件，不適合FAsT-Match算法快速模板匹配。為了解決這兩個問題，受紅外與可見光圖像在一定程度上信息互補，提出一種新的電力設備紅外圖像分割方法。首先用FAsT-Match算法找到目標在可見光中的近似位置，然后利用可見光和紅外圖像之間的近似仿射變換求出目標在紅外圖像中的近似區域，最后用分割算法所求近似區域分割。采用5種常用的分割算法（大津法、迭代閾值分割算法、K-means算法、區域生長法和脈沖耦合神經網絡圖像分割算法），分別對原始紅外圖像和本文方法提取出的區域進行分割。實驗結果表明，對同一張圖片，分割算法的不同對分割效果沒有太大差別；對同一種分割算法，本文方法比對原始紅外圖像分割其結果可以減少部分背景，分割效果更好。本文方法的實質是先找到目標（電力設備）在紅外圖像中近似區域，從而把一些與目標類似的背景排除在區域之外，最后對區域分割。值得注意的是本文方法只能夠在紅外圖像中分割出一個目標，未來研究方向為多個或多相目標分割。

圖8 第1行圖片為可見光圖像，第2行圖片為原始紅外圖像，第3行圖片為本文方法提取的目標區域，第4行圖片為使用大津法對原始紅外圖像分割的結果，第5行圖片為使用大津法對目標區域分割的結果

表1 不同方法程序運行時間

[1] Jian L, Lihua L, Gongquan L, et al. A substation monitoring and warning system based on infrared technology and image separating[C]//, 2008.2008.3rd, 2008, 1: 66-70.

[2] 陳衡, 候善敬. 電力設備故障紅外診斷[M]. 北京: 中國電力出版社, 1998.

CHEN Heng, HOU Shanjing.[M]. Beijing: China Electric Power Press, 1998.

[3] 魯守銀, 錢慶林, 張斌, 等. 變電站設備巡檢機器人的研制[J]. 電力系統自動化, 2006, 30(13): 94-98.

LU Shouyin, QIAN Qinglin, ZHANG Bin, et al. Development of a mobile robot for substation equipment inspection[J].2006, 30(13): 94-98．

[4] 周立輝, 張永生, 孫勇, 等. 智能變電站巡檢機器人研制及應用[J]. 電力系統及其自動化, 2011, 35(19): 85-89.

ZHOU Lihui, ZHANG Yongsheng, SUN Yong, et al．Development and application of equipment inspection robot for smart substations[J]., 2011, 35(19): 85-89．

[5] Jadin. M. S, Taib. S. Recent progress in diagnosing the reliability of electrical equipment by using infrared thermography[J]., 2012, 55(4): 236-245.

[6] Huda. A. S. N, Taib. S. Suitable features selection for monitoring thermal condition of electrical equipment using infrared thermography[J]., 2013, 61: 184-191.

[7] Jaffery Z. A, Dubey A. K. Design of early fault detection technique for electrical assets using infrared thermograms[J]., 2014, 63: 753-759.

[8] Laurentys A. C. A, Braga A. P, Nascimento. S, et al. Intelligent thermographic diagnostic applied to surge arresters: a new approach[J]., 2009, 24(2): 751-757.

[9] Huda. A. S. N, Taib. S. Application of infrared thermography for predictive/preventive maintenance of thermal defect in electrical equipment[J]., 2013, 61(2): 220-227.

[10] Shafi'i M. A, Hamzah N. Internal fault classification using artificial neural network[C]//4th(), 2010: 352-357.

[11] Huda A. S. N, Taib S, Ghazali K. H, et al. A new thermographic NDT for condition monitoring of electrical components using ANN with confidence level analysis[J]., 2014, 53(3): 717-724.

[12] Ahmed M. M, Huda A. S. N, Isa N. A. M. Recursive construction of output-context fuzzy systems for the condition monitoring of electrical hotspots based on infrared thermography[J]., 2015, 39: 120-131.

[13] 門洪, 于加學, 秦蕾. 基于 CA 和 OTSU 的電氣設備紅外圖像分割方法[J].電力自動化設備, 2011, 31(9): 92-95.

MEN Hong, YU Jiaxue, QIN Lei. Segmentation of electric equipment infrared image based on CA and OTSU[J]., 2011, 31(9): 92-95.

[14] 張明, 張仁斌, 高森, 等. 基于馬爾可夫隨機場的電力設備紅外圖像分割[J]. 儀器儀表學報, 2011, 32(12): 146-149.

ZHANG Ming, ZHANG Renbin, GAO Sen, et al. Power equipment infrared image segmentation based on markov random field[J]., 2011, 32(12): 146-149.

[15] 王坤, 張愷, 王力, 等. 基于兩方法博弈的馬爾可夫隨機場紅外圖像分割算法[J]. 紅外技術, 2015, 37(2): 134-138.

WANG Kun, ZHANG Kai, WANG Li, et al. Infrared image segmentation based on MRF combined with two-algorithm game[J]., 2015, 37(2): 134-138.

[16] Korman. S, Reichman. D, Tsur. G, et al. Fast-match: FAsT affine template matching[C]//(), 2013: 2331-2338.

[17] 李俊山, 楊威, 張雄美. 紅外圖像處理, 分析與融合[M]. 北京: 科學出版社, 2009.

LI Junshan, YANG Wei, ZHANG Xiongmei.[M]. Beijing: Science Press, 2009．

[18] 趙小川. 現代數字圖像處理技術提高及應用案例詳解[M]. MATLAB版, 北京: 北京航空航天大學出版社, 2012.

ZHAO Xiaochuan.[M]. Beijing: University of Aeronautics and Astronautics Press, 2012．

Infrared Image Segmentation for Electrical Equipment Based on FAsT-Match Algorithm

ZOU Hui，HUANG Fuzhen

(,,200090,)

Infrared Thermography(IRT) plays a very important role in monitoring and inspecting thermal defects of electrical equipment without shutting down. It has many advantages such as non-contact detection, free from electromagnetic interference, safety, reliability and providing large inspection coverage. The traditional manual analysis of infrared images may take a lot of time and efforts. To avoid the lack of manual analysis, many intelligent fault diagnosis methods for electrical equipment are proposed, but one of the greatest difficulties is to find the accurate ROI. The result of infrared image segmentation is often over-segmented when using traditional segmentation algorithms due to its over-centralized distributions and low intensity contrasts. In this paper, a novel approach based on FAsT-Match algorithm is proposed for infrared images segmentation of electrical equipment. Firstly, FAsT-Match algorithm is used for target template matching in visible image. Secondly, rough target region in infrared image is got by approximate affine transformation between infrared image and visible image. Finally, several segmentation algorithms are applied. The experiment shows the effectiveness of the method.

infrared image segmentation，template matching，affine transformation，electrical equipment，fault diagnosis

TP391.4

A

1001-8891(2016)01-0021-07

2015-08-18；

2015-12-30.

鄒輝（1990-），男，江西人，碩士研究生，研究方向為電力設備故障紅外診斷。

上海市電站自動化技術重點實驗室資助項目（13DZ2273800）。