輸電線路巡檢圖像智能診斷系統

傅博，姜勇，王洪光，姜文東，宋屹峰，王燦燦，初金良，趙彥平

(1.中國科學院沈陽自動化研究所 機器人學國家重點實驗室，遼寧 沈陽 110016； 2.國家電網浙江省電力公司，浙江 杭州 310007； 3.國網浙江省電力公司麗水供電公司，浙江 麗水 323000； 4.國網山西省電力公司檢修分公司，山西 太原 030000)

輸電線路巡檢圖像智能診斷系統

傅博1，姜勇1，王洪光1，姜文東2，宋屹峰1，王燦燦3，初金良3，趙彥平4

(1.中國科學院沈陽自動化研究所 機器人學國家重點實驗室，遼寧 沈陽 110016； 2.國家電網浙江省電力公司，浙江 杭州 310007； 3.國網浙江省電力公司麗水供電公司，浙江 麗水 323000； 4.國網山西省電力公司檢修分公司，山西 太原 030000)

摘要：隨著電網系統對安全性的要求不斷提高，機器人等自動化設備越來越多地應用到電力巡檢中，人工手段對設備采集的圖像進行缺陷檢測存在效率低、檢測結果不穩定的缺點。為此提出并開發了一種輸電線路巡檢圖像智能診斷系統。在系統中構建了分層軟件結構，基于Visual Studio 2010開發環境，開發了圖像導入、數據庫訪問、文本輸出等功能模塊，使用了多種檢測算法,且利用ADO技術以實現對數據庫的訪問和修改。軟件測試的結果表明該系統具有工作效率高、錯誤率低、界面友好等優點，適用于輸電線路巡檢圖像的檢測工作。

關鍵詞：機器人；輸電線路巡檢；智能診斷；圖像處理；批量檢測；數據庫；分層軟件結構

中文引用格式：傅博，姜勇，王洪光，等.輸電線路巡檢圖像智能診斷系統[J]. 智能系統學報， 2016, 11(1): 70-77.

英文引用格式：FU Bo, JIANG Yong, WANG Hongguang，et al. Intelligent diagnosis system for patrol check images of power transmission lines[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1): 70-77.

在電力行業，機器人在對輸電線路進行巡檢的過程中，會拍攝下沿線的照片作為缺陷診斷的依據。但是大量的巡檢照片目前仍是通過人工檢查，不僅需要花費較多的時間精力，也不能保障檢測結果的穩定性和準確率。

目前國內外在電力圖像檢測領域的研究主要是針對常見的線路缺陷類型或特定問題進行檢測、識別，例如輸電線斷股、螺絲脫落、絕緣子破損、防振錘破損、線夾破損、間隔棒的定位等[1-4]。國外方面Wai Ho Li博士研究的算法能夠通過對導線的定位以及對導線間斷點的分析，判斷出間隔棒的位置[5]。國內方面劉國海等通過簡單的區域幾何特性分析，并結合遺傳徑向基網絡實現絕緣瓷瓶的識別[6]。魏振中等通過霍夫變換結合投影統計實現導線檢測與缺陷識別，并在閾值法圖像分割的基礎上，使用查詢模板與置信度分析相結合的方法實現絕緣子與障礙物的判別[7]。王曉鵬等對輸電設備積冰的圖像分析方法進行了研究，提出了基于小波變換以及浮動閾值的釉積冰檢測以及基于優化閾值與圖像形態學操作的不透明霧凇積冰識別算法[8]。

總的來說，該方向的研究工作仍處于理論研究與仿真測試階段。根據所查，目前尚無整合多種算法，對圖像進行批量檢測，并對缺陷檢測的整個流程進行管理的系統應用。本文提出了一種輸電線路巡檢圖像檢測系統，該系統使用多種智能缺陷診斷算法，用于巡檢圖片的批量檢測工作，并能夠對圖像信息進行集中管理，最終可以將分析結果輸出為標準格式的檢測報告。減少了人力工作量，提高了工作效率，也保證了缺陷檢測的準確率。

1算法介紹

1.1算法總體概述

出于實際需要，系統集成了 “線上懸掛異物”、“線路斷股”、“間隔棒斷裂”、“玻璃絕緣子自爆”、“導線磨損”等幾種缺陷檢測算法。

“線上懸掛異物”和“線路斷股”兩種算法均利用LSD對導線進行定位并計算沿線矩陣的跡，設定不同的閾值，來判斷導線上是存在異物還是存在斷股現象。

“玻璃絕緣子自爆算法”在Lab特征空間中，采用Ostu法定位絕緣子，再通過計算絕緣子各部件間的相似性并搜索相似度最小值，從而估計絕緣子缺陷所處的位置。

“間隔棒斷裂”算法將圖像進行二值化處理后，計算連通域的個數，如果個數大于1，則認為存在間隔棒斷裂情況。

算法均被封裝為動態鏈接庫的形式，被主程序調用，方便日后的升級維護。

1.2“導線磨損”檢測算法分析

本節主要以“導線磨損檢測”為例，對算法的檢測原理進行介紹。

“導線磨損”檢測算法針對導線上的磨損缺陷進行檢測。檢測流程可以分為4步，如圖1所示。

圖1　“導線磨損”檢測算法流程圖Fig.1　Flow diagram of “conductor abrasion” detection algorithm

圖2(a)為一張有磨損缺陷的原始圖像。

1)第1步為圖像預處理階段，主要完成圖像的灰度圖轉化、降噪。

在RGB模型中，如果R=G=B時，則彩色表示一種灰度顏色，其中R=G=B的值叫灰度值。因此灰度圖像每個像素只需一個字節存放灰度值(又稱強度值、亮度值)，灰度范圍為0～255。這里采用平均值法進行處理。處理后，圖像的灰度值是彩色圖像三分量的平均值。

經灰度化處理后的圖像如圖2(b)。為了抑制噪聲、改善圖像質量，采用中值平滑濾波器對圖像進行平滑處理。降噪后的結果如圖2(c)所示。

(a)原始圖像

(b)灰度化處理后圖像

(c)降噪處理后圖像圖2　灰度化、降噪處理Fig.2　Gray and noise reduction processing

2)第2步為獲取感興趣區域，通過圖像邊緣檢測的手段，得到輸電線路[9]。

圖像的邊緣有方向和幅度2個屬性,沿邊緣方向像素變化平緩,垂直于邊緣方向像素變化劇烈，如圖3(a)所示。邊緣上的這種變化可以用微分算子檢測出來,通常用一階或二階導數來檢測邊緣。

(a)邊緣檢測前圖像

(b)確定電線位置圖3　邊緣檢測Fig.3　Edge detection

采用Hough變換提取圖像中的直線信息，輸電線邊緣直線L1與L2在圖像坐標系uv中的表達分別為ucosβ1+vsinβ1=ρ1與ucosβ2+vsinβ2=ρ2，滿足如下條件：

以獲取的線路邊緣作為基準，對線路圖像進行裁剪，得到輸電線路對象。如圖3(b)所示。

3)第3步為圖像特征提取。

首先對輸電線路范圍進行二值化處理，而后將圖像旋轉τ(τ為線股與線路邊緣的夾角)，使輸電線路線股處于水平方向，如圖4所示。

圖4　旋轉后的二值化圖像Fig.4　Binary image after rotation

沿豎直方向計算每一列中灰度值為1的像素個數，可以得到二值化圖像的分布直方圖，如圖5。

圖5　二值化圖像的分布直方圖Fig.5　Distribution histogram of binary image

4)第4步為特征假設判別，通過對二值化圖像分布直方圖進行周期性分析，來完成缺陷的檢測。

在圖5所示的直方圖中，未磨傷線路呈現出規律的周期性，線股與線股間隙交替出現，出現在豎直方向的距離分別為線股寬度與線股間隙寬度。而磨傷缺陷將導致磨傷區域線股間隙不明顯，是否存在周期性規律，可以作為磨傷的判別標準，最后將對應區域進行定位，智能化地將缺陷標注出來，得到分析結果如圖6所示。

圖6　診斷結果Fig.6　Diagnosis result

以上就是“導線磨損檢測”算法的實現原理。

2軟件設計

2.1軟件總體結構

為了便于軟件的開發和維護，提高系統的工作效率，提出了分層式架構，軟件系統由底層至頂層分別是：數據層、數據訪問層、算法層、應用層和用戶層，如圖7所示。

圖7　分層式軟件結構Fig.7　Stratified software structure

數據層是基于SQL Server平臺開發的整個軟件架構的主體，可根據用戶權限對數據進行訪問、更新、添加或刪除等操作；數據庫中的表單數據方便后期歸檔信息的統計、整理、保存、更新及輸出。

數據訪問層是數據層與算法層、應用層和用戶層進行數據交互的橋梁，為各類型數據的寫入和讀取提供統一的標準接口，同時提供訪問授權、密碼驗證等功能。考慮到本次項目的具體情況和安全問題，不采用web訪問形式[10]，而采用本地訪問模式。利用NET提供的ADO技術實現對數據庫的訪問[11]。創建了DbOperation類，用于實現ADO數據模型的具體操作。

算法層是系統軟件架構的核心，是由專門針對輸電線路巡檢圖像智能診斷任務研究設計的各種圖像處理和模式識別算法組成的，包括圖像預處理算法[12]、匹配算法和缺陷識別算法等。算法的軟件開發使用C語言，是在OpenCV和MATLAB的跨平臺環境下實現的。算法以動態鏈接庫的形式給出，便于程序的封裝、移植、調用以及后續的算法升級工作。

應用層是系統軟件架構的任務管理層，負責將整個系統架構組織協調成有機的整體，包括：任務調度管理、缺陷診斷、數據統計分析、系統信息管理和文檔處理等。該層采用多線程設計思路，通過前后臺的并行處理來提高系統軟件的運行效率。

用戶層是系統軟件的人機接口層，分為人機界面和數據接口兩個部分，人機界面部分包括：狀態顯示界面、指令參數界面、圖像界面和分析顯示界面。狀態顯示界面主要用于實時監視系統的運行狀態，便于用戶在必要時采取適當的干預措施；指令參數界面為用戶提供相應的指令輸入和參數調整窗口，以便用戶在圖像分析過程中進行控制和調整；圖像界面和分析顯示界面分別用于顯示當前圖像的預覽圖和詳細信息。數據接口通過與數據庫的通信將底層數據和人機界面連通起來。

這種設計結構層次清晰，將缺陷檢測算法、數據庫表訪問功能、界面管理等模塊單獨封裝，高內聚低耦合，易于多種算法的集成與維護。

2.2功能模塊

通過對人工檢測的工作進行總結，系統開發了用戶登錄、圖像導入、數據庫檢索、系統維護管理、圖像處理缺陷識別、結果查詢、文本輸出7個功能模塊，這些功能模塊都和數據庫操作緊密關聯，能確保數據庫信息的實時性，方便圖像信息的跟蹤管理。模塊化的設計利于系統管理和后續維護工作。

系統的工作流程如圖8所示。用戶在登錄系統時，需要輸入自己的帳戶名和密碼，以便系統根據用戶權限開放對應的功能。登陸界面如圖9(a)所示。

圖8　系統工作流程Fig.8　System flow diagram

登錄成功后，即可進入系統的主界面。為了方便對圖像進行管理，在導入巡檢圖像時，需要先輸入相應的信息，如線路名稱、桿塔號、巡線員等，并確定目標路徑，方可進行圖像的批量導入工作。圖像的導入工作由系統的子線程實現，確保圖像的導入工作不會對主線程造成擁塞，并且方便用戶隨時中止導入線程。導入功能界面如圖9(b)。在導入過程中，圖像的所有信息均被保存到本地數據庫。

系統能夠通過關鍵字對這些圖像進行檢索，搜索結果以可視化的方式把搜索結果反饋出來。數據檢索界面如圖9(c)。

若用戶具有管理員權限，則可以選擇“系統維護”功能，對圖像信息進行批量修改或刪除操作。如圖9(d)所示。此外圖像的總數會被實時反饋。

由于輸電線路存在不同類型的缺陷，系統集成了多種算法，在對特定類型的圖像進行檢測時，算法會對指定路徑內的原始圖像進行遍歷，并調用對應算法檢測。界面如圖9(e)所示。

算法基于OpenCV視覺庫進行圖像的分析工作。對于被診斷出有缺陷的圖像，算法會將缺陷所在的位置標注出來，隨后系統會將這張處理后的圖像和它的信息保存在數據庫內，供用戶對診斷結果進行查詢或進行其他后續工作。

處理后的圖像信息可以通過關鍵字或選擇路徑進行查詢，如圖9(f)所示，檢測結果可以生成Word格式的檢測報告[13]。

系統的各個功能模塊高內聚低耦合，完成對巡檢圖像的缺陷定位和信息管理。

(a)登陸界面

(b)圖像導入界面

(c)數據庫檢索界面

(d)系統維護界面

(e)圖像診斷界面

(f)結果查詢界面圖9　各功能界面Fig.9　Functions interfaces

3軟件測試

分別針對算法的性能和系統的穩定性兩方面內容進行了測試。

3.1算法有效性測試

針對每種系統集成的算法，各導入500張符合檢測條件的輸電線路巡檢圖像，對其進行批量檢測，記錄下了每種算法的單張圖像檢測時間、診斷結果的誤檢率。

測試結果見表1，樣本數量為500張，“玻璃絕緣子自爆”檢測算法的單張平均耗時為1.43 s，誤報率為10.2%；“線上懸掛異物” 檢測算法的單張平均耗時為1.56 s，誤報率為6.5%；“線路斷股”檢測算法的單張平均耗時為1.62 s，誤報率為7.4%；“間隔棒斷裂”檢測算法的單張平均耗時為1.67 s，誤報率為16%；“導線磨損”檢測算法的單張平均耗時為1.72 s，誤報率為18%。

3.2系統穩定性測試

針對系統的各項功能模塊，開展了穩定性測試。每個功能模塊都進行了500次的重復性操作，并觀察程序是否發生異常。經檢測，各個功能模塊表現良好，沒有發生程序崩潰等異常情況，符合使用要求。

表1　算法有效性測試結果

3.3同類工作對比

將算法的有效性與同類研究進行了對比[2,14-16]。相比之下，本系統“玻璃絕緣子自爆”算法的分析時間稍長，但是誤報率有大幅降低；“線上懸掛異物”算法的誤報率也有所降低；“線路斷股”、“間隔棒斷裂”和“導線磨損”算法的其他相關研究沒有查到具體的實驗數據。

4結論

根據電力巡檢圖像檢測的流程，本系統利用多平臺協同協作的方式，采用多種檢測算法，開發了輸電線路巡檢圖像智能診斷系統。

平臺實現了如下功能：

1)以SQL Server為依托，構建了輸電線路巡檢圖像數據庫；

2)采用多種基于OpenCV視覺庫設計的先進算法實現了對巡檢圖像的缺陷檢測功能；

3)支持多平臺的協同工作，在整個流程的工作中，實現了數據信息的無縫鏈接；

4)對檢測出缺陷的圖像進行存檔，并能生成標準格式的檢測報告；

5)能夠對輸電線路的圖像進行自動化批量檢測，規范了工作流程，大大提升了工作效率。并提供了便捷、可追蹤的圖像檢測方式。

測試結果表明軟件采用的算法具有較高性能，各功能模塊均能保證正常工作，提高了圖像檢測的工作效率。系統不僅實現了對巡檢圖像進行檢測、數據檢索等基本功能，還具有界面友好、操作簡便、升級方便等優點。

參考文獻:

[1]王專忠, 胡曉光, 耿鑫. 一種基于圖像處理的輸電線路覆冰監測方法[J]. 中國測試, 2011, 37(2): 1-4.

WANG Zhuanzhong, HU Xiaoguang, GENG Xin. Method of monitoring icing for transmission line based on image processing[J]. China measurement & test, 2011, 37(2): 1-4.

[2]蔣興良, 夏云峰, 張志勁, 等. 基于優化Gabor濾波器的輸電導線斷股圖像檢測[J]. 電力系統自動化, 2011, 35(15): 78-83.

JIANG Xingliang, XIA Yunfeng, ZHANG Zhijin, et al. Image detection for broken strand faults of transmission conductor based on optimized gabor filter[J]. Automation of electric power systems, 2011, 35(15): 78-83.

[3]單成, 吳洪潭, 石成龍, 等. 圖像處理中的絕緣子缺陷檢測方法[J]. 中國計量學院學報, 2010, 21(4): 297-300, 304.

SHAN Cheng, WU Hongtan, SHI Chenglong, et al. Defect detection method on insulators by image processing[J]. Journal of China University of metrology, 2010, 21(4): 297-300, 304.

[4]PAN Lizhi, XIAO Xiaohui. Image recognition for on-line vibration monitoring system of transmission line[C]//Proceedings of the 9thInternational Conference on Electronic Measurement & Instruments. Beijing, China, 2009: 3-1078-3-1081.

[5]LI W H, TAJBAKHSH A, RATHBONE C, et al. Image processing to automate condition assessment of overhead line components[C]//Proceedings of the 1stInternational Conference on Applied Robotics for the Power Industry. Montreal, QC, Canada, 2010: 1-6.

[6]劉國海, 朱珠. 圖像處理技術在超高壓巡檢機器人視覺系統中的應用研究[J]. 計算機工程與設計, 2009, 30(1): 136-140.

LIU Guohai, ZHU Zhu. Application study of image processing technology applied in vision system of inspection robot on power transmission lines[J]. Computer engineering and design, 2009, 30(1): 136-140.

[7]魏振中. 超高壓輸電線路智能巡檢機器人的視覺監控系統研究[D]. 沈陽: 沈陽工業大學, 2004: 60-68.

WEI Zhenzhong. A visual inspection system of patrol robot for EHV power line[D]. Shenyang, China: Shenyang University of Technology, 2004: 60-68.

[8]王小朋, 胡建林, 吳彬. 輸電線路覆冰圖像邊緣提取方法研究[J]. 高電壓技術, 2008, 34(12): 2687-2693.

WANG Xiaopeng, HU Jianlin, WU Bin, et al. Study on edge extraction methods for image-based icing on-line monitoring on overhead transmission lines[J]. High voltage engineering, 2008, 34(12): 2687-2693.

[9]宋屹峰, 王洪光, 李貞輝, 等. 基于視覺方法的輸電線斷股檢測與機器人行為規劃[J]. 機器人, 2015, 37(2): 204-211, 223.

SONG Yifeng, WANG Hongguang, LI Zhenhui, et al. Vision based transmission line broken strand detection and robot behaviour planning[J]. Robot, 2015, 37(2): 204-211, 223.

[10]夏志昌, 張偉, 王吉如. 珊溪水電廠巡檢數據庫系統的設計與實現[J]. 制冷空調與電力機械, 2009, 30(3): 85-87.

XIA Zhichang, ZHANG Wei, WANG Jiru. Design and implementation of tour inspection database system for Shanxi hydropower plant[J]. Refrigeration air conditioning & electric power machinery, 2009, 30(3): 85-87.

[11]王寶祥. 基于ADO.NET的數據庫訪問技術研究[J]. 計算機應用與軟件, 2004, 21(2): 120-122.

WANG Baoxiang. Study of database access technology using ADO.NET method[J]. Computer applications and software, 2004, 21(2): 120-122.

[12]SUN Fengjie, LI Yuanyuan, FAN Jieqing. Monitoring method of transmission line based on video image recognition technique[C]//Proceedings of International Conference on Business Management and Electronic Information. Guangzhou, China, 2011: 136-139.

[13]李萍. 一種圖像數據庫管理系統的實現方法[C]//圖像、仿真、信息技術第二屆聯合學術會議論文集. 南昌, 中國, 2002: 4.

[14]張少平, 楊忠, 黃宵寧, 等. 航拍圖像中玻璃絕緣子自爆缺陷的檢測及定位[J]. 太赫茲科學與電子信息學報, 2013, 11(4): 609-613.

ZHANG Shaoping, YANG Zhong, HUANG Xiaoning, et al. Defects detection and positioning for glass insulator from aerial images[J]. Journal of terahertz science and electronic information technology, 2013, 11(4): 609-613.

[15]金立軍, 姚春羽, 閆書佳, 等. 基于航拍圖像的輸電線路異物識別[J]. 同濟大學學報：自然科學版, 2013, 41(2): 277-281.

JIN Lijun, YAO Chunyu, YAN Shujia, et al. Recognition of extra matters on transmission lines based on aerial images[J]. Journal of Tongji University:natural science, 2013, 41(2): 277-281.

[16]金立軍, 胡娟, 閆書佳. 基于圖像的高壓輸電線間隔棒故障診斷方法[J]. 高電壓技術, 2013, 39(5): 1040-1045.

JIN Lijun, HU Juan, YAN Shujia. Method of spacer fault diagnose on transmission line based on image procession[J]. High voltage engineering, 2013, 39(5): 1040-1045.

Intelligent diagnosis system for patrol check images of power transmission lines

FU Bo1, JIANG Yong1, WANG Hongguang1, JIANG Wendong2, SONG Yifeng1, WANG Cancan3, CHU Jinliang3, ZHAO Yanping4

(1. State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China; 2. State Grid Zhejiang Electric Power Company, Hangzhou 310007, China; 3. Lishui Power Supply Company, Lishui 323000, China; 4. State Grid Shanxi Electric Power Maintenance Company, Taiyuan 030000, China)

Abstract：With the growing demand for safety in power systems, more automatic equipment is being used for power inspection. The manual detection of defects from equipment-collected images has a number of drawbacks, including low efficiency and unreliable detection results. In this study, we propose an intelligent diagnosis system for patrol check images of power transmission lines. In the proposed system, we constructed a layered software structure, and using the Visual Studio 2010 development environment, we developed an image importing module, a database access module, and a text output module. We also applied various diagnostic algorithms in the system. Based on Microsoft’s ADO technology, we entered access and modification operations into the database. The software test results show that the system has a number of advantages, including high efficiency, a low error rate, and a user-friendly interface. It is readily applicable for detection of defects in patrol check images of power transmission lines.

Keywords：robot; patrol check for power transmission line; intelligent diagnosis; image processing; batch detection; database; layered software structure

DOI:10.11992/tis.201503043

收稿日期：2015-03-27. 網絡出版日期：2015-12-29.

通信作者：傅博. E-mail： fubo@sia.cn.

中圖分類號：TP311.1

文獻標志碼：A

文章編號：1673-4785(2016)01-0070-08

作者簡介：

傅博，男，1987年生，研究實習員，主要研究方向為多傳感器數據融合技術、軟件設計。

姜勇，男，1975 年生，副研究員，博士，主要研究方向為機器人控制、智能控制理論與方法、嵌入式控制系統、特種機器人系統與應用等。發表學術論文20余篇。

王洪光，男，1965 年生，研究員，博士生導師，主要研究方向為機器人機構學、特種機器人和機電一體化技術等。發表學術論文 70 余篇，獲得發明和實用新型專利 30 余項。

網絡出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20151229.0837.008.html