馬行漢,韓 軍,朱國軍
(上海大學通信與信息工程學院,上海 200072)
高效的巡檢高壓架空輸電線路對確保國家電網(wǎng)系統(tǒng)運行的安全具有極其重要的現(xiàn)實意義。為了自動診斷線路部件缺陷,部件識別是極其重要的步驟。本文對可見光圖像中類圓形部件進行分析與識別。在高壓架空輸電線路中,類圓曲線是類圓部件的唯一特征。通過分析與提取類圓部件的曲線段或弧線段來識別類圓部件對象曲線是進行類圓部件識別和缺陷診斷的一種重要研究方法。
下述兩點造成了在航拍采集圖像中類圓部件的識別困難。首先,航拍采集圖像中存在著大量的自然背景干擾和線路部件間的遮擋使得類圓部件對象的曲線特征并不惟一。其次,在運動中拍攝的圖像受光照影響較大,容易造成圖像中目標對象的輪廓模糊。
目前已有的曲線或圓識別方法主要有兩大類。
第一類為低級曲線特征識別,主要有:1)鏈碼的方法[1]很直觀和通用,但它受噪聲影響較大;2)霍夫變換及其改進算法[2]的應用最廣泛,但是其計算量較大,實時性較差;3)依據(jù)Randon變換的分割法[3]能極好地抑制噪聲,但很難分割出被其他物體遮擋的目標;4)傳統(tǒng)的邊緣檢測方法不能很好地區(qū)分出每條邊緣。應用較廣的Canny[4]方法提取的邊緣存在并非始終保持平行的雙曲線。Steger[5]提取的邊界曲線會產(chǎn)生一些偏差和較多無意義的不連續(xù)邊緣。文獻[6]提取的邊界曲線不會產(chǎn)生很重要的偏差且能提取更多有意義的連續(xù)邊緣。但上述邊緣檢測方法區(qū)分直線段和曲線段的效果較差。
第二類為高級曲線特征識別,即模式識別或聚類分析[7]。模式識別的應用廣泛,而曲線的特征識別[8]是其中的一個重要組成部分,但其在采樣時容易受到外界不同噪聲的干擾。另外,存在某點畸變的被采樣物會使識別特征鈍化以至于產(chǎn)生誤判。
本文在文獻[6]的曲線提取方法的基礎(chǔ)上提出了一種基于曲線聚類的架空高壓線路系統(tǒng)中類圓部件的自動識別方法,按下述三大步驟處理亮度圖像。
首先通過圖像的二階偏導數(shù)[9]來構(gòu)造 Hessian矩陣[10]的方法來獲得曲率最大的點,依據(jù)Canny提出的非最大抑制法檢測出邊緣曲線點。再按本文提出的算法連接邊緣曲線點,去除小于閾值長度的邊緣線,區(qū)分出直線段與曲線段,從曲線段組中區(qū)分出類圓曲線。最后通過感知聚類法得到類圓部件的邊緣曲線,即根據(jù)類圓部件的位置關(guān)系和曲線特征等信息判斷這些邊緣線段是否屬于所要識別的類圓曲線。
本算法首先通過中值濾波、高斯平滑和銳化處理去除可見光圖像中的模糊和毛刺,接著進行圖像灰度化,之后按照圖1所示流程圖方法對亮度圖像進行處理,獲得符合類圓部件特征的曲線對象。

圖1 類圓部件曲線對象的識別方法流程圖
需要識別的架空高壓線路類圓部件主要有引流線、絕緣子和均壓環(huán),其形狀描述為:
1)引流線是四條的曲線段為一組,且每條曲線上存在一條弧線段或多條凸凹性相同的相鄰類圓曲線。
2)絕緣子是一組沿某條直線對稱的曲線對,而每條曲線都是由相同起伏的類圓曲線組成。
3)均壓環(huán)是一對平行的類圓曲線,且在每條曲線上存在一對凸凹性相反的類圓曲線。
架空高壓線類圓部件的位置關(guān)系為:其中均壓環(huán)附著于玻璃絕緣子上,引流線、絕緣子、桿塔和導線在桿塔附近連接在一起,形成交匯區(qū)域,如圖2所示。

圖2 在高壓線路中的均壓環(huán)、絕緣子和引流線的位置關(guān)系
航拍圖像中類圓部件對象的曲線特征描述如下:
1)絕緣子是一連串開口方向相同的絕緣子串構(gòu)成,即構(gòu)成絕緣子的類圓曲線和直線段存在平行關(guān)系。
2)每個均壓環(huán)存在具有對稱關(guān)系的類圓曲線,成對出現(xiàn)的均壓環(huán)存在具有平行關(guān)系的直線段。
3)每條引流線都是一條較長的下凹曲線。
本文的主要目標是從航拍采集圖像中背景曲線的干擾中確定類圓部件目標對象曲線,這對在直升機巡檢項目中分析和診斷類圓部件的缺陷非常重要。
本算法是在利用各部件間的位置關(guān)系確定存在類圓部件的可疑區(qū)域中進行目標識別,這樣可以排除背景中的大量干擾,使得識別結(jié)果更加可靠精確。另外,由于航拍采集圖像中存在著大量高壓線路部件之間的干擾,提取的大多數(shù)邊緣目標曲線(如均壓環(huán))因背景曲線的覆蓋而缺失。
在可疑位置區(qū)域中結(jié)合類圓部件的知識模型對三大類圓部件進行聚類,相應的識別過程為:首先,在三大類圓部件的可疑位置區(qū)域內(nèi)分別遍歷邊緣的區(qū)域管理結(jié)構(gòu)。然后,對直線按平行關(guān)系和對類圓曲線按平行或?qū)ΨQ關(guān)系進行聚類,再根據(jù)曲線段的密度關(guān)系、弧半徑尺度和端點間距等輔助判斷是否符合某種類圓部件的特征。若存在類圓部件,把這些弧線段分別標記為相應的類圓部件。
通過計算灰度圖的一、二階導數(shù)來構(gòu)造Hessian矩陣,再計算此矩陣的特征值和特征向量,接著按本文所述算法提取邊緣點,得到邊緣點組,并從中選取合適的種子點,連接邊緣,提取曲線特征。
將二維圖像空間中的曲線標記為f(x,y),其法線標記為n(x,y)。若其法線方向為,那么其曲線方向為。在處理圖像時,把像素當作ZN×ZN大小的方塊區(qū)域。那么,像素點(x,y)具有單位面積所定義的邊界為[x-1/2,x+1/2]× [y-1/2,y+1/2]。

式中:預處理圖像的偏導數(shù)rx,ry,rxx,rxy和ryy可以通過圖像與相應的Sobel算子的卷積來估算[9],在x和y方向上的大小為5×5的Sobel算子及其在水平方向、垂直方向和斜方向上偏導數(shù)如式(2)~式(6)所示


先把圖中每個點的rxx,rxy和ryy按式(1)分別構(gòu)建1個Hessian矩陣,再計算所有Hessian矩陣的特征值和特征向量。H(x,y)的幅值最大的特征值對應的向量代表著點(x,y)曲率最大的強度和方向,而其幅值最小的特征值對應的向量代表著點(x,y)曲率最小的強度和方向。將絕對值最大的特征值對應的特征向量單位化后的向量定義為法線方向,標記為,=1,即( -)=( -cosθ,sinθ),且θ=arctan( -),θ或θ+2π為點(x,y)的2個候選曲線方向。沿著→n方向的一、二階導數(shù)分別如式(7)和式(8)所示

把點(x,y)的r″作為此點的權(quán)重。邊緣點的權(quán)重應在該點的鄰域內(nèi)沿方向的r″最大。使用Canny提出的非最大抑制法來判定預處理圖像中的邊緣點,并對所得邊緣點圖像進行二值化,最后存儲得到的邊緣點的坐標和權(quán)重。
通過觀察航拍采集圖像中人造目標對象的輪廓曲線,可以看出其邊緣線一般由直線段和曲線段組合而成。故邊緣點應該被連接成可區(qū)分直線段和曲線段的曲線結(jié)構(gòu),這將對人造目標對象的識別提供便利。
3.2.1 直線段與曲線段的分類
為區(qū)分直線和曲線,先從檢測到的邊緣點組中找到連接邊緣的種子點,再添加合適的后續(xù)點以連接成邊緣線,在連接過程中判斷出邊緣直線段和邊緣曲線段。在搜索過程中,把所得邊緣對象的邊緣像素點坐標、中間點坐標、起止點坐標、邊緣長度和是否為直線等信息存入一個區(qū)域管理結(jié)構(gòu)。
先找到最左上角的邊緣點作為搜索起始種子點,再按照從上到下從左到右的順序選取搜索種子點,把第一個從未連接過的邊緣點作為搜索種子點。因找到的種子點并非一定位于曲線的終端處,故在連接時分別按照和-方向搜索合適的后續(xù)點,并去除所有邊緣長度較小的干擾曲線段。為了在最小鄰域內(nèi)給當前曲線添加匹配曲線方向的曲線點,并剔除方向差異較大的點,按照下述所示順序優(yōu)先級搜索后續(xù)點。在找到合適的后續(xù)點后,接著通過曲線上的起始點和中點的連線與起止點連線的距離和夾角關(guān)系來判斷此條邊緣是直線段還是曲線段。
邊緣后續(xù)點的搜索順序優(yōu)先級為:首先在八鄰域內(nèi)搜索與曲線方向相匹配的點;接著在十六鄰域內(nèi)搜索與曲線方向相匹配的點;然后在八鄰域內(nèi)比較與曲線方向垂直的上下兩點;最后在十六鄰域內(nèi)比較與曲線方向垂直的上下兩點。若最終沒有合適的點,結(jié)束此次搜索。搜索時利用式(9)所示一階濾波器來更快地校正當前后續(xù)點的方向和消除噪聲的影響,即

3.2.2 類圓曲線的判定
利用類圓曲線判決算法從標記為曲線的邊緣線組中尋找類圓曲線并標記其曲線凸凹方向特征。在搜索過程中,把找到的類圓曲線的所有信息存入一個區(qū)域管理結(jié)構(gòu),這些信息包括邊緣像素點坐標和曲線凸凹方向特征。把邊緣的中間點坐標和起止點坐標分別用點M、點A和點B代替,直線段AM和MB的中點分別為點F和點E,直線段AM的中垂線EO和直線段BM的中垂線FO相交于點O。類圓曲線的圓心和半徑見圖3。

圖3 類圓曲線的圓心和半徑
類圓曲線判決算法的主要步驟為:
1)先判斷此邊緣AB與直線AB是否相交,邊緣曲線BM是否與直線BM相交,邊緣曲線MA是否與直線MA相交。若全否,則轉(zhuǎn)入步驟2)。
2)計算直線段AO,MO和BO的長度并按從大到小的順序排序為lAO,lMO和lBO。若滿足式(10),則此邊緣線為類圓曲線,按圖3所示來計算它的類圓心和弧半徑,其弧半徑為lAO,轉(zhuǎn)入步驟3)。公式為

式中:lAO與lBO的差值絕對值的最大閾值為Dl。
3)接著判斷并記錄此類圓曲線的凸凹方向特征標記,結(jié)束判斷。
在曲線識別中,類圓曲線是一種重要的人造對象的局部特征。按下述所示來判斷類圓曲線的類圓弧開口方向的順序優(yōu)先級。首先,計算所有類圓曲線的凸凹方向特征。接著,尋找起止點間距小于等于2的所有弧線段,把其作為一條類圓曲線,即所有滿足此條件的弧線段的凸凹方向特征都是此條類圓曲線的凸凹方向特征。然后,按曲線凸凹方向特征標記的個數(shù)對所有類圓曲線按降序排序,依次找到與曲線凸凹方向特征標記最多的類圓曲線相互平行或?qū)ΨQ且未搜索過的類圓曲線,直至無符合條件的類圓曲線為止。
按圖4所示規(guī)則區(qū)分不同的圓弧,把一個圓形平均分為8等份。

圖4 曲線凸凹方向特征
從x軸正方向開始,按逆時針方向旋轉(zhuǎn),把這8份弧線段分別標記為 0,1,…,7,即其角度區(qū)間分別為[0°,45°],[45°,90°],[90°,135°],…,[315°,360°],那么曲線凸凹方向特征標記的相關(guān)判斷規(guī)則為:
1)假設類圓曲線不僅長度小于等于1/8個類圓周長而且沒有穿過x正半軸,其起點與其圓心的連線和x正半軸之間的夾角為α,其終點與其圓心的連線和x正半軸之間的夾角為 β,且 α,β ∈[0°,360°]且 α < β,那么曲線凸凹方向特征標記分別為:若[α,β]?[0°,45°],則標記為0;若[α,β]?[45°,90°],則標記為1;若[α,β]?[90°,135°],則標記為2;依次類推,若[α,β]?[315°,360°],標記為7。
2)假設類圓曲線不僅長度大于等于1/8個圓的周長而且沒有穿過x正半軸,那么就在8個角度空間:[0°,45°],[45°,90°],[90°,135°],…,[315°,360°]中尋找與此類圓曲線的[α,β]有交集的角度空間,接著把所有與其有交集的角度空間對應的曲線凸凹方向特征標記作為此曲線凸凹方向特征標記。
3)假若類圓曲線穿過x正半軸,那么把它以此類圓弧與x正半軸的交點為分界點分成兩個類圓弧,再分別把這兩個類圓弧按規(guī)則1)和2)來計算類圓弧的開口方向標記,最終這兩個類圓曲線得到的所有曲線凸凹方向特征標記就是它的曲線凸凹方向特征標記。
通過上述曲線凸凹方向特征標記可以判斷類圓曲線之間是否存在平行和對稱關(guān)系。假設第i個和第j個類圓曲線的曲線凸凹方向特征標記分別為ArcIndi和ArcIndj,那么當2個類圓曲線的凸凹方向特征標記存在重疊或差值絕對值為1,2,6或7,即滿足式(11)和式(12)時,這2個類圓曲線屬于平行關(guān)系;當2個類圓曲線的凸凹方向特征標記的差值絕對值為3,4或5,即滿足式(13)時,這2個類圓曲線屬于對稱關(guān)系

為了證實本文所述方法是有效的,使用航拍圖像進行實驗驗證,通過目測來判斷檢測準確率。引流線圖像的分辨力為1280×720,絕緣子和均壓環(huán)圖像的分辨力為640×360。本文實驗均在配置了 AMD QL-642.10 GHz的速龍雙核CPU的PC上運行的。實驗參數(shù)分別為:ω=0.57;對于引流線,Dl=100;對于均壓環(huán),Dl=300;對于絕緣子,Dl=25。
圖5是實驗用到的源圖像,其中圖5a是用于識別引流線的源圖像,圖5b是用于識別絕緣子和均壓環(huán)的源圖像。圖6是對圖5進行實驗得到的邊緣點圖像,其中圖6a是圖5a的邊緣點圖像,圖6b是圖5b的邊緣點圖像。圖7是對圖6進行類圓部件曲線識別實驗中檢測到的三大類圓部件對象曲線。圖8是三大類類圓部件的檢測結(jié)果圖,其中圖8a是引流線的檢測結(jié)果圖,圖8b是均壓環(huán)的檢測結(jié)果圖,圖8c是絕緣子的檢測結(jié)果圖。




本文提出了一種解決直升機巡檢中類圓部件的識別方法,這類航拍圖像受背景和光照的影響比較大,其解決方法是基于曲線聚類,其中曲線特征的提取是在文獻[6]的曲線提取方法的基礎(chǔ)上進行了改進,再對提取的曲線進行凸凹特征分析。此算法在試驗中效果良好,具有較好的穩(wěn)健性,將會應用于直升機巡檢項目。本文提出的方法雖然會引起一些誤判,但是能實現(xiàn)智能識別與診斷功能,在大量減少人工判斷的工作量和輔助人工判決上具有很大的實際應用價值。
[1]張顯全,王繼軍,蔣聯(lián)源.基于Freeman鏈碼的圓識別方法[J].計算機工程,2007,33(15):196-198.
[2]KIM E,HASEYAMA M,KITAJIMA H.A new fast and robust circle extraction algorithm[EB/OL].[2011-11-19].http://www.researchgate.net/publication/2893083_A_New_Fast_and_Robust_Circle_Extraction_Algorithm.
[3]胡小健,張超龍.利用Randon變換進行圖像分割與特征提取[J].仲愷農(nóng)業(yè)技術(shù)學院學報,2006,19(1):44-46.
[4]CANNY J.A computational approach to edge detection[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,1986(8):679-698.
[5]STEGER C.An unbiased detector of curvilinear structures[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(2):113-125.
[6]CHENG Mingming.Unbiased curvilinear structure extraction for cartoon images[C]//Proc.2011 Eighth International Symposium on Voronoi Diagrams in Science and Engineering.Qingdao,China:[s.n.],2011:220-227.
[7]王琳,馮海軍,盧朝陽.一種基于聚類分析的實時交通流量監(jiān)測系統(tǒng)[J].電視技術(shù),2004,28(1):82-84.
[8]閆明,段發(fā)階.曲線的特征識別方法研究[J].傳感技術(shù)學報,2006,19(3):724-727.
[9]SCHARR H.Optimal operators in digital image processing dissertation(in German)[EB/OL].[2011-11-19].http://archiv.ub.uni-h(huán)eidelberg.de/volt ext server/volltexte/2000/962,2000.
[10]FLORACK L M J,ROMENY B M,KOENDERINK J J,et al.Scale and the differential structure of images[J].Image and Vision Computing,1992,10:376-388.