基于組合特征和級聯分類器的防震錘檢測算法

王賽嬌，李 黎，徐曉宇

(1.臺州廣播電視大學 高職學院，浙江 臺州 318000；2.杭州電子科技大學 計算機學院,浙江 杭州 310018)

0 引 言

目前，無人機(unmanned aerial vehicle，UAV)技術用于高壓輸電線路巡檢已受到廣泛關注，用于檢測防震錘的圖像處理相關技術得到了一定的發展。算法主要有基于LSD算法和機器學習的防震錘變形檢測算法、巡線機器人視覺檢測算法、基于深度學習的目標檢測算法以及基于Haar特征與級聯AdaBoost的檢測算法等[1,2]。雖然這些算法在防震錘檢測和定位上取得了一定的進展，但同時對于待檢測圖像的拍攝要求也比較嚴格，在某些環境下存在著誤檢率較高的現象。

針對以上算法存在的問題，現提出基于分塊的Haar特征、基于區域的LBP特征以及HOG特征一起作為組合特征來檢測防震錘[3]的方法。實驗結果表明，該算法能較好地提高防震錘檢測的精確率、召回率和準確率。

1 算法基本思想

無人機巡檢作業方式得到的防震錘圖像測試集有如下特征：

(1)尺寸大小不一，形狀、顏色等信息差別較大。由于無人機在巡檢拍攝時離高壓輸電線路的距離不同，以致近景拍攝的防震錘圖像形狀大而清晰，得到的信息會比較多，而遠景拍攝的防震錘圖像形狀小而模糊，得到的信息則會比較少；

(2)存在漏檢或誤檢現象。高壓輸電線上環境復雜，拍攝時防震錘可能會被電路塔等設施所遮擋，造成漏檢或誤檢；

(3)存在著傾斜角度各異的現象。無人機在飛行過程中采用的是多角度拍攝，因此，得到的防震錘圖像存在著傾斜角度各異的現象。

基于以上3個特征，對于高壓輸電線上的防震錘檢測，現提出基于組合特征和級聯分類器的算法。具體步驟包括：①對待檢測的圖像進行去噪、調整亮度、調整大小等預處理操作。②對歸一化互相關匹配算法進行優化與改進，再通過縮放和旋轉模板進行模板匹配，得到防震錘疑似區域樣本集。③提取防震錘疑似區域的組合特征，包括基于區域的Haar特征BHaar、基于區域的LBP特征RLBP和HOG特征。④使用級聯分類器對防震錘疑似區域進行多級分類(初分類使用HOG特征，多級分類使用BHaar特征和RLBP特征)。⑤統計分類的準確率。算法流程如圖1所示。

圖1 算法流程

2 防震錘檢測的實施

2.1 預處理

無人機在巡檢作業時，因受到天氣或其它意外因素的影響，拍攝得到的圖像容易存在著曝光不足或曝光過度等問題，這會影響后續圖像特征的提取操作。因此，首先對拍攝得到圖像進行預處理，處理過程包括去除噪聲、調整亮度和調整大小等共3個步驟。

2.1.1 圖像亮度情況判別

設待檢測圖像為Iu，首先使用中值濾波的圖像去噪方法進行處理，然后進行圖像灰度化，得到灰度圖Ig。 計算Ig的平均偏差MD(mean deviation)，根據MD判斷圖像的亮度是否正常，MD的計算方法如式(1)所示

(1)

2.1.2 圖像亮度調整

通過分析圖像測試集獲得正常圖像的亮度值mean(本文mean值取128)。比較MD和mean值的大小并選擇相應的圖像亮度調整策略(圖2)：若MD=mean，表示圖像亮度合適，不作任何處理；若MD>mean，表示圖像偏亮，使用Gamma校正的方法進行處理；若MD

圖2 圖像亮度調整策略

如圖2所示，灰度圖Ig經圖像亮度調整策略調整后，得到了整體亮度較為均勻的初始化圖像Ir。

2.1.3 圖像大小調整

由于防震錘檢測的速度和準確率會受到圖像分辨率的影響，為了避免圖像測試集中存在著圖像分辯率過高現象，故將所有圖像的分辨率歸一化為1024×768。

設預處理后的圖像為Ir，表1列出了預處理圖像Ir的結果示例。從表1中可知，處理后的圖像具有更多的細節信息。

表1 預處理結果示例

2.2 防震錘疑似區域生成

由于防震錘都是懸掛在輸電線上的，無人機在拍攝圖像時，防震錘可能會被高壓輸電線上的電路塔等設施所遮擋，因此，待檢測圖像Iu中可能存在著“防震錘疑似區域”，該區域包括防震錘區域，也可能包括電路塔、絕緣子等干擾區域。為了減少漏檢和誤檢，需先對防震錘進行初定位，再進行模板的匹配。

2.2.1 匹配模板歸一化

如圖3所示，初始化后的圖像Ir經過尺度歸一化、灰度化處理和求平均的3個步驟生成統一尺寸大小的最終模板圖像It。 其中，初始化后圖像Ir是以人工方式在原始圖像中選擇若干張防震錘信息比較清晰的圖像，再標定圖像中的防震錘區域得到。

圖3 模板圖像生成方法

2.2.2 改進歸一化互相關匹配算法

防震錘疑似區域樣本集的生成可通過模板匹配技術實現。模板匹配是圖像識別中最基本的也是最具代表性的方法。在現有的模板匹配算法中，歸一化互相關匹配算法具有較好的抗噪能力和抗光照能力，是一種常用的經典算法。但另一方面，該算法也存在著一些不足之處，如不具有抗旋轉和縮放的能力等，而且該算法計算量大、匹配速度慢，難以滿足系統較高的實時匹配要求，因此，需對該算法進行適當的優化與改進。

設待匹配圖Ir為r(x,y)，圖像尺寸為w×h，Ir的子圖像的尺寸為m×n，匹配的模板圖像It為t(x,y)，圖像尺寸也為m×n。歸一化互相關匹配算法計算相似度NCC(x,y) 的方法如式(2)所示

(2)

其中，μr為Ir子圖像的灰度均值，計算方法如式(3)所示

(3)

μt為模板圖像的灰度均值，計算方法如式(4)所示

(4)

相似度NCC(x,y) 的取值范圍為[-1,-1]，相似度值的大小反映了圖像匹配度的高低。

Sμ(x,y)=r(x,y)+Sμ(x-1,y)+
Sμ(x,y-1)-Sμ(x-1,y-1)

(5)

Sσ(x,y)=r2(x,y)+Sσ(x-1,y)+
Sσ(x,y-1)-Sσ(x-1,y-1)

(6)

Sc(x,y)=r(x,y)·t(x,y)+Sc(x-1,y)+
Sc(x,y-1)-Sc(x-1,y-1)

(7)

其中，當參數x或y<0時，Sμ(x,y)=Sσ(x,y)=Sc(x,y)。

待匹配圖像Ir的子圖像在x,y處的灰度均值的計算方法如式(8)所示，平方值的計算方法如式(9)所示、互相關值的計算方法如式(10)所示

電網調控模型中心體系架構與關鍵技術//季學純,徐春雷,楊志宏,吳海偉,李昊,楊啟京//(16):127

(8)

(9)

(10)

模板圖像It在x,y處的灰度均值、平方和互相關值的計算方法只需構造相應的求和表并計算即可，與待匹配圖像Ir的子圖像的計算方法類似。

2.2.3 模板匹配

通過分析模板匹配結果取最合適的值為閾值T(本文中T取值為0.85)，對初始化后的圖像Ir使用改進的歸一化互相關匹配算法進行模板匹配，則當相似度值NCC>T時，說明當前窗口為防震錘疑似區域，為防止再次匹配到重疊區域，將該結果值賦值為-1。

2.2.4 旋轉模板再匹配

將模板圖像It旋轉得到新模板圖像I′t，旋轉角度為-30°、-20°、-10°、10°、20°、30°，并重復模板匹配過程。

2.2.5 縮放模板再匹配

將模板圖像It進行縮放并重復模板匹配，縮放比例為原尺寸的70%、80%、90%、110%、120%、130%，并重復模板匹配過程。

圖4列出了檢測防震錘疑似區域的結果示例。圖4中3列分別為初始化后圖像Ir、 匹配結果圖和防震錘疑似區域Isr。 其中第二列的匹配結果圖是由初始化后的圖像Ir與匹配模板圖像It進行相似度計算后得到，計算方法是：若圖像Ir與匹配模板的相似區域相近則表現為白色(且越相近顏色越亮)，若不相近則表現為黑色。第三列的防震錘疑似區域Isr為最終檢測結果圖，其尺寸與使用的模板圖像的尺寸相同。另外，由于模板圖像經過了匹配與再匹配的過程，雖然減小了漏檢區域，但同時也相應地增多了誤檢區域。

圖4 模板匹配示例

2.3 組合特征提取

分析圖像測試集中的防震錘以及電路塔等區域的特點，提取基于分塊的Haar特征(BHaar)和基于區域的LBP特征(RLBP)，并與HOG特征一同作為組合特征來描述圖像中的防震錘。實驗結果表明，該方法能有效地區分防震錘區域以及電路塔等干擾區域。

Haar特征是計算機視覺領域一種常用的特征描述算子，在人臉檢測、車輛檢測以及行人檢測等目標檢測上應用廣泛。Haar特征值反映了圖像的灰度變化情況，是像素分模塊求差值的一種特征?，F有的Haar主要分為以下4類：邊緣特征、線性特征、對角線持征和中心特征，共有15種，如圖5所示。

圖5 Haar特征分類

Haar特征用于檢測物體時，主要通過平移與縮放來獲得特征值。當Haar模板在待檢測圖像中進行平移時，滑動的位置是從左到右再從上到下，每次滑動的位置都會得到一個對應的特征值。同時，Haar模板也可以進行任意比例的縮放，縮放時模板中的黑白區域的面積比不會發生改變，所以Haar特征值用于目標檢測是比較方便的。但是，Haar特征值的計算量非常大，因為Haar模板的每一次滑動與縮放都會產生一定數量的特征值，即使使用積分圖像的圖像處理算法進行加速，其計算效率仍然偏低。

防震錘是由兩個鑄鐵錘頭、一根短鋼絞線以及固定在鋼絞線上的夾線板組成，具有較明顯的線性特征以及較好的對稱性。另外，對防震錘疑似區域樣本集中的正樣本進行分析，可以發現大部分的防震錘處于圖像Isr的中心位置。根據這個特點，現設計改進的Haar特征模板4種，如圖6所示。

圖6 本文改進的Haar特征模板

由于防震錘疑似區域檢測算法得到的防震錘疑似區域Isr中至多存在一個防震錘，所以，若Haar特征模板的尺寸大小與防震錘疑似區域Isr的尺寸大小相同，則可以省去原Haar特征模板的平移以及縮放的計算過程，僅需將圖像Isr灰度圖中對應的位置與Haar特征模板相乘累加即可，這樣就可以減小計數量，有效提高計算效率。計算時，模板中白色區域與黑色區域的權值分別設為1和-1。

表2給出了改進的Haar特征示例，第一列至第三列分別為防震錘疑似區域Isr、 本節使用的Haar特征以及Haar結果圖。其中第三列的Haar結果圖為圖像Isr的灰度圖與Haar特征模板對應的位置相乘得到。由于Haar特征模板中白色區域的權值為1，黑色區域的權值為-1，所以，對應的Haar結果圖中白色區域的值與圖像Isr的灰度圖對應區域的值相等，黑色區域的值則與圖像Isr的灰度圖對應區域的值相反。

表2 改進的Haar特征示例

為了比較Haar模板的有效性，集中隨機抽取若干張防震錘疑似區域的正樣本與負樣本，分別計算這些圖像對應于4個Haar模板的特征值。計算結果如圖7所示。

圖7 Haar特征值的計算結果

比較4個 Haar模板特征值的計算結果圖，發現Haar模板1、Haar模板2和Haar模板4中正樣本和負樣本的特征值有較大的交集，而Haar模板3中正樣本和負樣本的特征值沒有交集，說明Haar模板3在區分正樣本和負樣本上存在著明顯的優勢，能更好地區分防震錘以及電路塔等干擾區域。因此，本文的分類特征采用Haar模板3。

2.3.2 基于分塊的Haar特征(BHaar)的提取

因為Haar模板的尺寸與防震錘疑似區域Isr的尺寸大小一樣，計算得到的特征維度較低。同時，考慮到防震錘具有較好的對稱性，所以把防震錘疑似區域樣本Isr進行左右二等分，并計算兩個子圖像塊對應的Haar特征值。其計算過程如下：

(1)灰度化處理防震錘疑似區域Isr，同時歸一化圖像尺寸為96×48，得到防震錘疑似區域灰度圖Isg。

(2)對圖Isg進行二等分，得到尺寸為48×48的兩個左右子圖像塊Isg1和Isg2。

(3)設定Haar模板3的尺寸為48×48，計算子圖像Isg1和Isg2對應的Haar特征值，分別記為value1和value2。其計算方法如式(11)所示

valuei=sum(白色區域像素)-2·sum(黑色區域像素)

(11)

(4)計算value1、value2差值的絕對值，記為D-value，如式(12)所示。D-value在此用于衡量子圖像Isg1、Isg2的相似度，D-value越小，則相似度越高

D-value=|value1-value2|

(12)

(5)得到最終的BHaar特征。如式(13)所示

BHaar=[value1,value2,D-value]

(13)

表3列出了基于分塊的Haar特征(BHaar)的示例。由表中數據可知，若防震錘位于圖像Isr的中心區域附近，則得出對應的value值較大。其次，由于防震錘的結構對稱性較好，子圖像Isg1、Isg2的相似度較高，對應的value值比較接近，因此D-value值比較小，而電路塔等干擾區域像素值分布沒有規律可循且不具有對稱性，子圖像Isg1、Isg2的相似度較低，對應的value值比較小，因此D-value值比較大。但也存在著特殊情況，表3中最后一行結果顯示，當干擾區域的對稱性較好時，也會造成誤檢。

表3 BHaar特征示例

2.3.3 基于區域的LBP新特征(RLBP)的提取

LBP主要用于提取圖像的紋理特征，常用在人臉識別、行人檢測、紋理分析等，在計算機視覺的許多領域都得到了廣泛的應用，由于原始的LBP特征的計算存在著一定的隨機性。因此，借鑒LBP特征以及超像素的概念，提出基于區域的LBP特征(RLBP)，其計算過程如下：

(1)灰度化處理防震錘疑似區域Ir，同時歸一化處理圖像尺寸為96×48，得到灰度圖Isg。

(2)將圖Isg進行3×3的九等分，則每個子圖像塊的尺寸大小為32×16。以左上角子圖像為起點，按順時針方向依次標記各個子圖像塊為Isg1、Isg2、 …、Isg9，其中，中心區域的圖像塊為Isg9。

(3)計算9個子圖像Isg1、Isg2、 …、Isg9的灰度均值，分別記為g1、g1、 …、g9。

(4)比較8個相鄰子圖像Isg1、Isg2、 …、Isg8與中心圖像Isg9的灰度均值大小，若gi(1≤i≤8)大于g9則記為1，小于g9記則為0，如式(14)所示

(14)

(5)得到最終的RLBP特征，如式(15)所示

RLBP=[K1,K2, …,K8]

(15)

表4列出了RLBP特征的示例。表中前三行圖像中，RLBP特征中的元素基本全為1，這是因為這3個圖像中周圍8個相鄰子圖像的內容主要為天空或導線或電路塔，其對應的灰度均值gi(1≤i≤8)較大，而中心區域的圖像塊Isg9的主要內容為防震錘部分，其對應的灰度均值g9較小，所以得出的RLBP特征為1的個數比較多。而表中的第四和第五行圖像中，RLBP特征中0的個數比較多，僅含有少數的1，這是因為各個子圖像的內容變化性大，對應的RLBP特征的元素值比較任意，周圍相鄰子圖像的灰度值低于圖像中心區域的灰度值。另外，表中最后一行的結果同時也說明了當電路塔等圖像的灰度分布接近于防震錘區域時，會出現誤檢的情況。

表4 RLBP特征示例

2.4 級聯分類器

級聯分類器是一種層次型分類器，是由若干個強分類器或弱分類器按照一定的次序組合而成。使用級聯分類器的優勢是：在保證分類準確性的前提下能降低計算的復雜度。級聯分類器的結構如圖8所示。

圖8 級聯分類器結構

圖中級聯分類器主要由3個SVM分類器級聯組成，使用級聯分類器分類的具體過程如下：

(1)對防震錘疑似區域樣本集進行初分類。以HOG特征作為SVM1分類器的分類特征對防震錘疑似區域樣本集進行初分類，所得的預測結果中有正樣本和負樣本，分別記為PS_1和NS_1。

(2)對PS_1進行二次分類。以基于分塊的Haar特征(BHaar)作為SVM2分類器的分類特征對PS_1進行二次分類，分類所得的預測結果同樣也有正樣本和負樣本，分別記為PS_2和NS_2。

(3)對NS_1進行二次分類。以基于區域的LBP特征(RLBP)作為SVM3分類器的分類特征對NS_1進行二次分類，分類所得的預測結果同樣也有正樣本和負樣本，分別記為PS_3和NS_3。

2.5 統計級聯分類器的分類結果

統計級聯分類器的分類結果，正樣本數NPS(number of positive sample)的計算方法如式(16)所示

NPS=PS_2+PS_3

(16)

級聯分類器分類的準確率Accuracy表示正樣本和負樣本被正確預測的比例，計算方法如式(17)所示

(17)

3 實驗結果及分析

為了驗證算法的合理性和有效性，本文使用MS-660四旋翼無人機對高壓輸電線路進行巡檢，采用的是無人機飛控程序自動控制和人工操控相結合的飛行控制方式，即巡檢過程中先使用飛控程序控制無人機，當到達已知線路路徑信息的目標桿塔上方且與桿塔的距離約為15 m時，切換為人工控制模式進一步靠近目標桿塔。巡檢采集得到的測試集圖像共2980張，其中含有防震錘的圖像1960張。對含有防震錘的圖像依據防震錘疑似區域檢測的算法進行防震錘疑似區域檢測，得到防震錘疑似區域樣本集Isr。Isr中共有6400張圖像，去除電路塔等干擾區域圖像2270張，余下含防震錘區域的圖像有4130張。

3.1 不同算法的比較

表5列出了基于Haar特征、基于LBP特征、基于 GLCM 特征與本文算法的比較結果，比較以精確率、召回率和準確率這3個指標作為測評指標。

由表5中的精確率、召回率和準確率可知，基于 GLCM 特征的算法所對應的這3項指標最低，說明該算法具有較差的性能，而本文提出的算法這3項指標最高，說明具有最好的性能。這是因為在拍攝圖像時，拍攝距離不

表5 不同算法比較/%

同，得到的圖像中防震錘的紋理也不同，電路塔等干擾區域的紋理復雜度也不同，而本文提出的算法綜合考慮了局部紋理信息、梯度信息、圖像的灰度分布等情況，所以相比其它算法具有最好的性能。

3.2 組合特征性能比較

表6列出了僅使用Haar特征、BHaar特征、RLBP特征以及使用HOG+BHaar+RLBP的組合特征的性能比較結果。由表中可知，雖然HOG的精確率、召回率和準確率比BHaar和RLBP均要高，性能比較好，但HOG+BHaar+RLBP的組合特征的精確率、召回率和準確率得到了更進一步的提高，性能更好。另外，BHaar特征對應的精確率值比RLBP特征高，說明BHaar特征對負樣本的識別能力相對較強，因此，剔除PS_1中被誤分的負樣本時使用BHaar特征作為SVM2的分類特征。但BHaar特征對應的召回率比RLBP特征低，說明BHaar特征對正樣本的識別能力沒有RLBP特征強，因此，剔除NS_1中被誤分的正樣本時使用RLBP特征作為SVM3的分類特征。

表6 不同特征性能比較/%

3.3 級聯分類器性能驗證

圖9為比較不同級聯程度的SVM分類器對應的性能指標。圖中的SVM_1、SVM_2和SVM_3分別表示級聯了不同分類器對應的分類性能。

圖9 級聯分類器性能比較

從圖9可知，SVM_1、SVM_2、SVM_3對應的精確率、召回率和準確率中，僅使用SVM1分類器的SVM_1性能值最低，而級聯了SVM1、SVM2和SVM3分類器的SVM_3性能值最高。SVM_2級聯了SVM1和SVM2，相比SVM_1精確率和準確率有所提高，是因為SVM_2在初次分類的基礎上對PS_1進行了二次分類，部分被誤分的負樣本被剔除了，但由于正樣本沒有二次分類，所以召回率沒有提高。而SVM_3在SVM_2的基礎上再增加了對NS_1 的二次分類，被誤分的正樣本在這個過程中被剔除，所以精確率、召回率和準確率這3個指標均得到了提高。

3.4 特征參數設定對性能的影響

實驗中將BHaar特征維度設為3維，特征計算時將圖像Isr進行分塊，分成左右兩個子塊。為了驗證分塊的有效性，在分塊的基礎上再繼續分塊，分成4塊、8塊、16塊和32塊，對應的BHaar特征的維數分別為5維、9維、17維和33維。分塊時計算左右兩邊圖像塊對應的value均值的差值，并作為這些分塊方式對應的BHaar特征的最后一維元素的D-value值。依次將這些特征作為SVM2分類器的分類特征對PS_1進行分類，得出結果如圖10所示。從圖10中可知，BHaar特征中特征維數越多，精確率、召回率以及準確率越低，當維數為3時，3個性能指標最高。

圖10 BHaar特征中特征維數與值的關系

4 結束語

圖像處理算法應用在輸電線路上的防震錘智能巡檢具有重要意義。本文算法基于分塊的Haar特征、基于區域的LBP特征以及HOG特征一起作為組合特征來檢測防震錘。在檢測防震錘時，進行了預處理、模板匹配、提取組合特征、多級分類等過程。實驗結果表明，該算法有效地提高了高壓輸電線路上的防震錘檢測的準確率，為后續高壓輸電線路上防震錘的移位、脫落等故障檢測工作奠定了良好的基礎。