基于旋轉不變HOG特征的焊縫缺陷類型識別算法①

王 璐,王新房

(西安理工大學 自動化與信息工程學院,西安 710048)

X射線焊縫圖像缺陷檢測和識別在無損檢測領域十分重要.實驗前期對焊縫以及焊接技術進行大量研究發現,國內很多學者使用的方法是單個逐次提取樣本特征,被使用頻次較多的是缺陷的灰度特征和形態特征,如楊川與羅來齊使用的識別方法,二者不同點在于構建特征參數的計算公式.采用樣本形態和灰度特征的好處在于,可以根據所研究對象的特點,構建出與缺陷特點相對應的特征參數[1,2],但是這種方法能提取到的特征參數數量有限,因此其適用范圍有一定的局限性.

HOG特征即方向梯度直方圖特征,大量地被使用做物體檢測的特征描述子,其主要思想是一幅圖像中的局部目標可以很好地被梯度分布描述.HOG特征提取結合支持向量機SVM的分類思想,近些年被廣泛的應用在行人檢測和車輛識別等領域,尤其是在行人檢測領域,取得了很大的進步.該方法最大的優點在于,識別結果對光照所產生的環境變化,敏感程度很低,目標圖像發生小幅度的旋轉時,識別結果也較為穩定.然而當目標圖像旋轉幅度很大或發生尺度變化時,HOG特征將不再適用.這也是HOG特征在焊接領域未被大量應用的原因.本文將根據HOG的局限性和X射線焊縫圖像采集系統的成像特點,提出一種具有旋轉不變性的HOG特征提取方法.

1 圖像采集

1.1 采集系統

本文的實驗對象來源于某鋼管廠實際生產過程中采集的焊縫缺陷圖像.該廠使用的硬件圖像采集設備是以X射線[3,4]為基礎的DR成像系統(見圖1),軟件設備為DR成像與缺陷檢測軟件系統.工業探傷過程中,焊接工件缺陷處與正常區域處的厚度、密度不同,利用X射線對焊接工件進行掃描,射線透射工件后的能量變化也不同,所以可根據生成圖像各點灰度值的不同來判斷工件中是否有缺陷以及估計缺陷區域的厚度.DR成像系統的工作原理是X射線透射過焊接工件后,與DR面板上的熒光介質相互作用產生光信號,再經光電反應轉換為電信號,并通過A/D轉換后得到數字圖像,傳送至DR成像與缺陷檢測軟件系統中顯示后,可做分析和處理.DR成像系統分辨率高,環境適應性好.

圖1 DR成像系統

本文以DR成像缺陷檢測系統為基礎采集實驗數據集,利用微軟公司提供的基礎類庫MFC、消息機制、多線程等相關技術,以及C++面向對象及模塊化的思想,設計并實現了DR成像與缺陷檢測軟件系統的缺陷類型識別功能.

1.2 ROI區域的截取

DR系統采集到的焊縫圖像大小為1024*1024,ROI區域即實驗對象,是焊縫圖像的一部分,是通過DR成像缺陷檢測系統截取出來的缺陷區域.

以圖2標準測試管中的缺陷為例,一張焊縫圖片上出現兩個氣孔類型缺陷,即兩個ROI區域,則需要將其依次截取出來作為實驗對象.從大量的焊縫圖像中截取多個ROI缺陷區域構成實驗數據集.對于不同的缺陷,其形狀、亮度、區域大小不完全相同.

圖2 ROI截取過程示意圖

2 實驗對象分析

參照國家標準文獻GB 6417-86金屬熔化焊焊縫缺陷分類及說明,生產過程中共定義出六種缺陷如圖.

圖3 各種缺陷類型原圖像

下面就已經掌握的焊縫缺陷類型來說明使用傳統HOG特征在本次研究中的優勢和弊端.

通過對缺陷圖像的觀察發現,X射線采集系統所采集到的圖片光照強度有所差異,HOG特征對圖像幾何的和光學的形變都能保持很好的不變性,這一優點可以解決實驗過程中由于光照不同而引起的特征差異問題.

對于本次實驗的操作對象,傳統HOG也有其不足之處.HOG在行人檢測領域得到廣泛應用的原因是,行人運動時,始終與地面保持垂直姿態,也就是說,目標在一定范圍內的旋轉幅度很小.而本文中提到的操作對象,自身角度差異很大,如圖4所示,同一類型的缺陷可能以不同旋轉姿態出現,同時在實際檢測過程中,焊縫或焊道本身也具有很大的方向差異,如圖5所示.

圖4 同類型不同方向缺陷

圖5 不同方向焊縫

小范圍的角度差異對HOG特征的影響較小,但是焊縫缺陷的角度差異是很大的.本次研究的目的是通過對HOG特征提取方法的改進,來得到一種對目標旋轉角度不敏感的HOG特征.可同時保證HOG特征的幾何、光照、旋轉不變性.

3 旋轉不變HOG特征提取

HOG特征本身不具有尺度不變性和旋轉不變性,為解決其尺度不變性的局限,我們將得到的目標圖像統一尺度變換為32*32像素大小.

針對HOG旋轉不變性的局限,有學者提出過相關的改進算法.羅濱[5]提出基于主方向旋轉不變的HOG特征,通過算法,找到能夠描述被識別對象的主方向,然后將目標沿主方向旋轉.這種方法在被識別對象有規律性且層次豐富時,有很好的識別效果,但對于焊縫缺陷的識別效果并不顯著.湯彪[6]通過改變HOG特征細胞劃分方法,使得當物體發生旋轉時,每個細胞所包含的像素點不變,重新構建梯度矩陣和梯度方向,從而使HOG具有旋轉不變性.本次研究的基本思想以此為基礎,并加以深度研究和改進.

3.1 圖像的劃分

傳統HOG特征使用的是方形模板劃分方式,劃分方向從左到右,從上到下,本文采用圓形劃分方式,由內而外地劃分目標圖像.

以圖像中心點為圓心,w為圓環寬度,向外劃分出一系列同心圓環區域.這里的每一個圓環為一個細胞cell,第一個cell為圓,其余cell為環形區域.相鄰的兩個圓環構成一個block塊,如圖6陰影部分為一個block.掃描方向由內向外.

圖6 目標圖像的劃分方法

經過圓形區域劃分之后,被識別目標發生旋轉時,每一個圓環區域內包含的像素點是不變的.

3.2 梯度與梯度方向計算

傳統的HOG特征計算是基于像素點固定的水平和垂直方向位置灰度值的計算,如式(1),其中gradient X,gradient Y分別表示像素點在水平和垂直方向上的梯度,V表示梯度幅值,a為梯度方向角度.

若目標旋轉,則對應每個像素點水平和垂直方向的鄰點便會發生改變.為了獲得旋轉不變的梯度,對梯度進行近似RGT變換.

圖7 近似RGT變換示意圖

向量g,r,t分別表示像素p的梯度向量,徑向方向單位向量和切向方向單位向量.為提高運算效率和計算過程的簡便性,不用對每一點像素求r,t.以45度為分割節點,將目標圖像劃分為八個區域,region1～region8,region i的像素點使用r[i],t[i]方向分別作為該像素點的徑向和切向單位方向向量.

表1 各向量的表示

經過對梯度的重新定義,像素點RGT梯度幅值和角度的計算公式如下.

3.3 旋轉不變HOG特征提取

旋轉不變HOG特征的提取過程與傳統方法類似,分為以下幾步:

Step1.圖像通過尺度變換,得到32*32大小的目標圖像;

Step2.將目標圖像進行圓形劃分;

Step3.計算經過RGT變換后的各像素點的梯度幅值和方向;

Step4.相鄰兩個圓環的HOG特征連接為一個block特征,并對其進行歸一化;

Step5.所有block特征連接,構成缺陷圖像的HOG特征.

在湯彪[6]的研究中,作者使用的目標圖像大小為100*100,影響HOG特征維數的參數有三個:binNum角度的等級劃分數、Angel角度范圍、width環寬.作者令binNum為9,Angel為180度,width為10,經過這樣的定義,一幅實驗目標圖可劃分為10個cell區域,從而可得到一個90維的HOG特征向量.這樣劃分的缺點在于,圖像固定區域劃分,各個block之間并無重疊,也就是說,一個像素點的梯度只影響一個block的HOG特征組成.在此,本文定義了一個全新的能反映block重疊程度的參數P,以便在統計結果時更直觀地觀察到block重疊對正確率的影響.

P值越大,則表明各相鄰block之間的重疊面積越大.

block有重疊,意味著同一像素點會出現在不同block的特征描述子中,所反映的信息量便會更多.

引入另外一個參數skipStep掃描步長,可以很好地控制各個block重疊范圍的大小.環寬width越大,掃描步數skipStep越小,block之間的重疊區域越大,得到的HOG特征維數就越多.維數計算公式為式(4),其中height表示目標圖像寬度,本次實驗中height為32個像素大小.

本文提取的HOG特征維數與四個參數的選擇有關,梯度方向等級劃分數binNum、角度范圍Angel、環寬width、掃描步長skipStep.本次實驗選擇binNum=9,Angel=180,得到的各方向梯度幅值圖像如圖8至圖12所示.

圖8 尺度變換后32*32的圖像

圖9 水平方向梯度圖像

圖10 垂直方向梯度圖像

圖11 徑向方向梯度圖像

圖12 切向方向梯度圖像

4 PCA降維

為剔除冗余信息并提高運算效率,在使用支持向量機進行分類之前,需要對提取到的HOG特征進行PCA降維,PCA降維即主成分分析法[7].這里需要注意的是,PCA降維是對所有類型樣本統一進行降維,包括各類訓練樣本和測試樣本.PCA降維過程分為以下幾步:

Step1.計算HOG矩陣不同維度的協方差矩陣;

Step2.計算協方差矩陣的特征向量和特征值,并將特征值按照從大到小的順序排列;

Step3.選擇前n維特征,使其貢獻率剛好高于或等于95%.

當binNum=9,Angel=180時,多次改變掃描步數和環寬的大小,PCA降維后的HOG特征維數如表2所示.

5 LSSVM缺陷類型識別

選取各類樣本的3/5作為訓練樣本,2/5作為測試樣本,采用LSSVM模型進行識別.

表2 PCA降維后的維數

為說明HOG特征的相對性優點,我們將基于形態特征和灰度特征的識別結果與本次實驗結果做對比.

5.1 基于形態特征和灰度特征的識別結果

提取所有樣本的六維形態和灰度特征,計算公式如表3所示.

表3 樣本形態與灰度特征提取

實驗樣本數目分配、輸出編碼方式以及實驗結果如下表所示.

表4 樣本分配與實驗結果

根據實驗結果,未熔合,燒穿的識別正確率最高.誤識別率較高的情況有,夾渣和氣孔混淆識別,氣孔和咬邊混淆識別.雖然實驗結果較好,但是隨著數據集的擴大,樣本差異性的減小,在實際使用過程中的識別率相比較實驗結果會更小.

5.2 基于旋轉不變HOG特征的識別結果

將經過PCA降維后的樣本使用LSSVM模型進行識別.選取binNum=9,Angel=180變化掃描步數和環寬,所對應的識別結果如表5所示.

表5 基于旋轉不變HOG特征的實驗結果統計

由實驗結果可知,在一定范圍內,block重疊范圍越大,整體識別正確率越高,當block重疊率達到75%時,所提取到的HOG特征所包含的信息量足夠豐富,整體識別的正確率較高.繼續升高重疊率會導致信息冗余過大,正確率下降.因此,整體而言,本文所提到的方法相比較傳統的提取缺陷灰度和形態特征的識別方法更具有優勢.

6 結論

通過改變細胞劃分方式在傳統HOG特征的基礎上提出一種改進的特征提取方法,使其具有旋轉不變性特征,并在此理論的基礎上使用LSSVM模型對缺陷進行識別.通過與灰度和形態特征識別方法的對比,以及對該方法參數變化與識別正確率關系的分析,得到以下結論.

(1)相比較基于缺陷灰度和形態特征的缺陷識別方法,本文提出的算法可根據各參數的設置來提高其適用范圍.

(2)尺度歸一化方法,和圓形細胞的劃分方式,打破了傳統HOG特征不具有尺度不變性和旋轉不變性的局限.

(3)在對旋轉不變HOG特征的研究過程中發現,在一定范圍內,block快重疊范圍P越大,正確率小幅度上升,當塊重疊率達到75%時,識別率最高.

在今后的實際使用過程中,可通過調節各個參數來達到缺陷類型識別的目的.

1楊川.焊縫缺陷圖像特征提取研究[碩士學位論文].武漢:武漢理工大學,2010.

2羅來齊.管道缺陷檢測與識別方法研究與實現[碩士學位論文].鎮江:江蘇大學,2016.

3Cui WC,Chen S,Yu TS,et al.Feature extraction of X-ray chest image based on KPCA.Proceedings of the 2nd International Conference on Computer Science and Network Technology (ICCSNT).Changchun,China.2012.1263-1266.

4Daum W,Rose P,Heidt H,et al.Automatic recognition of weld defects in X-ray inspection.British Journal of Nondestructive Testing,1987,29(2):79-81.

5羅濱,朱長仁,任云,等.基于主方向的旋轉不變HOG特征.現代電子技術,2015,38(22):84-87,90.

6湯彪,左崢嶸,李明.基于旋轉不變HOG特征的圖像匹配算法.中國科技論文在線,http://www.paper.edu.cn/releasepaper/content/201301-1025.

7Ashour MW,Khalid F,Halin AA,et al.Machining process classification using PCA reduced histogram features and the support vector machine.Proceedings of 2015 IEEE International Conference on Signal and Image Processing Applications (ICSIPA).Kuala Lumpur,Malaysia.2015.414-418.