基于離散余弦變換和相位譜的鋼管內表面缺陷檢測①

李曉輝,趙 璞,于振寧,劉傳水,趙 毅

1(長安大學 電子與控制工程學院,西安 710064)

2(渤海裝備 華油鋼管有限公司,滄州 062658)

當前,鋼鐵作為我國的工業基礎,所有的工業生產都離不開鋼材,鋼材本身質量的好壞直接影響了成品質量.鋼板是鋼材的主要產品,它被廣泛應用于各個領域,尤其是在石油運輸方面.在石油運輸中,石油運輸管道一般都采用鋼管來制造,它在制造完成后,其內壁表面一般會有內斷、劃痕以及凹坑等問題[1].如果在其出廠之前沒有發現這些問題并對其進行處理,將會縮短它的使用壽命.因此,鋼管制造商在制造完鋼管后,需要對其進行各種各樣的檢測工作.在以上檢測中,管道內表面缺陷檢測就是其中一個非常重要的部分[1].

一般傳統上對于鋼管內表面質量的檢測方法主要采用的是人工目測.即讓工人走進管道,依靠人眼檢查,該方法對于鋼管內表面具有明顯缺陷的情況下,可以顯而易見的篩選出來.但是,對于一些細微的缺陷,并不是能夠很好的辨別出來,從而造成漏檢現象,使得根管道的降級或報廢,嚴重浪費生產資源.鋼管在生成完成后,溫度一般都比較高,這時工人進入管道有一定的安全風險,而且對工人的身體健康不利.還有一些管道的管徑比較小,工人無法進入.因此,傳統的人工目測方法由于客觀原因,并不長期適用于鋼管內表面的質量檢測,會降低生產效率并加大成本,并且存在安全隱患[2].

隨著計算機技術的不斷發展,計算機視覺在圖像識別方面的效果越來越好,基于計算機視覺的檢測技術作為一種新興的無損檢測技術,具有檢測效率高、受環境影響小、易于發現及便于量化等優勢,將其應用于鋼材表面缺陷檢測能夠提高檢測效率和準確性,因此讓計算機對鋼材表面進行識別是一個很好的選擇[3].針對管道內表面缺陷的檢測,研究人員利用圖像處理技術對圖像進行檢測,使用算法來檢測圖像上的缺陷.在2005年,有研究人員提出用神經網絡來對鋼板進行表面缺陷檢測,并取得比較好的效果[4].2008年華中科技大學提出一種基于改進BP 神經網絡的缺陷分類器,解決了缺陷的快速識別問題[5].2015年出現了用SVM與遺傳算法相結合、SVM 與粒子群算法結合等方式來進行鋼板表面缺陷的識別[6].隨著卷積神經網絡在圖像識別上巨大成功,有很多開始使用卷積神經網絡進行管道內缺陷檢測,并且取得了很好的成績[7-9].但是由于使用卷積神經網絡時,不但需要大量的數據,而且還需要消耗較大的人力去對數據進行標注.當數據較少時,卷積神經網絡往往會產生過擬合,并不能達到理想的效果.由于在實際生產中鋼管一般都是合格品,內表面很少會遇到缺陷,這便導致基于卷積神經網絡的檢測方法無法在本實驗中發揮效果.

為了解決這個問題,通過實驗發現顯著性檢測在鋼管內表面檢測上有很好的效果,與深度學習相比,它不需要數據集,而且好多學者已經利用顯著性進行其他物體的檢測而且取得不錯的效果[10].故本文提出一種基于圖像離散余弦變化和相位信息相融合的顯著性檢測模型.

1 鋼管內表面缺陷檢測

在圖像頻域中,圖像信息可以分為相位信息和幅值信息兩種[11,12].其中圖像的相位信息是圖像經過傅里葉變換后的,其包含著圖像的結構信息,可以展示出圖像的絕大部分重要特征,但是有些特征可能是正常的背景,是不需要顯示的.離散余弦變換可以較好的將圖像頻域能量聚集起來,能夠把圖像更重要的信息聚集在一塊,對于那些不重要的頻域區域和系數就能夠直接裁剪掉.本文算法流程示意圖如圖1所示,它首先獲取圖像RGB 三個通道上的信息;然后分別對這3 個通道信息進行離散余弦變換(DCT),得到3 個圖像特征,對這個3 個特征進行反離散余弦變換(IDCT) 得到3 個重建圖像;最后通過疊加得到其利用離散余弦變換后的缺陷顯著圖.同時再獲取原始圖像的相位信息,形成其在相位上的缺陷顯著圖.通過圖像融合將這兩個缺陷顯著圖給融合成一張最終的缺陷顯著圖;最后將最終的顯著圖二值化,通過連通區域檢測檢測將缺陷的位置信息檢測出來,映射到原始圖像上,得到最后的缺陷檢測圖.

圖1 算法流程示意圖

1.1 圖像特征顯著圖

根據Hou的研究[13],原始的圖像信息I(x,y)由前景信息和背景信息組成的,其表示形式為:

式中,f(x,y)表示圖像的前景信息,b(x,y)表示圖像的背景信息.

由于缺陷信息一般都是處于前景中,為了可以精確的提取缺陷信息,構建了下面的顯著性模型.將原始圖像I(x,y)的RGB 三通道的分量分別進行DCT,分別得到3 個圖像的頻域信息:

式中,Ii代 表原始圖像在RGB 通道上的分量;Fi代表圖像的頻域信息.

DCT 表示離散余弦變換.為了使缺陷信息更加顯著,需要增強前景信息的特征.由于離散余弦變換可以將圖像重要的信息聚集起來,故通過使用s ign函數,將其按照前景和背景把圖像的像素置為1和-1,從而裁剪掉圖像中不重要的信息:

式中,Si代表圖像特征.

根據上述的SR,SG,SB三個圖像特征,再通過下述公式計算得到圖像特征的重構圖像為:

式中,A(x,y)表示圖像特征的重構圖;IDCT表示離散反余弦變化.

對圖像特征重構圖先利用3 ×3的高斯核對其進行高斯平滑,再將其歸一化,就得到了圖像特征顯著圖,如圖2.

圖2 圖像特征顯著圖

圖2表示出了利用上述方法得到的圖像特征顯著圖.圖2(a)為原始圖像,可見中間的焊縫及它上面的異物為視覺顯著性區域.圖2(b)為圖像特征顯著圖.其中,亮度值越高的區域表示該處像素的明暗差異越大,即該處是圖像的前景.從圖2可以看出,白色區域指向了原圖的異物,但是卻無法識別出同樣顯著的焊縫,不滿足需求.故需要使用相位譜信息來輔助檢測.

1.2 相位顯著圖

原始圖像的相位信息保存著圖像的重要特征,它的顯著圖包含了原始圖像的絕大部分的細節結構.由于相位信息是顯著性的位置信息的體現,因此在重構圖像相位顯著圖時,應該保留完整的圖像相位信息.所以,采用Guo 提出的顯著性檢測模型[14]提取圖像的相位顯著圖.與上述算法不同,提取相位譜需要對原始圖像I(x,y)進行傅里葉變換,但是相位信息不需要圖像的顏色變化,為了減少計算量,故先將原始圖像轉換為灰度圖像.計算步驟如下:

式中,FFT和IFFT 分別表示傅里葉變換和傅里葉反變換;Ig(x,y)表示原始圖像轉換成的灰度圖像;p是求相角函數;S(x,y)表示圖像的相位特征;P(x,y)表示圖像的相位重構圖.與提取圖像特征的顯著圖一樣,經過高斯平滑和歸一化后,便得到了圖像的相位顯著圖.

圖3表示出了利用上述方法得到的相位顯著圖.圖3(b)為相位顯著圖.從相位顯著圖上可以看出,該方法對確實是對圖像中的細節信息比較敏感,不但檢測出了焊縫,也檢測出了左上角顯著性不是很強的區域,但是焊縫上異物的顯著性卻沒體現出來.

圖3 相位顯著圖

1.3 顯著圖融合技術研究

根據上述分析,需要結合圖像特征顯著圖和相位顯著圖的特點,過程如圖4.將最終輸出的圖像特征顯著圖A(x,y)和相位顯著圖P(x,y)進行加權融合:

圖4 檢測過程

式中,I′(x,y)表示融合后的顯著圖;α表示圖像融合系數.

用以上方法對圖像進行處理后,得到的顯著圖既可以體現出原始圖像的明暗變化,又可以展示出原始圖像的重要細節.但是只是簡單的將兩者按1:1 相疊加,會使圖像中的細節信息減弱,對比度降低,從而使融合結果達不到期望的效果.

圖像的相位信息中,圖像的細節信息比較多,所以在圖像融合時,應該使得圖像的相位顯著圖的權重高于圖像特征顯著圖.但是在相位顯著圖中有許多誤以為顯著的信息,需要抑制這部分信息的顯示.故采用下述改進的方法來進行圖像融合:

其中,1 -α ＞α ;β1,β2和β3為圖像亮度增強值.

通過減少圖像相位顯著圖的亮度來降低相位圖中非顯著的細節信息對融合后的圖像的影響.由于圖像特征顯著圖的權重低,通過增加它的亮度來使得其的顯著信息更加明顯.最后的β3給融合后的顯著圖增加了亮度,方便圖像進行二值化.圖4(b)圖展示了融合后的顯著圖.

對缺陷位置的識別,采用一種快速簡單的方法——連通區域檢測[15].將融合后的顯著圖進行二值化,把具有相同像素值得相鄰像素組成一個連通區域.求出連通區域的邊界,可以得到缺陷的位置信息,將其繪制到原圖上,可以得到圖像缺陷檢測圖.如圖4(c)所示為經過二值化以后的顯著圖,可以發現通過上述方法,很好地抑制了相位圖中的非顯著信息.圖4(d)是利用連通區域檢測獲得的缺陷的位置,可以發現幾乎可以準確的找到鋼管內表面缺陷的位置,達到了預期的效果.

2 實驗結果與分析

2.1 實驗數據采集

本文通過管道機器人巡檢來獲取圖像.管道機器人系統工作流程:先由軌道平板車帶動機器人移動,當它到達管口時停止移動,然后機器人從軌道車進入管道內部,攝像機啟動拍攝圖像,機器人通過四射攝像頭拍攝管道內壁不同角度的圖像,機器人到達管道底部時,停止移動,回退到管道起始端,確認軌道車在指定位置后返回到軌道車上.圖5為機器人巡檢管道系統模型及現場巡檢照片.

圖5 機器人巡檢圖片

為了驗證本文提出的鋼管內表面缺陷檢測算法,從管道機器人對鋼管巡檢的數據中,挑選出有缺陷的圖像制作成數據集,然后從中隨機抽選30 張做測試,并與基于相位譜的檢測方法[14]、基于譜殘余的檢測方法[16]和基于頻率調諧的檢測方法[17]進行對比.式(9)中的參數設置為:α=0.3,β1=10,β2=10,β3=10.

2.2 顯著圖結果對比

把利用上述3 種方法以及本文方法形成的顯著圖進行對比,實驗結果如圖6所示,其中圖6(a)是原始圖像,圖6(b)、圖6(c)、圖6(d)分別是基于相位譜、譜殘余和頻率調諧得到的顯著圖,圖6(e)是利用本文方法得到顯著圖.由圖6可以看出,本文方法既可以檢測出顯著性非常集中的區域,又可以檢測出顯著性分撒的區域.總的來說,本文方法在顯著性檢測方面的效果最好.

圖6 各種方法對比

2.3 檢測準確性和檢測時間

為了客觀的反映出上述方法的性能,本文選用計算機視覺中常用的準確率和檢測時間.準確率是算法能識別出的鋼管內表面缺陷個數與數據集中所有的內表面缺陷個數的比值,檢測時間為算法檢測一張圖像所需要的時間.同時,為了更好的對比本文方法的性能,也采用了卷積神經網絡的方法[18]進行對比,得出檢測準確率和檢測時間如表1所示.

表1 實驗結果

由表1可以看出,本文方法的準確率明顯高于其他方法.由于卷積神經網絡是利用GPU 進行運算的,所以其檢測速度非常快.但同時因為數據集本身的數據過少,使得卷積神經網絡過擬合,在測試集上的準確率非常低.本文方法結合了圖像特征信息和相位信息,雖然檢測時間大幅度上升,但是它的準確率也大幅度上升,顯示了本文方法的優越性.圖7展示了鋼管內表面異常檢測結果示例.

圖7 鋼管內表面異常檢測示例

3 結束語

針對鋼管內表面異常檢測的問題,本文分析了圖像相位信息和經過離散余弦變化后的信息的特點,并結合著兩種方法的優勢,提出了一種新的鋼管內表面異常檢測方法.實驗結果表明,相比其他幾種檢測方法,本文方法的檢測效果更好,準確率更高,它的檢測時間長也可以滿足工業生產.但是本文方法也存在漏檢情況,下一步可以通過收集大量的數據,制作成深度學習的數據集,使用卷積神經網絡來對鋼管內進行檢測,它的準確率應該會更高,而且可以滿足實時的需求.