基于改進Faster-RCNN的海上升壓站涂層缺陷檢測與評估

聶晉峰，金緒良，殷愛鳴，張 麗，張 毅，陸相羽

(1.中國大唐集團科學技術研究總院有限公司 華北電力試驗研究院，北京 100040；2.武漢科思特儀器股份有限公司，湖北 武漢 430074；3.華中科技大學 電子信息與通信學院，湖北 武漢 430074)

0 引言

海上升壓站各部件在出廠前均覆有防腐涂層以防止鋼結構被腐蝕,從而延長升壓站結構部件的使用壽命。由于海浪侵蝕等因素的影響,升壓站的各部件防腐涂層會產生腐蝕、剝落等問題,極大降低了防腐涂層的保護作用,從而影響鋼結構設備的強度,對安全生產帶來隱患甚至是災害。因此涂層鋼結構缺陷的及時準確檢測對于升壓站的安全至關重要。海上升壓站基礎塔筒一般位于浪花飛濺區或海水潮差區,采用人工檢測的方式判斷涂層表面是否出現異常,人力成本較高,同時存在很大的安全風險。圖像處理技術和目標檢測技術的快速發展,使得它們在很多領域都得到了廣泛應用,包括遙感影像目標檢測[1]等。在缺陷檢測領域中,圖像處理技術和目標檢測技術也發揮了重要作用[2],為智能巡檢帶來了新型有效的手段。相較于傳統人工巡檢,智能巡檢具有成本低、操控方便等顯著優勢,且不受限于地形狀況,可以到達人徒步無法抵達的區域。

針對海上升壓站涂層缺陷檢測問題,本文首先構建了一個缺陷數據集;其次設計了一種基于Faster-RCNN的缺陷檢測算法,針對Faster-RCNN對升壓站涂層缺陷檢測的不足,對其進行了改進;再次,提出了一種涂層缺陷評估方法,實現了缺陷程度的自動化評估,提高了缺陷風險管控能力;最后,在構建的數據集上,驗證了缺陷檢測方法和缺陷評估方法的有效性。

1 缺陷檢測網絡設計

根據檢測思路的不同,檢測框架主要包括2種:一種是基于回歸的檢測框架,這種檢測框架也稱為單步法;另一種是基于候選窗口的目標檢測框架,也稱為兩步法。

相較于兩步法,單步法不需要提取候選框,將目標檢測看成是回歸問題,將分類和定位一起完成,典型方法包括YOLO[3]和SSD[4]等。單步法具有檢測速度快的特點,簡單網絡目標檢測速率可達50幀/秒左右,但在檢測精度方面,單步法的性能不如兩步法高。兩步法的典型方法包括Faster-RCNN[5]、Mask-RCNN[6]等,這類檢測方法精度較高,但其檢測速度可能不滿足實時任務的要求。海上升壓站涂層缺陷檢測的研究目標是涂層表面缺陷檢測與識別,涂層缺陷一般不會突然出現,缺陷嚴重程度也不會突然發生變化,因此缺陷檢測的精度比缺陷檢測的速度更為重要。因此,本文采用基于兩步法目標檢測框架Faster-RCNN,以在滿足準實時要求的情況下,最大程度地提高缺陷檢測精度,滿足實際應用需求。

本文設計的基于Faster-RCNN的海上升壓站涂層缺陷檢測網絡如圖1所示。

圖1 基于Faster-RCNN的涂層缺陷檢測網絡Fig.1 Coating defect detection network based on Faster-RCNN

圖1所示的海上升壓站缺陷檢測網絡由五部分組成:① 特征提取網絡:主要用來提取圖像的淺層視覺特征和深層語義特征;② 特征融合網絡:對淺層特征和深層特征進行融合,將融合后的多尺度特征送入后面的網絡中,有助于全面刻畫缺陷特征; ③ 候選區域推薦網絡:該網絡能夠對特征圖進行處理,凸顯缺陷所在的潛在區,候選區域推薦網絡可以輸出圖像中疑似缺陷區域,并給出疑似區的位置和存在缺陷的概率,以便將候選區域送入到后面的檢測頭網絡中進行進一步的回歸和分類;④ 檢測頭網絡:對候選區是否存在缺陷以及缺陷的類型進行判別,并給出更準確的位置信息;⑤ 目標檢測結果后處理,利用非極大值抑制(Non-Maximum Suppression,NMS)算法,對冗余檢測框進行精細化處理。

針對海上升壓站涂層缺陷形狀不規則、尺度變化大和定位難的特點,對Faster-RCNN進行了改進。首先,針對特征提取網絡,在原始骨干網絡Resnet50的基礎上,引入形變卷積[7]增大網絡對缺陷特征的提取能力;其次,使用多尺度特征融合對提取到的特征進行融合,有利于提升大面積點蝕缺陷的檢測能力;再次,使用ROI Align結構[6]替換ROI Pooling[5],以減少候選區域提取過程中的定位誤差;最后,在后續處理部分,改進Faster-RCNN原有的NMS算法,使用DIoU[8]替換IoU,進一步提高缺陷的定位精度。

1.1 基于形變卷積的特征提取網絡

缺陷具有形狀多變且不規則的特點,使用3×3的普通卷積在采樣的過程中會引入很多缺陷的背景,難以提取到缺陷的特征,因此采用形變卷積替換Faster-RCNN骨干網絡Resnet50中3×3的普通卷積。形變卷積使用了數據驅動的方式,自主選擇卷積過程中的采樣位置,以動態改變卷積過程中的感受野。對于一個標準卷積運算,其采樣位置可以采用網格R來表示,如對一個標準的3×3卷積,可以表示為R={(-1,-1),(-1,0),…,(1,1)},如圖2(a)所示。輸入特征Fin,對于輸出Fout中位置po的值,卷積的計算過程如下:

(1)

式中:K表示卷積核,pn表示R中定義的所有位置。形變卷積在標準卷積的基礎上增加了一個可以描述采樣位置偏移量{Δpn|n=1,2,…,N},其中N=|R|,如圖2(b)所示。形變卷積的計算過程可以表示為:

(2)

(a)普通卷積

(b)形變卷積

1.2 基于空洞卷積的多尺度特征融合

在對如圖3所示的大面積點蝕進行檢測時,往往因為腐蝕點比較分散且腐蝕面積比較大而不能檢測出完整的缺陷區域。

圖3 腐蝕檢測結果Fig.3 Corrosion detection results

通過對Faster-RCNN的網絡結構分析可知,骨干網絡Resnet50通過池化操作進行下采樣操作,可以使網絡層從上到下逐層獲得更大的感受野,獲得更多的全局信息和語義信息。但是多次使用池化操作減小圖像尺寸后,一方面會使原圖像的位置信息丟失,定位精度會受到影響,并會造成弱小點狀腐蝕的丟失。除此之外,在缺陷檢測中,需要對全局有很好的感知才能實現對缺陷進行良好的定位。

因此在Faster-RCNN的基礎上,提出了一個特征融合網絡FPN-MDM,其結構如圖1所示。首先為了避免信息丟失嚴重的情況,通過自頂向下的融合路徑,將提取到的深層特征與淺層網絡提取到的紋理和顏色等淺層特征相融合。在融合策略方面,針對感受野不足的問題,提出多尺度空洞卷積模塊MDM,以達到在不增加全部參數的條件下,擴大神經元的感知范圍的目的。多尺度空洞卷積模塊MDM由不同空洞率的空洞卷積[9]構成,如圖4所示。

圖4 MDM網絡結構Fig.4 MDM network structure

所謂空洞卷積就是在相應的卷積中不斷填入0,這樣既不會改變相應的計算量,也不會改變卷積網絡的大小,但可以不斷增加感受的視野,不僅可以提高信息提取的精準性,還可以加快信息提取的速度?？斩绰手赶噜従矸e中插入0的個數。普通卷積和空洞卷積如圖5所示。

(a)普通卷積

(b)空洞卷積

MDM模塊首先經過1×1普通卷積進行特征融合,然后融合后的特征經過不同空洞率的3×3的空洞卷積對特征進行融合。在MDM中,隨著模塊深度的增加,空洞率增大,空洞率越大,感受野越大。將空洞率按照文獻[10]分別設置為1、2、4、8和16。接下來,使用Concat的方法將不同空洞率得到的特征拼接在一起,隨后,使用1×1普通卷積進行特征降維,調整特征輸出通道數與輸入通道數一致。

1.3 候選區域推薦網絡

Faster-RCNN的方法采用候選區生成網絡(Region Proposal Network,RPN)搜索缺陷潛在區。經過RPN網絡處理后,會產生一系列候選框,由于不同的缺陷候選框大小不一,因此用于缺陷識別的特征圖大小也不相同,給后續的缺陷分類器設計帶來一定困擾。在傳統的Faster-RCNN中,使用ROI Pooling固定特征圖,但ROI Pooling的2次量化操作會造成檢測框的定位誤差,因此采用ROI Align來固定特征圖的大小。ROI Align采用雙線性插值的方法,利用特征圖上距離采樣點最近的4個像素得到像素值,通常這些采樣點的坐標為浮點數,而使用插值的方式獲得其像素值能夠避免2次量化帶來的誤差。

1.4 候選框篩選處理

Faster-RCNN中常使用NMS算法來移除一些網絡模型預測時生成的多余檢測框,該算法的核心思想是指搜索局部得分最大值預測框并移除與局部得分最大值預測框重疊度超過一定閾值的檢測框。需要注意的是,NMS算法是對所有待檢測目標類別分別執行的。

NMS算法的計算式為:

(3)

式中:M為當前得分最高框,bi為待處理框,si為待處理框對應類別得分值,Nt為IOU閾值。

NMS算法的具體執行步驟如下:

① 獲取當前所有目標類別中的某一類別標簽對應的所有檢測框(Bounding box,Bbox)信息,每個Bbox信息包括邊界框坐標和對應類別置信度。

② 對所有Bbox按照類別置信度從高到低進行排序,并記錄當前置信度最高的Bbox序號。

③ 計算置信度最高的Bbox與剩下所有Bbox的IOU值,并移除所有大于IOU閾值的Bbox。

④ 對剩余的Bbox,循環執行步驟②和步驟③,直到所有Bbox都滿足IOU閾值和置信度閾值要求,無需再重復操作。其他目標類別執行類似的操作。

NMS的原理是基于目標檢測置信度產生檢測框,其中置信度最高者會被選中,與被選中檢測框有明顯重疊的其他檢測框將會被抑制。

在NMS過程中,采用DIOU替換IOU,原因是DIOU的計算考慮到了兩框中心點位置的信息,可獲得更好的NMS效果?；贒IOU的NMS計算過程如下:

(4)

由于鋼結構表面涂層的同種缺陷之間不存在重疊現象,因此可將式(4)中的閾值Nt設為一個較低的數值,以便能更好地減少冗余框。

2 缺陷程度評估方法設計

缺陷程度的評估通常通過手工測量的方式進行[11],這種方式既費時又費力。隨著深度學習的發展,朱勁松等[12]設計了一種基于語義分割的病害評估方法,但該方法需要制備缺陷的逐像素標簽,同樣需要大量人力。因此,本文在缺陷檢測結果的基礎上,結合最大類間方差法(OTSU)[13]對缺陷區域進行分割,并根據缺陷分割結果,設計了一種缺陷嚴重程度評估方法。

直觀上來看,涂層缺陷的面積大小直接反映了缺陷的嚴重程度,為此,需要將缺陷區域從檢測框中分割開來。考慮缺陷區域與非缺陷區域在圖像的灰度級上具有良好的可分性,采用OTSU算法對缺陷檢測框進行缺陷區域的分割。圖6給出了一個基于OTSU的缺陷檢測框內缺陷區域分割的示例。圖6(c)表示缺陷分割結果,黑色區域為缺陷區域。

(a)原圖

(b)檢測結果

(c)缺陷分割結果

缺陷的面積直接反映了缺陷的嚴重程度,因此可以從絕對缺陷面積和相對缺陷面積兩方面來構造缺陷嚴重程度評價指標。

2.1 絕對缺陷面積

絕對缺陷面積指缺陷區域的面積,即在圖像上占像素點的數量。對于剝落和腐蝕缺陷,在涂層表面會形成較大的塊狀缺陷區域,對這些區域通過圖像分割和二值化處理后,可以獲得缺陷連通域,對缺陷連通域的像素進行統計,作為缺陷面積的估計值。假設目標框i內區域大小為counti,則圖像中每個檢測框的缺陷面積為:

areai=counti。

(5)

2.2 相對缺陷面積

相對缺陷面積指缺陷區域的面積areai占圖片大小的比例,設目標檢測框大小為M×N,即某一目標檢測框的相對缺陷面積表示為:

(6)

設置加權系數為0<λ<1,則綜合缺陷程度表示為:

Degree=λ×areai+(1-λ)×rel_areai。

(7)

3 實驗驗證與結果分析

3.1 缺陷數據集構建

構成海上升壓站表面缺陷數據庫的數據獲取形式包括三方面:類似海上鋼結構表面涂層缺陷圖像數據、實地采集的海上升壓站缺陷圖像數據以及通過數據增強擴增現有樣本。

3.1.1 類似海上升壓站表面涂層缺陷圖像數據

考慮到對于海上升壓站場景實際采集的困難性,本文采集和海上升壓站相似的陸上鋼架結構涂層缺陷圖像,作為海上升壓站表面涂層缺陷圖像的擴充,以增加樣本的多樣性。部分數據如圖7所示。

(a)腐蝕

(b)剝落

3.1.2 實地采集的海上升壓站缺陷圖像數據

實地采集的海上升壓站缺陷圖像數據通過自主拍攝的方式獲取。此部分數據作為數據集的主要數據,包括了陰天、晴天等各種情況。部分數據如圖8所示。

(a)腐蝕

(b)剝落

3.1.3 通過數據增強擴增現有樣本

考慮不同類別缺陷樣本的數量可能存在不均衡現象,導致某些類型的缺陷檢測效果不理想。采取對已有樣本通過隨機對比度增強、旋轉、添加噪聲、翻折和隨機裁剪等方式,實現訓練樣本的擴充,擴充后的部分數據如圖9所示。

(a)旋轉

(b)對比度增強

(c)添加噪聲

通過以上三個方面數據集的制備,構建的海上升壓站數據集共包含5 266張圖像,圖像大小為 512 pixel×512 pixel。

3.2 缺陷檢測精度分析

將制備的樣本集使用LabelImg標注矩形框。按8∶2的比例隨機挑選數據劃分為訓練集和測試集。首先,為了驗證本文改進方法的有效性,本節分別對基于形變卷積的特征提取網絡、基于空洞卷積的特征融合網絡和DIOU-NMS后處理進行消融實驗。最后,將常見的缺陷檢測算法與本文方法進行了測試,以驗證本文方法的先進性。

3.2.1 特征提取網絡有效性

為了驗證特征提取網絡的有效性,對比了對特征提取進行改進前后的檢測結果,如表1所示。

表1 特征提取網絡有效性Tab.1 Effectiveness of feature extraction network

從表1可以看出,使用形變卷積對特征提取網絡進行改進后,能顯著提高目標檢測網絡Faster-RCNN的檢測性能。除此之外,使用熱力圖對網絡輸出特征進行可視化,可以用來顯示輸入的圖像中哪個部分對圖像最終的分類判斷起到了作用。為了區分不同區域的作用權重,通過不同的顏色來顯示,顏色越紅,表示該區域對最終的分類判斷起到了越重要的作用。如圖10所示的剝落缺陷,分別使用普通卷積構成的神經網絡和形變卷積構成的神經網絡對其進行特征提取,并得到相應的熱力圖?？梢钥闯?使用形變卷積后網絡提取深度特征更加準確,能更好地提取到缺陷區域的特征。

(b)基于普通卷積 所得熱力圖

3.2.2 特征融合網絡

為了驗證特征融合網絡的有效性,本小節在已對特征提取網絡進行改進的基礎上,對比了對特征融合網絡進行改進前后的各項指標,如表2所示。除此之外,還將改進前后的檢測結果進行了可視化,結果如圖11所示。

表2 特征提取網絡有效性Tab.2 Effectiveness of feature extraction network

(a)特征融合網絡改進前結果

(b)特征融合網絡改進后結果

從圖11可以看出,對特征融合網絡進行改進后,原本未被檢測到的大面積腐蝕區域被成功檢出,且沒有影響小腐蝕缺陷檢測。這說明特征融合網絡融合多尺度特征以后,有利于不同尺度腐蝕缺陷的檢測。

3.2.3 DIOU-NMS有效性

為了驗證DIOU-NMS的有效性,本文在對特征提取網絡和特征融合進行改進的基礎上,對比了使用DIOU-NMS和IOU-NMS的檢測結果,結果如表3所示,圖12對二者的檢測結果進行了可視化。

表3 DIOU-NMS有效性Tab.3 DIOU-NMS effectiveness

(a)IOU-NMS

(b)DIOU-NMS

3.2.4 同類方法對比實驗

在對比實驗中,將本文算法與CascadeR-CNN[14]、YOLOv5、CenterNet[15]、RetinaNet[16]、VarifocalNet[17]、PAA[18]與本文的基線網絡Faster-RCNN進行了對比,使用單類目標剝落、腐蝕的平均精度(Average Precision,AP)和多類目標的平均精度均值(mean Average Precision,mAP)作為評價指標。結果如表4所示。

表4 不同方法的測試結果Tab.4 Test results of different methods

從表4可以看出,基于改進后的Faster-RCNN能夠很好地對剝落、腐蝕進行定位與分類。同時為了檢驗本文的改進方法對于真實場景的適應能力,使用真實場景中拍攝得到的缺陷圖片進行測試,測試結果示例如圖13所示?？梢钥闯?本文方法均能較好地檢測出剝落和腐蝕的缺陷。

(a)剝落缺陷檢測

(b)腐蝕缺陷檢測

3.3 缺陷程度評估結果分析

圖14給出了剝落、腐蝕缺陷程度評估結果,評估結果顯示在檢測框的上方?？梢钥闯?面積更大、更密集的缺陷區域,其評分更高,代表缺陷程度更嚴重,這反映了本文所構建的評價指標的客觀性。

(a)剝落缺陷評估

(b)腐蝕缺陷評估

4 結論

針對海上升壓站缺陷檢測問題,本文設計了一種基于改進Faster-RCNN的海上升壓站缺陷自動檢測方法,相對于原始的Faster-RCNN網絡,剝落的平均精度提高了6%,腐蝕的平均精度提高了12%,平均精度均值提高了9%,通過實測及其擴充的數據,驗證了本文所設計的缺陷檢測方法具有較高的精度,實現了海上升壓站缺陷自動化高精度的檢測。設計了一種缺陷病害程度評估的指標,實現了海上升壓站缺陷程度的定量化評估。