基于Faster R-卷積神經網絡的金屬點陣結構缺陷識別方法

張玉燕， 李永保， 溫銀堂， 張芝威

(1.燕山大學 電氣工程學院， 河北 秦皇島 066004； 2.燕山大學 測試計量技術及儀器河北省重點實驗室, 河北 秦皇島 066004)

0 引言

金屬點陣結構材料由有序微結構呈周期排列而成，是一種結構- 功能一體化新型有序多孔材料，具有超輕、高比強度、高比剛度、減震、耐沖擊等結構特性，以及高效散熱隔熱、耐火、吸聲、電磁波吸收等功能特性，近年來廣泛應用于航空航天、武器裝備等行業，應用需求日益迫切，因此對其性能要求也越來越高。

增材制造技術在金屬點陣結構材料制備中的優勢逐漸明顯，其設計和制造自由度較大，能夠有效解決復雜多層金屬結構材料的制備問題[1]。國內外對增材制造技術制備多層金屬點陣結構材料展開了相關研究[2-8]。Ushijima等[9]用選擇性激光金屬熔融(SLM)技術制備了一種金屬點陣結構，研究了不同激光功率和掃描速度對其力學性能造成的影響。Maskery等[10]研究了由SLM制備Al-Si10-Mg材質金屬點陣結構在準靜態負載下的力學性能，驗證了熱處理對于改善點陣結構的結構功能特性的有效性。Van等[11]對SLM制備的Ti-6Al-4V材質金剛石晶胞結構點陣材料進行研究，分析了影響點陣材料疲勞壽命的因素，并提出了改善材料疲勞壽命的方法。

增材制造的本質是將材料加熱至熔融狀態再進行逐層堆積冷卻成型，而材料在加熱熔融后又快速凝固、產生急劇的熱變化，從而產生大量殘余應力，造成結構翹曲、裂紋、斷層等不良效應[12]，這些不良效應在很大程度上降低了金屬點陣結構的結構- 功能性能。無損檢測方法可以作為金屬點陣結構性能可靠性、結構完整性的重要檢測手段，其檢測結果是新型材料設計、研制和改進的重要技術依據，也是結構質量控制和安全可靠性的有效技術支撐。對于金屬三維多層點陣復雜結構的內部缺陷，常規無損檢測方法[13-17]的檢測精度和適用性較難滿足精準、直觀的檢測需求。而工業CT技術能夠以二維斷層或三維立體圖像清晰、直觀地呈現被檢測物體內部結構和缺陷，能夠很好地適用于金屬三維多層點陣結構。但是，若要求從大量斷層圖像中快速識別、評定、統計檢出結果，僅依靠人工篩選和判定則需耗費大量時間，極易漏檢、誤判且效率極低，因此迫切需要研究高效的自動缺陷識別和評判方法。

深度學習由Hinton等[18]在2006年提出，具有多隱層人工神經網絡，且通過逐層初始化對原始數據進行訓練學習。深度學習在眾多領域都有應用，如語音識別、人臉識別、唇語識別、圖像分類識別、紋理識別、實時多人動作預測、醫療病患識別、自動駕駛、精準推薦等。最近幾年，屬于前饋深度網絡的卷積神經網絡(CNN)得到廣泛關注和研究。從2012年起，CNN在ImageNet大規模視覺識別挑戰賽中獲得了優越的成績[19-23]。由于CNN具有優異的識別分類能力，一些相關的CNN架構和算法被應用于多個領域并取得了良好效果。

截至目前，關于金屬點陣結構的增材制造制備技術、單元的結構設計、力學性能等研究較多，而關于金屬點陣結構內部缺陷的自動識別研究，國內外則鮮有報道。本文針對一種金屬三維多層點陣復雜結構，提出基于Faster R-CNN的內部缺陷快速識別方法，用訓練得到的模型實現了自動缺陷檢出和位置分布情況的分析。

1 樣件內部灰度圖獲取

本文研究對象是一種由SLM技術制備的三維多層點陣結構，其內部微結構單元為正四面體結構，每一個節點與其周圍4個節點之間等距離連接且呈一個固定角度,如圖1所示。整個三維多層點陣結構的內部結構較復雜，且其外部由一層板狀結構構成，使整個結構處于封閉狀態。因此需要一種無損檢測手段，將其內部結構直觀地呈現出來，對其內部缺陷進行檢測識別。

圖1 金屬點陣結構微單元結構圖Fig.1 Microstructure chart of metal lattice structure

本文采用工業CT無損檢測方法對多層金屬點陣結構材料進行掃描，可分別從xy、yz和xz層面分別進行切片處理，所用CT系統的切片厚度為0.1 mm. 考慮被測樣件的結構外形特點，按照平行于微結構橫向排布截面(即xy層面)進行切片，獲得斷層圖像，所含有效像素個數更多。如圖2所示，其中紅框為缺陷。

圖2 金屬點陣結構二維斷層圖像Fig.2 Two-dimensional tomographic images of metal lattice structure

對于結構內部的某處缺陷，可能在多張相鄰的二維斷層灰度圖像中都有所體現，但其特征的表現形式隨著切片處點陣結構的變化而變化，且缺陷的大小尺寸不同(見圖3)，隨著切片位置的不同，該處缺陷在每張圖片中的呈現形式也不同。

圖3 實際缺陷在不同斷層圖像中的表現形式Fig.3 Representation of actual defects in different tomographic images

2 基于Faster R-CNN的缺陷識別方法

2.1 Faster R-CNN網絡結構

CNN非常適用于圖像的特征提取，由于其神經元之間的連接是非全連接的，且部分神經元之間能夠共享權值，降低了模型復雜度，大大減少了網絡所需參數。近年來，在CNN基礎上又相繼出現了R-CNN[24]、Fast R-CNN[25]、Faster R-CNN[26]等算法。其中，Faster R-CNN得到了較廣泛的應用[27-28]。

Faster R-CNN網絡架構是在CNN基礎上發展起來的，將Fast R-CNN與區域建議網絡(RPN)相結合，它用RPN取代Selective Search來進行建議區域的提取。RPN可以直接利用整個檢測網絡的卷積特征提取建議區域，減少了建議區域的提取時間，而且得到的建議區域更加精確可靠，從而提高了整個網絡架構的速度和準確性。RPN與Fast R-CNN通過共享卷積層訓練全連接層構成一個統一網絡。本文采用Faster R-CNN網絡架構，對用工業CT采集到的金屬點陣結構內部缺陷進行訓練和識別。與R-CNN和Fast R-CNN相比，Faster R-CNN對目標的識別定位具有更高的準確度和更快的速度。

2.2 區域建議網絡

RPN是Faster R-CNN網絡結構中的一個重要環節，其結構圖如圖4所示。在得到最后一層卷積層的特征圖后，用大小為3×3的滑動窗口對其進行掃描，得到新的n-d特征圖，再通過分類層cls和位置回歸層reg得到目標的分類和位置。其中，在每個滑動窗口中心處分別按照不同的寬、高比例獲得k個區域建議，得到k個區域建議框左上角和右下角共4k個偏移量和以其為前景或背景的共2k個概率得分。

圖4 區域建議網絡結構Fig.4 Structure of region proposal network

在對RPN層進行訓練時，遵循整個訓練網絡的多任務損失函數L如下：

(1)

(2)

x、y分別為區域的中心點坐標，w、h分別為區域的寬度和高度，smoothL1(x)為魯棒的損失函數，

(3)

2.3 感興趣區域池化層

當RPN層完成感興趣區域(RoI)生成后，需要對RoI內的目標類型進行識別判斷，而RPN生成的RoI尺寸并不一致，其所對應的特征圖尺寸也不同，給目標類型的最終識別帶來不便。因此需要對RoI尺寸進行處理，以使每一個RoI對應的特征圖尺寸固定，而RoI池化能夠實現這一目的。

RoI池化是池化的一種方式，主要是針對RoI的池化操作，RoI池化層的輸入包含兩部分：一是整個卷積網絡的最后一層特征圖；二是RPN層輸出的區域建議信息，區域建議信息包括建議區域左上角和右下角4個坐標值和索引。根據區域建議和原始圖像間的位置關系，將建議區域映射到特征圖相應的位置，將特征圖對應的映射區域劃分為相同尺寸的部分，再對每一個相應部位進行最大池化，得到與RoI同等數目的特征圖，進而對這些特征圖進行分類和回歸。

2.4 整體網絡結構設計

由于本文使用的訓練樣本集較少且識別目標分類單一，為避免整個網絡架構出現過擬合現象，通過3個卷積層和2個池化層對目標進行特征提取，其總體網絡架構如圖5所示。其中：第1層卷積層包含32個大小為7×7的卷積核，步長為2，填充寬度為0，用大小為3×3、步長為2、填充為0對卷積層輸出進行最大池化；第2層卷積層包含64個大小為5×5的卷積核，步長為2、填充寬度為1，用大小為3×3、步長為2、填充為1對卷積層輸出進行最大池化；第3層卷積層包含64大小為3×3的卷積核，步長為1、填充寬度為2.

在得到最后一層卷積特征層后，RPN和Fast R-CNN共享其特征參數。結合特征圖，經過RPN網絡得到了區域建議和區域得分，其中RPN網絡是由3×3滑動窗口在得到的特征圖上進行滑動，每滑動一個位置采用3個面積尺寸和3種不同長、寬比例進行窗口截取，每個滑動窗口得到9個不同建議區域，分別計算每個區域的位置坐標(9×4)和區域為目標或背景得分(9×2)，共得到3 969(21×21×9)個建議窗口。選取得分最高的300個建議窗口，通過Roi Pooling層得到大小統一的矩形建議框，送入全連接層判定目標的類別和最終精確位置。

圖5 Faster R-CNN整體網絡架構Fig.5 Faster R-CNN network structure

3 缺陷識別結果分析

通過多功能X射線微聚焦CT系統[30]對金屬點陣結構樣件的掃描，可得到其內部結構重建。由于SLM技術的特點，點陣結構內部缺陷的方向一致性較強。因此，對于同一種類型缺陷(包含結點缺陷)，可認為具有較強的空間對稱性。在xy、yz和xz層面的斷層圖像中，同類缺陷的特征基本相同。針對不同層面的切片，需制作相應的訓練樣本，因為xy層面的圖像有效像素個數較多，更易于處理，所以本文只對xy層面斷層圖像進行缺陷識別。

對樣件三維重構中的xy層面二維圖像進行等距離截取，共得到124張包含金屬點陣結構有效區域的二維斷層圖像，取得的樣件截面圖有效區域大小為1 474×1 583×3. 從這124張斷層圖像中選取部分含有缺陷區域作為樣本集(見圖6)，每張訓練圖片大小為350×350×3，共得到300個樣本集。為了增加樣本數量，在樣本集中隨機進行平移、縮小放大、翻轉處理，與原有的樣本構成新的樣本集。

圖6 帶有缺陷的樣本集(350×350×3)Fig.6 Sample set with defects(350×350×3)

實驗使用的仿真平臺為Windows，以開源的Caffe(Convolutional Architecture for Fast Feature)作為訓練框架來快速構建所需的訓練模型，用開源的OpenCV函數庫進行圖像處理、分析，整個訓練用MATLAB在GPU模式下完成。

在缺陷識別模型訓練開始前，將整個缺陷樣本集隨機分為兩部分，即用于模型訓練的訓練集和判斷模型是否有效的測試集，且兩部分不發生交錯重復。在構建好整個網絡后，將制作好的訓練集導入整個Faster R-CNN網絡中進行訓練，最終得到訓練好的模型。在訓練完成后對測試集進行測試，得到整個測試結果的平均正確率AP，該網絡的準確率與召回率曲線所包含的面積即為AP值，AP值越大表示訓練模型越好，測試集中缺陷識別的準確率與召回率曲線圖如圖7所示，其中AP值為0.995，其檢測效果較好。

圖7 測試結果的準確率與召回率曲線Fig.7 Precision-recall curve of test result

圖9 金屬點陣結構缺陷識別結果Fig.9 Recognised results of metal lattice structure defects

由于金屬點陣結構內部某一處宏觀實際缺陷在多張CT掃描斷層圖像都有體現，當斷層圖像對應實際缺陷的端部位置時，灰度圖中表現出來的缺陷特征較難識別，如圖8中紅框所示。通過深度學習訓練得到的缺陷檢測模型對其進行檢測識別時易造成遺漏，且由于被檢測對象本身的不規則性和工業CT掃描技術的限制，在灰度圖中像素點灰度值分布不均勻處也會形成誤判，因此會影響缺陷識別結果的準確率。但是這種差異可以根據多層缺陷識別結果剔除一些誤判，保持缺陷識別定位的準確性。

圖8 同一端部位置缺陷對應的不同斷層圖像Fig.8 Different slices corresponding to the defect at one end

選取缺陷分布較復雜的二維灰度圖，導入訓練好的模型進行缺陷檢測，含有缺陷斷層圖像的缺陷檢測識別結果如圖9所示。圖9中，藍色框表示缺陷對應的定位結果，其上方的數字部分是對應缺陷區域的分類得分。由于掃描金屬點陣結構時斷層之間的距離較小，每一個缺陷層對應多個掃描斷層，將所有的掃描斷層灰度圖導入訓練好的模型中對其中的缺陷進行識別定位，可在缺陷層對應的掃描斷層灰度圖中檢測出缺陷并對缺陷進行定位。如圖10所示，缺陷層對應的所有掃描斷層都能被檢測出缺陷，并且缺陷的定位框集中在同一區域。

圖10 實際缺陷對應的斷層圖像缺陷識別Fig.10 Recognised results of defects in the tomographic images corresponding to the actual defects

將124張經工業CT掃描得到的斷層灰度圖像導入訓練好的模型中進行缺陷檢測，結合每張灰度圖的缺陷識別情況，將所有缺陷定位標識框集中在一個立體圖中，得到金屬點陣結構樣件內部缺陷的分布狀況。如圖11所示，整個金屬點陣結構的內部缺陷分為3層，共有21個缺陷，其中底層有3個缺陷，中層有7個缺陷，上層有11個缺陷。

圖11 金屬點陣結構內部缺陷立體位置Fig.11 Three-dimensional positions of internal defects of metal lattice structure

在對金屬點陣結構斷層灰度圖像中的缺陷進行識別定位后，根據CT掃描參數和圖像中的有效區域對應的像素點個數，可以初步對二維圖中的缺陷大小進行描述。本文從已識別出的含缺陷圖像中隨機取一張，對其中的缺陷部位進行了尺寸標記，如圖12所示，其中紅框標記對應缺陷部位涉及到的點陣單元結構二維平面尺寸范圍，黃框對應的是缺陷部位的區域范圍。

圖12 斷層圖像中缺陷的尺寸標記Fig.12 Size marking of defect in tomographic image

4 結論

針對工業CT掃描技術得到的金屬點陣結構內部灰度圖中的缺陷識別和定位問題，本文提出了一種基于Faster R-CNN的缺陷識別算法。算法分析及實驗結果表明：

1)算法通過設計特征提取網絡，修改RPN網絡，實現對樣件內部的典型缺陷進行準確識別及定位，識別效果較好。

2)在訓練算法前，使用一些數據增強方法，對提高算法性能有很大幫助。

3)本文算法只考慮一類缺陷的識別，后續可以考慮對多類型缺陷進行識別。

4)本文算法對于點陣結構中缺陷的量化表征，僅從二維圖像來描述缺陷的大小，還不足以體現結構中某一處宏觀缺陷的三維特征，應結合CT三維重構算法進行缺陷表征，今后尚需進一步研究。