超聲圖像中復合材料褶皺形態(tài)的Mask-RCNN 識別方法*

張海燕 徐心語 馬雪芬 朱琦 彭麗

1) (上海大學通信與信息工程學院,上海先進通信與數(shù)據(jù)科學研究院,上海 200444)

2) (上海電機學院機械學院,上海 201306)

3) (上海大學機電工程與自動化學院,上海 200444)

復合材料在制造和使用過程中不可避免地會產(chǎn)生褶皺缺陷,因其形態(tài)變化多樣,形變程度較小,人工辨認存在一定障礙,容易出現(xiàn)錯漏情況.為提高檢測效率,提出利用Mask-RCNN(Mask region-based convolutional neural networks)目標檢測算法對復合材料超聲圖像中不同形態(tài)的褶皺缺陷進行檢測并分類.制備含有不同形態(tài)褶皺缺陷的碳纖維復合材料層合板,利用超聲相控陣采集全矩陣數(shù)據(jù);通過波數(shù)成像算法得到復合材料層合板縱切面圖像,根據(jù)地質層中褶皺的幾何學特征,將復合材料層合板中存在的不同褶皺分為三類,進而建立褶皺形態(tài)與材料損傷程度之間的關系;提出Mask-RCNN 算法用于褶皺缺陷的自動檢測并分類,該算法中語義分割的引入可顯示褶皺缺陷的位置和形狀.實驗結果表明:Mask-RCNN 對不同形態(tài)褶皺識別的準確率分別達到92.1%,90.9%和93.3%,褶皺分類識別準確、有效.為實現(xiàn)復合材料層合板數(shù)據(jù)采集-成像-缺陷判別一體化、自動化提供了理論支撐.

1 引言

碳纖維復合材料具有高比剛度、高比強度、耐高溫、耐磨擦等特性,一定程度上取代了傳統(tǒng)金屬、合金材料,在航空航天、化工、建筑、汽車和醫(yī)學等領域發(fā)揮著重要作用[1-4].由于不同復合材料制備工藝自身缺陷、操作者失誤或者外力擠壓拉伸諸如此類的因素導致復合材料出現(xiàn)夾雜、空隙、褶皺、斷裂等缺陷[5].缺陷會對復合材料造成不可逆轉的損傷,影響材料性能,如果不能及時準確檢測出缺陷,可能會造成嚴重經(jīng)濟損失、威脅生命安全.

褶皺是指復合材料內部的一層或多層纖維在復合材料的表面或內部形成的折痕、皺紋或彎曲變形[6].褶皺因為變形程度不同,大小差異明顯,成為難以識別的缺陷類型.對褶皺的識別以及褶皺帶來的損傷研究成為復合材料缺陷研究領域的重點問題.Hsiao和 Danie[7,8]通過對單向面外褶皺的復合板進行實驗,得出褶皺會顯著地降低層合板的剛度和壓縮強度的結論.Alexander和Kulkarni[9]研究了管道褶皺對管道完整性和壽命的影響.李韋清等[10]發(fā)現(xiàn)褶皺角度是衡量內嵌褶皺對層合板拉伸性能影響的最主要因素,其拉伸性能呈現(xiàn)出隨褶皺角度的增加而逐漸降低的趨勢.張婷等[11]研究了褶皺角對力學性能的影響,證明復合材料的拉伸強度和壓縮強度均隨褶皺角度的增大而持續(xù)降低.

近年來,國內外關于復合材料褶皺缺陷的研究有一些新的進展.Sandhu 等[12]提出一種馬爾可夫鏈蒙特卡羅算法,使用Karhunen-Loeve(KL)模式定義的隨機場參數(shù)化來定義缺陷,從缺陷的圖像數(shù)據(jù)中推導出褶皺缺陷的隨機分布,該方法顯著地降低了隨機數(shù)值研究參數(shù)化對缺陷影響的不確定性.KL 系數(shù)的分布是從使用改進版本的B-Scan 數(shù)據(jù)中提取的錯位數(shù)據(jù)中推斷出來的.Koich 等[13]研制了一種新型渦流檢測探頭,利用該探頭可以檢測到在厚的單向碳纖維增強復合材料中引起的平面波紋.在掃描具有平面外波形的材料時,獲得的復平面輸出信號環(huán)狀圖能夠識別平面外光纖波形是否存在,并確定其位置.張海燕等[14]提出基于指向性函數(shù)校正的全聚焦成像方法,有效地降低了背景噪聲,被檢試樣的褶皺缺陷和鋪層結構等細節(jié)信息得到了準確還原.

褶皺本身屬于微小缺陷,其物理形狀和空間分布通常具有分散性,在復合材料中表現(xiàn)復雜,檢測難度大.現(xiàn)階段的缺陷檢測大多是在成像方法上進行改進,以提高褶皺成像準確度和分辨率,很少存在對于復合材料褶皺缺陷的自動化識別檢測.因此,提出利用Mask-RCNN 算法對碳纖維復合材料褶皺缺陷進行檢測并分類.利用波數(shù)成像法生成包含褶皺的復合材料縱切面圖片,以此為基礎制作數(shù)據(jù)集,然后基于Mask-RCNN 算法進行訓練檢測,識別出褶皺缺陷并對其進行分類.此方法的缺陷檢測結果可視化,不需要二次人工診斷,不受主觀因素影響,并且對缺陷按形態(tài)分類有助于與復合材料損傷程度建立聯(lián)系,以此判斷材料性能.

2 復合材料褶皺的超聲成像及分類模型

針對人工識別褶皺缺陷的局限性,提出一種褶皺缺陷自動分類識別的方法,圖1 為其流程圖.該方法可概括為兩部分:一是由包含褶皺缺陷的待測樣品得到超聲圖像;二是對深度學習模型進行訓練并得到檢測結果.

圖1 褶皺缺陷自動分類識別流程圖Fig.1.Flow chart of automatic classification and recognition of wrinkle defects.

2.1 全矩陣波數(shù)算法多層介質成像

復合材料層合板由不同介質層疊加而成,不同介質層擁有不同的波速.在復合材料層合板成像中,將超聲相控陣收發(fā)的全矩陣數(shù)據(jù)[15]運用波外推法將陣列虛擬的移動到第l層的頂部,在每一層實現(xiàn)超聲波束聚焦,多層介質被分為厚度為dl的不同均勻介質.因此,張海燕等[16]提出混合玻璃纖維層的碳纖維增強復合材料層合板的正向模型為

其中ω為角頻率;f(x,z)為散射體的分布;波數(shù)ku和kv分別對應于超聲相控陣發(fā)射陣元 (u,0)和接收陣元 (v,0) ,G(x,z,ω) 為格林函數(shù)[17],并且

其中cl為第l層的波速.

時域數(shù)據(jù)通過三維傅里葉變換轉換為頻波(f—k)數(shù)域數(shù)據(jù):

對每個波數(shù)對應的二維傅里葉變換數(shù)據(jù)片進行逆Stolt插值變換,完成E(kv,ω|ku) 到F(kx,kz,|ku)的轉換:

其中

通過計算每個ku的二維傅里葉變換,得到波數(shù)域中的圖像:

最后進行二維傅里葉反變換實現(xiàn)圖像重建:

利用波數(shù)成像法總共得到200 張灰度圖像,排除無缺陷和無法辨別的圖片,得到包含缺陷的有效原始復合板縱切面圖175 張,其中訓練集和測試集按4∶1 劃分.

2.2 形態(tài)分類

復合材料層合板受到的損傷程度不同,導致產(chǎn)生形變也不相同.由于復合材料層合板與地質層幾何形態(tài)相似,借助地層中褶皺幾何學特征[18]來研究復合板中褶皺的幾何形態(tài).將褶皺缺陷分為三種不同幾何形態(tài),分別為form-I,form-II和form-III,如圖2 所示.form-Ⅰ是褶皺的形成階段,鋪層形成波紋形隆起,且鋪層之間平行,褶皺寬高比不同對力學性能的影響也不同.form-Ⅱ是褶皺發(fā)展階段,部分鋪層之間發(fā)生相交合并的形變,損傷程度加重.form-Ⅲ是褶皺生長的最終階段,在褶皺內部存在部分斷裂,此時復合材料損傷嚴重,褶皺已經(jīng)向斷層演變.

圖2 褶皺形態(tài)分類 (a) form-Ⅰ類別褶皺形態(tài);(b) form-Ⅱ類別褶皺形態(tài);(c) form-Ⅲ類別褶皺形態(tài)Fig.2.Classification of wrinkle morphology:(a) Form-Ⅰcategory wrinkle morphology;(b) form-Ⅱ category wrinkle morphology;(c) form-Ⅲ category wrinkle morphology.

2.3 數(shù)據(jù)增強

在使用深度學習模型訓練網(wǎng)絡時,數(shù)據(jù)集圖片數(shù)量太少很容易出現(xiàn)過擬合現(xiàn)象[19],造成模型準確率降低,因此需要進行數(shù)據(jù)增強.通過python程序對每一張標注過的原始圖片進行模糊、亮度調整、平移、鏡像或以上任意操作的疊加組合生成新的圖像并保存,同時生成相對應的標簽文件.每張圖片經(jīng)過處理生成5 張新圖片,圖像數(shù)量擴大為原來的6 倍.原始圖像140 張,最終用于模型訓練的數(shù)據(jù)集包含840 張帶標簽的圖像.

2.4 Mask-RCNN 網(wǎng)絡模型

深度學習因其能夠自動提取鑒別特征的優(yōu)越性,已被應用于層壓復合材料的結構健康監(jiān)測.提出基于Mask-RCNN 算法對復合材料層合板中的褶皺缺陷進行檢測和分類.Mask-RCNN 網(wǎng)絡結構如圖3 所示.Mask-RCNN 包含兩個分支,能夠同時實現(xiàn)分類、回歸及分割三項任務,因此用該網(wǎng)絡對復合材料層合板的褶皺缺陷進行檢測和分類,可同時顯示缺陷輪廓實現(xiàn)定位檢測.模型采用RPN(region rroposal network) 區(qū)域建議網(wǎng)絡層,分類使用的是基于softmax 函數(shù)[20]的交叉熵損失函數(shù),該算法以類別樣本特征的“最大值”判斷和抽取作為核心取向,能夠實現(xiàn)快速收斂.RPN 的回歸是從前向傳播計算得到的所有anchors 偏移量數(shù)組中找到正樣本所在索引對應的偏移量,以此與正樣本和真實框之間的偏移量計算損失值,使用的是基于smoothL1 函數(shù)的損失函數(shù),來更新權重實現(xiàn)反向傳播.Mask 為掩膜圖像分支,先分類后分割,顯示每一個褶皺缺陷的位置和形狀輪廓.

圖3 Mask-RCNN 網(wǎng)絡結構Fig.3.The network structure of Mask-RCNN.

為檢測復合材料層合板中的褶皺缺陷選用ResNet50(residual network,殘差網(wǎng)絡)作為Mask-RCNN 算法中特征提取的骨干網(wǎng)絡(backbone),其具有易于優(yōu)化的特點.ResNet50 包含50 個conv2d操作.首先對輸入進行卷積,輸入部分采用的卷積核為7×7,能夠在縮小圖像尺寸的同時保留盡量多的圖像特征信息,接著包含4 個殘差塊(residual block),最后進行全連接操作以便于進行分類任務,圖4 為其網(wǎng)絡構成.

圖4 ResNet50 網(wǎng)絡構成Fig.4.ResNet50 network composition.

3 實 驗

實驗采用計算機、M2M (Multi2000,M2M Inc,Les Ulis,France)相控陣超聲波探傷儀、相控陣探頭、碳纖維增強復合材料層合板試樣,實驗裝置如圖5 所示,各參數(shù)設置如表1 所列.實驗樣品為280 mm×180 mm×18 mm 的碳纖維復合材料層合板,該板堆疊角為[0/(0/90)20/0/(0/90)10/0/(0/90)10/0/(0/90)10/0/(0/90)10/0],堆疊序列為[G/C40/G/C20/G/C20/G/C20/G/C20/G],其中G和C表示單向玻璃和碳纖維預預料,厚度分別為0.08 mm和0.14 mm.所用Mask-RCNN 算法模型在keras+tensorflow 框架下運行,學習率設置為0.001,輸入圖像尺寸為512 pixel×512 pixel,bitch size 為1,目標檢測種類分為form-Ⅰ,form-Ⅱ和form-Ⅲ三類.

圖5 實驗裝置圖Fig.5.Experimental device.

表1 超聲相控陣參數(shù)設置Table 1.Parameter settings of ultrasonic phased array.

將超聲相控陣探頭放置于復合材料表面,利用超聲相控陣收集32×32 全矩陣數(shù)據(jù),記錄一次數(shù)據(jù)改變一次位置,根據(jù)波數(shù)成像法得到碳纖維增強復合材料層合板試樣不同位置的縱切面灰度圖,得到圖像分辨率為709×378,進行數(shù)據(jù)增強,完成數(shù)據(jù)集的準備工作.圖6 為檢測試樣及其波數(shù)成像,圖6(a)為檢測試樣的顯微鏡圖,圖6(b)為圖6(a)的波數(shù)成像結果,圖6(c)為圖6(b)加噪聲后的結果,圖6(d)為對圖6(b)調整亮度并沿x軸翻轉后的結果.

圖6 檢測試樣及其波數(shù)成像 (a) 顯微鏡圖;(b) 波數(shù)成像法圖;(c) 對圖(b)加噪聲;(d) 對圖(b)調整亮度并沿x 軸翻轉Fig.6.est sample and its wavenumber imaging:(a) Microscope image;(b) wavenumber algorithm;(c) add noise to Figure (b);(d) adjust the brightness of Figure (b) and flip along the x-axis.

由于三種形態(tài)褶皺缺陷樣本數(shù)量不均衡,采用MicroF1作為模型分類結果的評價指標.MicroF1為將n分類的評價拆成n個二分類的評價,將n個二分類評價的TP (true positives),FP (false positives)和FN(false negatives)對應相加,計算評價準確率P=TP/(TP+FP)和召回率R=TP/(TP+FN).其中,TP,FP和FN 由混淆矩陣中引出,這些數(shù)據(jù)被用于評估分類器的性能[21].TP:正樣本被正確識別為正樣本;TN:負樣本被正確識別為負樣本;FP:假的正樣本,即負樣本被錯誤識別為正樣本;FN:假的負樣本,即正樣本被錯誤識別為負樣本.

由準確率P和召回率R計算評價指標 MicroF1,其表達式為

MicroF1取值在0—1 之間,分數(shù)越高,分類效果越好.

4 結果與分析

400 個epoch 后Mask-RCNN模型loss開始收斂.取測試集圖片輸入訓練好的模型進行檢測,得到結果如圖7 所示.從圖7 可以看出,無論是單個褶皺缺陷還是多個褶皺缺陷,無論是一種類別還是多種類別,都能在圖像中準確定位、分類識別.圖7(b)表明圖7(a)只包含一個褶皺,類別為form-Ⅲ,形狀已由紅色陰影區(qū)域標明,該缺陷位于x軸5—15 mm,深度3—6 mm 處.圖7(d)表示圖7(c)包含兩個form-Ⅲ類別的褶皺缺陷,兩個褶皺形狀分別由兩塊紅色陰影標明,兩處缺陷分別位于x軸19—32 mm,深度12—14 mm 處和x軸15—30 mm,深度15—17 mm 處.圖7(f)表示圖7(e)包含一個form-Ⅱ類別褶皺、兩個form-Ⅰ類別褶皺,分別由兩個分類檢測框標注檢測結果,form-Ⅱ類褶皺形狀由一塊位于x軸10—16 mm,深度4—6 mm 處的紅色陰影標明,form-Ⅰ類由位于x軸8—19 mm,深度7—8 mm 以及x軸5—15 mm,深度11—12 mm 處的兩塊藍綠色陰影標明.圖7 檢測結果表明,在復合材料層合板中,雖然褶皺缺陷和非缺陷部分結構差距細微,難以辨認,Mask-RCNN 模型仍然能夠實現(xiàn)對褶皺缺陷的分類識別,分類檢測結果準確,還原褶皺的位置和形狀.并且,不同褶皺的識別之間互不影響,原始圖片存在多少個、多少種褶皺,模型就能夠全部檢測識別.將三類不同形態(tài)褶皺與材料損傷等級建立聯(lián)系,由form-Ⅰ到form-Ⅱ再到form-Ⅲ,根據(jù)褶皺生長規(guī)律,材料損傷程度逐級增強,在圖7中可以看出:圖7(f)包含form-Ⅰ,form-Ⅱ兩類褶皺,褶皺還處在發(fā)展階段,材料損傷程度較弱;而圖7(b)和圖7(d)都包含的是form-Ⅲ類型褶皺,此類褶皺已經(jīng)向斷層演變,損傷程度強.

圖7 測試圖像及其分類結果 (a) 含有一個褶皺的原始圖片;(b)圖(a)的測試結果圖;(c)含有同一種類多個褶皺的原始圖片;(d)圖(c)的測試結果圖;(e) 含有多種類多個褶皺的原始圖片;(f)圖(e)的測試結果Fig.7.Test image and its results:(a) The original picture containing one wrinkle;(b) the test result picture of Figure (a);(c) the original picture containing multiple wrinkles of the same type;(d) the test result picture of Figure (c);(e) the original picture containing multiple types of wrinkles;(f) the test result picture of Figure (e).

測試集共有35 張包含褶皺缺陷的圖片,其中form-Ⅰ類褶皺缺陷有39 處,form-Ⅱ類褶皺缺陷有10 處,form-Ⅲ類褶皺缺陷有31 處.表2 為分類結果的混淆矩陣.三分類變成三個二分類,每一類的混淆矩陣數(shù)據(jù)如表3,表4和表5 所列.根據(jù)表3、表4和表5 中數(shù)據(jù)可得,Mask-RCNN 模型對form-Ⅰ類型褶皺識別準確率為PⅠ=0.921,form-Ⅱ類型褶皺識別準確率為PⅡ=0.909,form-Ⅲ類型褶皺識別準確率為PⅢ=0.933,三類褶皺缺陷識別的總準確率P=0.924,召回率R=0.913,然后由(8)式得MicroF1=0.918,分數(shù)接近于1,分類效果優(yōu)秀,能夠達到對褶皺缺陷準確分類識別的實驗目的,證明該模型有效.

表2 分類結果的混淆矩陣Table 2.Classification results confusion matrix.

表3 form-Ⅰ混淆矩陣數(shù)據(jù)Table 3.The form-Ⅰ confusion matrix data.

表4 form-Ⅱ混淆矩陣數(shù)據(jù)Table 4.The form-Ⅱ confusion matrix data.

表5 form-Ⅲ混淆矩陣數(shù)據(jù)Table 5.The form-Ⅲ confusion matrix data.

5 結論

由于復合材料褶皺缺陷細微多樣,識別檢測困難,提出一種基于Mask-RCNN 的復合材料褶皺自動分類方法.以復合材料層合板為樣本采集數(shù)據(jù),將褶皺按形態(tài)學分為三類,對其進行分類識別.研究結果為:

1) 提出Mask-RCNN 算法進行碳纖維復合材料中褶皺的識別.人工識別褶皺缺陷受檢測者心理、生理狀態(tài)等影響,檢測結果失準,并且費時費力.Mask-RCNN 深度學習算法克服了主觀因素影響,能夠準確高效的識別褶皺缺陷,達到復合材料褶皺缺陷無損檢測的目的.

2) 借助地層中褶皺的幾何形態(tài)對碳纖維復合材料中的褶皺進行分類.按照褶皺發(fā)展過程中的波紋平行隆起、波紋交合、褶皺部分斷裂三個階段,將褶皺分為form-Ⅰ,form-Ⅱ和form-Ⅲ三類,以此作為Mask-RCNN 模型訓練時的分類標準.在此基礎上,建立褶皺形態(tài)與材料損傷等級之間的聯(lián)系,進而實現(xiàn)復合材料性能評價.

3) Mask-RCNN 算法中語義分割的引入能夠顯示出碳纖維復合材料層合板褶皺缺陷的位置和形狀,褶皺缺陷檢測結果可視化,提高了檢測效率.