基于機(jī)器視覺(jué)與深度學(xué)習(xí)的飛機(jī)防護(hù)柵裂紋檢測(cè)系統(tǒng)

張良安， 陳洋， 謝勝龍， 劉同鑫

(1.安徽工業(yè)大學(xué) 機(jī)械工程學(xué)院， 安徽 馬鞍山 243000；2.安徽省工業(yè)互聯(lián)網(wǎng)智能應(yīng)用與安全工程實(shí)驗(yàn)室， 安徽 馬鞍山 243023；3.中國(guó)計(jì)量大學(xué) 機(jī)電工程學(xué)院， 浙江 杭州 310018)

0 引言

飛機(jī)防護(hù)柵作為飛機(jī)發(fā)動(dòng)機(jī)進(jìn)氣口的防護(hù)裝置，能有效阻止沙石等外來(lái)物被吸入進(jìn)氣口，為飛機(jī)發(fā)動(dòng)機(jī)葉片正常工作提供保護(hù)作用[1-2]。但在其使用過(guò)程中，不可避免地會(huì)受到高速氣流所產(chǎn)生的應(yīng)力作用和外來(lái)物的沖擊，從而產(chǎn)生不同程度的裂紋。如果不及時(shí)發(fā)現(xiàn)并維修，則防護(hù)柵網(wǎng)格可能因此斷裂并失效，引起沙石等外來(lái)物吸入進(jìn)氣口，造成發(fā)動(dòng)機(jī)葉片損傷，進(jìn)而導(dǎo)致嚴(yán)重的飛行事故。因此，實(shí)現(xiàn)飛機(jī)防護(hù)柵裂紋的快速檢測(cè)十分重要[3-4]。

目前，在飛機(jī)疲勞試驗(yàn)中裂紋的檢測(cè)手段主要包括人工檢查、渦流和超聲波等[5-7]，這些方法因防護(hù)柵的特殊結(jié)構(gòu)在檢測(cè)效率和檢測(cè)精度上都受到了極大的限制。機(jī)器視覺(jué)檢測(cè)構(gòu)成主要為相機(jī)、鏡頭、光源、圖像處理軟件、控制系統(tǒng)等，通過(guò)對(duì)工業(yè)相機(jī)采集到的圖像進(jìn)行相應(yīng)的圖像處理，根據(jù)反饋得到檢測(cè)結(jié)果。機(jī)器視覺(jué)檢測(cè)為無(wú)接觸測(cè)量面，對(duì)被檢測(cè)的物體材料和形狀等都無(wú)特定的要求，因此應(yīng)用廣泛。隨著機(jī)器視覺(jué)技術(shù)的快速發(fā)展，深度神經(jīng)網(wǎng)絡(luò)在分類(lèi)、檢測(cè)和識(shí)別方面的檢測(cè)效率和精度都得到了大幅提升[8]。相比傳統(tǒng)的機(jī)器學(xué)習(xí)需要預(yù)處理和人工提取特征等一系列復(fù)雜操作[9]，深度學(xué)習(xí)只需要構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)就會(huì)主動(dòng)學(xué)習(xí)圖像特征，從而完成特征提取，為裂紋自動(dòng)化檢測(cè)提供了一條新的解決路徑，因此引起了國(guó)內(nèi)外很多學(xué)者的關(guān)注。陳波等[10]對(duì)圖像處理和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究，實(shí)現(xiàn)了對(duì)壩面裂紋的識(shí)別。Zheng等[11]設(shè)計(jì)開(kāi)發(fā)了一種使用有限數(shù)量的訓(xùn)練圖像進(jìn)行軌道表面裂紋檢測(cè)的深度遷移學(xué)習(xí)框架。王森等[12]為實(shí)現(xiàn)復(fù)雜背景下裂紋目標(biāo)的有效檢測(cè)及降低錯(cuò)誤標(biāo)記，將全卷積網(wǎng)絡(luò)(FCN)引入圖像裂紋檢測(cè)中，并針對(duì)裂紋檢測(cè)實(shí)驗(yàn)中FCN模型存在丟失局部信息和喪失部分精細(xì)化區(qū)分能力的問(wèn)題，構(gòu)建了一種Crack FCN模型。呂帥帥等[13]為了解決飛機(jī)結(jié)構(gòu)構(gòu)型多樣及疲勞試驗(yàn)環(huán)境復(fù)雜等問(wèn)題，提出了一種基于關(guān)鍵結(jié)構(gòu)定位的檢測(cè)策略，并以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)對(duì)模型架構(gòu)和非極大值抑制模塊進(jìn)行了適應(yīng)性改進(jìn)，提出了一種裂紋自動(dòng)識(shí)別方法。以上研究均表明圖像處理與深度學(xué)習(xí)技術(shù)對(duì)裂紋的檢測(cè)具有很好的效果，但目前在飛機(jī)防護(hù)柵的表面裂紋檢測(cè)中尚未見(jiàn)到相關(guān)應(yīng)用。

本文基于機(jī)器視覺(jué)技術(shù)設(shè)計(jì)了一種飛機(jī)防護(hù)柵裂紋檢測(cè)裝置，并結(jié)合圖像處理技術(shù)與深度學(xué)習(xí)原理提出了一種飛機(jī)防護(hù)柵裂紋檢測(cè)算法。在自制防護(hù)柵裂紋數(shù)據(jù)集的基礎(chǔ)上，分別采用ZF-Net、VGG-16和ResNet-101卷積神經(jīng)網(wǎng)絡(luò)作為Faster-RCNN特征提取網(wǎng)絡(luò)，開(kāi)展了防護(hù)柵表面裂紋對(duì)比研究，并得出相關(guān)結(jié)論。

1 檢測(cè)系統(tǒng)設(shè)計(jì)

1.1 防護(hù)柵結(jié)構(gòu)

本文研究的飛機(jī)防護(hù)柵實(shí)物如圖1所示，圖1(a)所示為飛機(jī)防護(hù)柵正面實(shí)物示意圖，圖1(b)所示為其反面和槽面實(shí)物示意圖。該防護(hù)柵由1.8 mm厚度的鈦合金板材加工而成，其表面分布有9萬(wàn)多個(gè)2.5 mm×2.5 mm的小網(wǎng)格，網(wǎng)格之間的格框?qū)挾葍H為0.55 mm，且裂紋非常細(xì)小，有的裂紋寬度僅有10 μm左右，多分布在防護(hù)柵網(wǎng)格與網(wǎng)格之間的分界處，檢測(cè)環(huán)境復(fù)雜。飛機(jī)防護(hù)柵這種結(jié)構(gòu)特點(diǎn)給人工檢測(cè)帶來(lái)了極大的難度，而傳統(tǒng)的無(wú)損檢測(cè)技術(shù)(如超聲波和渦流等)也因這種結(jié)構(gòu)特點(diǎn)無(wú)論是在檢測(cè)效率還是檢測(cè)精度上都受到了極大的限制。而機(jī)器視覺(jué)因?yàn)槠錂z測(cè)的無(wú)接觸性、精度高和現(xiàn)場(chǎng)抗干擾能力強(qiáng)等突出的優(yōu)點(diǎn)，在這種困難檢測(cè)條件下能較好地完成裂紋檢測(cè)任務(wù)。

因此，研究新型飛機(jī)防護(hù)柵裂紋自動(dòng)檢測(cè)系統(tǒng)以代替?zhèn)鹘y(tǒng)的檢測(cè)手段，具有非常重要的意義。

圖1 飛機(jī)防護(hù)柵結(jié)構(gòu)示意圖Fig.1 Protective grill structure

1.2 檢測(cè)系統(tǒng)

飛機(jī)防護(hù)柵裂紋檢測(cè)裝置如圖2所示，它由高精密三坐標(biāo)機(jī)器人控制系統(tǒng)、末端相機(jī)裝載裝置、數(shù)字成像系統(tǒng)和計(jì)算機(jī)平臺(tái)組成。

圖2 檢測(cè)裝置Fig.2 Detection device

高精密三坐標(biāo)機(jī)器人移動(dòng)控制系統(tǒng)由1臺(tái)工控機(jī)和7組高精度驅(qū)動(dòng)控制平臺(tái)組成。每1組精密驅(qū)動(dòng)控制平臺(tái)都由1個(gè)伺服驅(qū)動(dòng)器、1個(gè)伺服電機(jī)組成，7組高精度驅(qū)動(dòng)控制平臺(tái)統(tǒng)一由1塊PCI運(yùn)動(dòng)控制卡控制。防護(hù)柵放置平臺(tái)如圖3所示，3組高精度驅(qū)動(dòng)控制平臺(tái)可使該放置平臺(tái)進(jìn)入設(shè)備內(nèi)部，并且可沿x軸、y軸方向傾斜，從而使相機(jī)能全方位采集防護(hù)柵圖像。為加快圖像采集和檢測(cè)效率，結(jié)合防護(hù)柵的結(jié)構(gòu)特點(diǎn)在三坐標(biāo)機(jī)器人末端設(shè)計(jì)了能同時(shí)搭載8個(gè)相機(jī)的相機(jī)搭載裝置，如圖4所示。

圖3 防護(hù)柵放置平臺(tái)Fig.3 Protective grill placement platform

圖4 相機(jī)搭載裝置Fig.4 Camera mounting device

設(shè)備硬件具體參數(shù)如表1所示，2 000萬(wàn)像素的工業(yè)相機(jī)搭配光學(xué)倍率為0.44的遠(yuǎn)心鏡頭，能夠精確成像僅10 μm寬的裂紋，有效地解決裂紋尺度較小對(duì)檢測(cè)效果的影響。環(huán)形漫射光源能為防護(hù)柵提供均勻高亮度照明，千兆以太網(wǎng)能確保實(shí)時(shí)接收相機(jī)圖像數(shù)據(jù)。

表1 設(shè)備硬件參數(shù)Table 1 Device hardware parameters

2 檢測(cè)算法原理

2.1 圖像處理識(shí)別原理

圖5為經(jīng)過(guò)放大處理后的防護(hù)柵網(wǎng)格圖像。由于飛機(jī)防護(hù)柵由很多小柵格構(gòu)成，且裂紋出現(xiàn)在柵格邊框處，為提高檢測(cè)的準(zhǔn)確率，需分割防護(hù)柵網(wǎng)格圖像中每一個(gè)柵格。為此，參考文獻(xiàn)[1]中介紹的方法將柵格區(qū)域定義為Grid區(qū)域，Grid區(qū)域?yàn)橐粋€(gè)完整的柵格圖像，其中包括柵格孔洞和柵格框架，并定義柵格孔洞區(qū)域?yàn)镠ole區(qū)域。后續(xù)的圖像處理方法將通過(guò)Hole區(qū)域來(lái)定位Grid區(qū)域，然后將Grid區(qū)域圖像精準(zhǔn)分割送入卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行檢測(cè)。

圖5 防護(hù)柵柵格示意圖(放大10倍)Fig.5 Schematic diagram of protective grill (10×)

結(jié)合上述飛機(jī)防護(hù)柵的結(jié)構(gòu)特點(diǎn)，本文設(shè)計(jì)了一種基于機(jī)器視覺(jué)和深度學(xué)習(xí)的飛機(jī)防護(hù)柵裂紋檢測(cè)系統(tǒng)。首先對(duì)相機(jī)采集的原始圖片進(jìn)行圖像濾波、二值化、高級(jí)形態(tài)學(xué)、閾值分割和粒子過(guò)濾器等處理，以獲得柵格孔洞Hole區(qū)域中心點(diǎn)坐標(biāo)；然后通過(guò)像素計(jì)算和圖像分割獲取柵格Grid區(qū)域圖像；最后基于卷積神經(jīng)網(wǎng)絡(luò)建立準(zhǔn)確高效的防護(hù)柵裂紋分類(lèi)器，完成對(duì)防護(hù)柵裂紋特征的自動(dòng)提取，從而將柵格分成完好和有裂紋兩類(lèi)。防護(hù)柵裂紋檢測(cè)方法流程圖如圖6所示。

圖6 防護(hù)柵裂紋檢測(cè)方法流程Fig.6 Crack detection process of the protective grill

2.1.1 圖像濾波處理

在對(duì)相機(jī)采集的圖像進(jìn)行處理前，需要進(jìn)行濾波處理，以突出防護(hù)柵中的裂紋細(xì)節(jié)。本文圖像濾波處理采用卷積濾波方法，選定一個(gè)像素，獲得其窗口范圍內(nèi)的像素值，并與卷積核值相乘并相加，得到新的像素值再填充至濾波后圖像中。對(duì)原圖像中每一個(gè)像素都進(jìn)行該運(yùn)算，就得到卷積濾波運(yùn)算后的圖像。窗口范圍為卷積核大小，本文采用3×3大小的卷積核，卷積核參數(shù)如下所示：

(1)

防護(hù)柵在使用過(guò)程中，其本身材質(zhì)的顏色逐漸變暗，也因其結(jié)構(gòu)特點(diǎn)導(dǎo)致防護(hù)柵部分結(jié)構(gòu)復(fù)雜區(qū)域光照不均勻，裂紋細(xì)節(jié)不明顯，經(jīng)過(guò)對(duì)大量防護(hù)柵裂紋數(shù)據(jù)的試驗(yàn)，發(fā)現(xiàn)將卷積核的中心值設(shè)為9.2，可以更有效地突出裂紋細(xì)節(jié)，解決上述問(wèn)題。圖像濾波處理結(jié)果如圖7所示，圖7(a)為相機(jī)采集的原圖像，圖7(b)為濾波處理后的圖像。通過(guò)圖像對(duì)比可以看出，處理后的圖像更為清晰且裂紋的細(xì)節(jié)更加突出，從而有助于后續(xù)的裂紋檢測(cè)識(shí)別。

圖7 圖像處理前后對(duì)比Fig.7 Comparison before and after image processing

2.1.2 圖像二值化

對(duì)濾波處理后的圖像進(jìn)行二值化處理，通過(guò)二值化處理將圖像灰度值處理為0或255，從而使圖像中數(shù)據(jù)量大為減少，以便更能凸顯出目標(biāo)的輪廓。其計(jì)算公式如下：

(2)

式中：I(x,y)為二值化圖像中像素點(diǎn)(x,y)處的灰度值；g(x,y)為原圖像位于象素點(diǎn)(x，y)處的灰度值；T為圖像二值化的設(shè)置閾值。

常見(jiàn)的二值化方法有OTUS閾值化、二維OTUS閾值化和固定閾值二值化等[14]，在防護(hù)柵網(wǎng)格圖像中，其柵格孔洞與柵格框架的像素灰度值差別較為明顯，因此選擇固定閾值二值化，減少計(jì)算量。經(jīng)過(guò)大量數(shù)據(jù)實(shí)驗(yàn)，最終設(shè)定顏色閾值為T(mén)=28，所得到的防護(hù)柵柵格示意圖(見(jiàn)圖5)對(duì)應(yīng)的二值化圖如圖8所示。從圖8中可以明顯發(fā)現(xiàn)，圖像二值化后，原來(lái)圖像的部分信息會(huì)產(chǎn)生明顯的缺失。為了使柵格Hole區(qū)域輪廓信息完整，需對(duì)二值化后的防護(hù)柵圖像采用高級(jí)形態(tài)學(xué)處理。此外，在Grid區(qū)域以外也分布有大量噪點(diǎn)，還需要采用粒子濾波器過(guò)濾這些噪點(diǎn)，以提高輪廓提取的準(zhǔn)確率。

圖8 防護(hù)柵二值化圖Fig.8 Diagram of protective grill binarization

2.1.3 高級(jí)形態(tài)學(xué)處理

高級(jí)形態(tài)學(xué)處理的原理為通過(guò)生成一個(gè)能將圖8圖片中所有的白色像素點(diǎn)都包含在內(nèi)的凸多邊形，從而對(duì)圖像中的缺失部分進(jìn)行連通性處理，方便后面圖像輪廓的提取。經(jīng)過(guò)高級(jí)形態(tài)學(xué)處理后的Hole區(qū)域(圖8中第2行第1列)如圖9所示。從圖9中可以看到：高級(jí)形態(tài)學(xué)處理前的Hole區(qū)域中白色為缺失部分，影響該Hole區(qū)域的輪廓提?。欢?jīng)過(guò)高級(jí)形態(tài)學(xué)處理后該白色區(qū)域被填充，且周?chē)妮喞鼮楣饣阌谙乱徊綄?duì)白色區(qū)域面積計(jì)算。

圖9 高級(jí)形態(tài)學(xué)處理前后對(duì)比Fig.9 Comparison before and after advanced morphological processing

2.1.4 粒子過(guò)濾器

粒子濾波的思想基于蒙特卡洛方法，是利用粒子集來(lái)表示概率。粒子濾波法是指通過(guò)尋找一組在狀態(tài)空間傳播的隨機(jī)樣本對(duì)概率密度函數(shù)進(jìn)行近似，以樣本均值代替積分運(yùn)算，獲得狀態(tài)最小方差分布的過(guò)程。這里的樣本即指粒子，當(dāng)樣本數(shù)N接近無(wú)限大時(shí)可以逼近任何形式的概率密度分布。盡管算法中的概率分布只是真實(shí)分布的一種近似，但由于非參數(shù)化的特點(diǎn)，它擺脫了解決非線(xiàn)性濾波(例如中值濾波、雙邊濾波等)問(wèn)題時(shí)隨機(jī)量必須滿(mǎn)足高斯分布的制約，能表達(dá)比高斯模型更廣泛的分布，應(yīng)用范圍非常廣泛。

為過(guò)濾圖8中二值化后產(chǎn)生的噪點(diǎn)，本文提出一種粒子過(guò)濾器算法：隨機(jī)在圖像中產(chǎn)生N個(gè)隨機(jī)粒子，并記錄在白色封閉區(qū)域的隨機(jī)粒子數(shù)C，估算圖8中每一個(gè)不規(guī)則白色封閉的面積，過(guò)濾掉面積較小的白色封閉區(qū)域。面積計(jì)算公式如下：

(3)

式中：SR為白色封閉區(qū)域面積；SP為圖片總面積；其中N越大，面積計(jì)算越準(zhǔn)確。

根據(jù)大量樣本數(shù)據(jù)計(jì)算分析，孔洞面積均在20 000以上，因此過(guò)濾面積范圍在0～16 000的白色封閉區(qū)域即可過(guò)濾全部噪點(diǎn)，留下所需的Hole區(qū)域的輪廓。提取出的Hoel區(qū)域輪廓如圖10所示，其中圖10(a)為未使用粒子過(guò)濾器的圖像，圖中紫色框選中區(qū)域?yàn)閳D像部分噪點(diǎn)，圖10(b)為采用粒子過(guò)濾器處理后的圖像。對(duì)比圖像可以看出粒子過(guò)濾器過(guò)濾掉了面積范圍為0～16 000的噪點(diǎn)，排除了噪點(diǎn)的干擾，因此可以準(zhǔn)確地提取Hole區(qū)域輪廓的中心坐標(biāo)。

圖10 粒子過(guò)濾前后對(duì)比Fig.10 Comparison before and after particle filtration

2.1.5 計(jì)算及分割Grid區(qū)域

由于防護(hù)柵網(wǎng)格大小相同，即圖像中Grid區(qū)域尺寸相同，可假設(shè)圖11中Hole輪廓的中心像素坐標(biāo)為點(diǎn)O，令點(diǎn)O到Grid區(qū)域左上角像素坐標(biāo)A的像素距離為(x1,y1)，到Grid區(qū)域右下角像素坐標(biāo)B的像素距離為(x2,y2)，計(jì)算可得A、B兩點(diǎn)的坐標(biāo)為

(4)

通過(guò)式(4)可計(jì)算得出Grid區(qū)域左上角和右下角的像素坐標(biāo)，此即在柵格圖像中分割Grid區(qū)域的理論基礎(chǔ)。

圖11 區(qū)域坐標(biāo)示意圖Fig.11 Schematic diagram of area coordinates

經(jīng)過(guò)上述一系列操作處理后的圖像，可用于構(gòu)建防護(hù)柵裂紋數(shù)據(jù)集，并作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，用于飛機(jī)防護(hù)柵裂紋檢測(cè)。

2.2 裂紋圖像深度卷積網(wǎng)絡(luò)架構(gòu)

為研究Faster-RCNN在飛機(jī)防護(hù)柵裂紋檢測(cè)領(lǐng)域的應(yīng)用，本文選取ZF-Net、VGG-16以及ResNet-101卷積神經(jīng)網(wǎng)絡(luò)作為Faster-RCNN特征提取網(wǎng)絡(luò)。3種網(wǎng)絡(luò)的特點(diǎn)如下：

1)ZF-Net[15]網(wǎng)絡(luò)架構(gòu)是在AlexNet基礎(chǔ)上修改而來(lái)，使用一個(gè)多層的反卷積網(wǎng)絡(luò)來(lái)可視化訓(xùn)練過(guò)程中特征的演化，便于使用者針對(duì)性的調(diào)整網(wǎng)絡(luò)參數(shù)，提高檢測(cè)精度。但是其訓(xùn)練時(shí)參數(shù)收斂越到高層則需要越長(zhǎng)的時(shí)間。

2)VGG16[16]網(wǎng)絡(luò)的特點(diǎn)在于結(jié)構(gòu)規(guī)整，通過(guò)反復(fù)堆疊3×3的卷積，卷積核數(shù)量逐漸加倍來(lái)加深網(wǎng)絡(luò)提高檢測(cè)精度，采用5個(gè)卷積塊提取圖像特征，卷積后使用池化層降低參數(shù)量并與下一個(gè)卷積塊連接，最后使用全連接層加激活層進(jìn)行分類(lèi)，簡(jiǎn)化了卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。但是其訓(xùn)練的特征數(shù)量非常大，且網(wǎng)絡(luò)越深，梯度消失的現(xiàn)象就越來(lái)越明顯，網(wǎng)絡(luò)的訓(xùn)練效果也不會(huì)很好。

3)ResNet-101[17]即深度殘差網(wǎng)絡(luò)，基本思想是引入一個(gè)深度殘差框架來(lái)解決梯度消失的問(wèn)題，即讓卷積網(wǎng)絡(luò)去學(xué)習(xí)殘差映射，解決網(wǎng)絡(luò)模型的退化問(wèn)題，從而能夠讓神經(jīng)網(wǎng)絡(luò)更深，提升網(wǎng)絡(luò)的識(shí)別效果。

3種卷積網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表2所示。

表2 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Table 2 Network structure parameters

3 實(shí)驗(yàn)與結(jié)果

3.1 數(shù)據(jù)集制作

利用1.2節(jié)提出的檢測(cè)系統(tǒng)采集2 000幅具有裂紋的飛機(jī)防護(hù)柵圖片，并采用第2節(jié)提出的方法對(duì)圖片進(jìn)行處理。由于飛機(jī)防護(hù)柵的數(shù)量較少且裂紋不多，實(shí)驗(yàn)僅采集了防護(hù)柵各種類(lèi)裂紋圖片共2 000張。防護(hù)柵裂紋種類(lèi)和樣本較少會(huì)影響模型的訓(xùn)練效果，可能導(dǎo)致模型出現(xiàn)過(guò)擬合，訓(xùn)練出的模型泛化能力較差，裂紋檢測(cè)率低等問(wèn)題，降低模型的使用能力。為了在有限數(shù)據(jù)下得到更好的識(shí)別效果，往往需要使用數(shù)據(jù)增強(qiáng)的方式，通過(guò)對(duì)樣本圖像的旋轉(zhuǎn)、加入噪音、仿射變換等方式增加數(shù)據(jù)量。為此，本文分別對(duì)圖像進(jìn)行水平鏡像、豎直鏡像、180°旋轉(zhuǎn)、平移和高斯噪聲變換進(jìn)行數(shù)據(jù)擴(kuò)充。高斯隨機(jī)變量z的概率密度函數(shù)計(jì)算公式如下：

(5)

式中：z表示圖像像元的灰度值；μ表示z的均值；σ表示z的方差。本文設(shè)置均值μ=0，方差σ=0.01。

數(shù)據(jù)擴(kuò)充結(jié)果如圖12所示，經(jīng)過(guò)5種變換方式得到裂紋圖像共12 000張，并對(duì)其像素大小調(diào)整為510 像素×510 像素。按照VOC2007數(shù)據(jù)集的格式修改飛機(jī)防護(hù)柵數(shù)據(jù)集，標(biāo)注圖片，數(shù)據(jù)集中80%作為訓(xùn)練集，20%作為驗(yàn)證集。

圖12 數(shù)據(jù)擴(kuò)充Fig.12 Data expansion

3.2 結(jié)果分析

對(duì)比實(shí)驗(yàn)為單變量實(shí)驗(yàn)，使用了相同的數(shù)據(jù)集和相同的參數(shù)且在同樣的環(huán)境下運(yùn)行。模型訓(xùn)練完成后在驗(yàn)證集上測(cè)試，對(duì)比不同模型的最終結(jié)果。

隨著訓(xùn)練步數(shù)的增加，各模型的損失函數(shù)值呈整體下降的趨勢(shì)，其中ZF-Net隨著步數(shù)的增加，損失值曲線(xiàn)波動(dòng)最大，而ResNet-101表現(xiàn)最為穩(wěn)定且損失值整體維持在較低值，未發(fā)生明顯的過(guò)擬合現(xiàn)象。各模型的損失值曲線(xiàn)如圖13所示。隨著迭代次數(shù)的增加，各模型準(zhǔn)確率整體都呈上升趨勢(shì)，基本都保持在90%以上且沒(méi)有顯著變化。ResNet-101具有較高的準(zhǔn)確率，且在迭代過(guò)程中表現(xiàn)穩(wěn)定。各模型的準(zhǔn)確率曲線(xiàn)圖如圖14所示。

圖13 各模型在訓(xùn)練時(shí)的損失值Fig.13 Loss of each model during training

圖14 各模型在驗(yàn)證集上的準(zhǔn)確率曲線(xiàn)Fig.14 Accuracy curves of each model on the validation set

為定量分析上述3種神經(jīng)網(wǎng)絡(luò)的檢測(cè)效果，并與文獻(xiàn)[1]中提出的傳統(tǒng)機(jī)器視覺(jué)檢測(cè)方法進(jìn)行對(duì)比，采用文獻(xiàn)[18]中介紹的3個(gè)評(píng)價(jià)指標(biāo)進(jìn)行進(jìn)一步分析：

(6)

(7)

(8)

式中：RM為漏檢率；NM為漏檢個(gè)數(shù)；NC為檢出個(gè)數(shù)；RF為虛警率；NF為虛警個(gè)數(shù)；RD為檢測(cè)率。實(shí)驗(yàn)結(jié)果如表3和圖15所示。與文獻(xiàn)[1]提出的機(jī)器視覺(jué)檢測(cè)方法對(duì)比，實(shí)驗(yàn)數(shù)據(jù)采取其表現(xiàn)最好的第1組實(shí)驗(yàn)數(shù)據(jù)。

表3 不同裂紋檢測(cè)算法實(shí)驗(yàn)結(jié)果Table 3 Experimental results of different crack detection algorithms

圖15 4種算法實(shí)驗(yàn)結(jié)果對(duì)比Fig.15 Comparison of the experimental results of the four algorithms

從實(shí)驗(yàn)結(jié)果中可以看出，傳統(tǒng)機(jī)器視覺(jué)檢測(cè)方法漏檢率和虛警率最高，且虛警率高達(dá)91%，檢出率較低為75%。傳統(tǒng)機(jī)器視覺(jué)檢測(cè)虛警率高是因?yàn)樵摲椒ㄍㄟ^(guò)機(jī)器視覺(jué)的圖像處理方法，發(fā)現(xiàn)裂紋的灰度值比其他地方灰度值小的特點(diǎn)，并根據(jù)該特點(diǎn)通過(guò)判斷灰度值較小區(qū)域的連續(xù)性和長(zhǎng)度來(lái)確定可疑裂紋。該方法雖然能夠識(shí)別部分裂紋，但是容易受裂紋尺度、環(huán)境、防護(hù)柵本體使用情況等種種因素影響，造成虛警率高的現(xiàn)象。而本文提出的基于機(jī)器視覺(jué)與深度學(xué)習(xí)的飛機(jī)防護(hù)柵裂紋檢測(cè)系統(tǒng)，通過(guò)圖像處理可將防護(hù)柵網(wǎng)格全部分割并獲取裂紋樣本，采用卷積神經(jīng)網(wǎng)絡(luò)提取裂紋特征，生成裂紋檢測(cè)模型，再將分割后的網(wǎng)格圖像輸入模型中檢測(cè)，能極大地降低虛警率和漏檢率并提高識(shí)別精度。

對(duì)比實(shí)驗(yàn)結(jié)果，3種不同卷積模型的檢測(cè)效果在各方面都比傳統(tǒng)機(jī)器視覺(jué)檢測(cè)要好，其中以ResNet-101網(wǎng)絡(luò)檢測(cè)效果最好，與文獻(xiàn)[1]提出的機(jī)器視覺(jué)檢測(cè)相比，漏檢率和虛警率分別下降了22.54%和89.28%，檢出率提高了22.54%，體現(xiàn)了深度學(xué)習(xí)算法在目檢測(cè)上的優(yōu)越性能。

為進(jìn)一步分析不同光照對(duì)3種神經(jīng)網(wǎng)絡(luò)裂紋檢測(cè)效果的影響，在驗(yàn)征集中分別挑出強(qiáng)光照、弱光照和正常光照下防護(hù)柵裂紋照片各100張，組成3個(gè)不同光照的數(shù)據(jù)集，送入3種模型中進(jìn)行檢測(cè)，定量分析3種模型在不同光照下的漏檢率、虛警率和檢出率，實(shí)驗(yàn)結(jié)果如表4所示。表4的結(jié)果表明，光照不足會(huì)對(duì)3種模型的檢測(cè)效果產(chǎn)生較大影響，當(dāng)光照強(qiáng)度達(dá)到一定程度后，對(duì)3種模型的檢測(cè)效果幾乎不再產(chǎn)生影響。

表4 不同數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果Table 4 Experimental results under different data sets %

圖16 不同光照下ResNet-101網(wǎng)絡(luò)的檢測(cè)效果Fig.16 Detection results of ResNet-101 network under different illumination conditions

圖16所示為以ResNet-101作為特征提取網(wǎng)絡(luò)在不同光照背景下的檢測(cè)效果，其中數(shù)字為ResNet-101網(wǎng)絡(luò)檢測(cè)裂紋的置信率，從中可見(jiàn)該網(wǎng)絡(luò)對(duì)不同光照下的裂紋檢測(cè)結(jié)果均有較好的檢測(cè)精度。

以上實(shí)驗(yàn)結(jié)果表明，3種神經(jīng)網(wǎng)絡(luò)中以ResNet-101作為Faster-RCNN基礎(chǔ)提取網(wǎng)絡(luò)在驗(yàn)證集上針對(duì)防護(hù)柵裂紋的檢測(cè)，具有最低的虛警率、漏檢率和最高的檢出率，且該算法能適應(yīng)不同光照和環(huán)境，滿(mǎn)足實(shí)際應(yīng)用的需求，證明了深度學(xué)習(xí)在飛機(jī)防護(hù)柵裂紋檢測(cè)上的可行性。

由于僅采集2 000幅具有裂紋的飛機(jī)防護(hù)柵圖片，飛機(jī)防護(hù)柵表面裂紋樣本數(shù)量和不同光照下裂紋樣本數(shù)量較少，造成訓(xùn)練的模型檢測(cè)存在漏檢和誤檢現(xiàn)象，后續(xù)可在檢測(cè)系統(tǒng)使用的過(guò)程中保存防護(hù)柵的裂紋圖像，增加樣本數(shù)量，進(jìn)一步提高模型精度。

將現(xiàn)有的防護(hù)柵裂紋檢測(cè)方法與本文設(shè)計(jì)的檢測(cè)系統(tǒng)在檢測(cè)效率、檢測(cè)精度和可靠性上進(jìn)行對(duì)比，結(jié)果如表5所示。

表5 不同裂紋檢測(cè)方法性能對(duì)比Table 5 Performance comparison of different crack detection methods

從表5中可以看出，本文設(shè)計(jì)的一種基于機(jī)器視覺(jué)和深度學(xué)習(xí)的飛機(jī)防護(hù)柵裂紋檢測(cè)系統(tǒng)在檢測(cè)效率、檢測(cè)精度和可靠性上都有較高的表現(xiàn)，有效地解決了人工檢查和文獻(xiàn)[1]機(jī)器視覺(jué)檢測(cè)方法存在的效率較低、檢測(cè)精度和可靠性不高的問(wèn)題。

需要指出的是，雖然本文是針對(duì)特定結(jié)構(gòu)的飛機(jī)防護(hù)柵表面裂紋和缺陷裂紋開(kāi)展的研究，但對(duì)于其他類(lèi)型的防護(hù)柵，只需調(diào)節(jié)相機(jī)參數(shù)，改變末端運(yùn)動(dòng)路徑和更換圖3中的防護(hù)柵放置平臺(tái)，即可方便地對(duì)其他類(lèi)型的飛機(jī)防護(hù)柵的裂紋開(kāi)展檢測(cè)研究。針對(duì)其他缺陷如氣孔等檢測(cè)，只需要在深度學(xué)習(xí)裂紋檢測(cè)模型中添加對(duì)應(yīng)的樣本數(shù)據(jù)進(jìn)行訓(xùn)練，即可對(duì)其他缺陷開(kāi)展檢測(cè)研究。因此本文方法有效地解決了人工檢測(cè)和傳統(tǒng)檢測(cè)方法存在的誤檢、漏檢和虛警率高的問(wèn)題，實(shí)現(xiàn)飛機(jī)防護(hù)柵表面裂紋的檢測(cè)，提高了檢測(cè)的效率和精度。

4 結(jié)論

本文針對(duì)傳統(tǒng)飛機(jī)防護(hù)柵裂紋檢測(cè)效率低、可靠性差的現(xiàn)狀，基于機(jī)器視覺(jué)設(shè)計(jì)了一種飛機(jī)防護(hù)柵裂紋檢測(cè)裝置，并結(jié)合圖像處理技術(shù)與深度學(xué)習(xí)原理對(duì)飛機(jī)防護(hù)柵的裂紋進(jìn)行了檢測(cè)。研究并制作了飛機(jī)防護(hù)柵裂紋檢測(cè)數(shù)據(jù)集，在此基礎(chǔ)上分別以ZF-Net、VGG-16和ResNet-101卷積神經(jīng)網(wǎng)絡(luò)作為Faster-RCNN特征提取網(wǎng)絡(luò)開(kāi)展了防護(hù)柵裂紋檢測(cè)研究，3種模型均達(dá)到了良好的檢測(cè)精度，其檢測(cè)精度分別為92.79%、95.12%和97.54%。其中ResNet-101網(wǎng)絡(luò)檢測(cè)效果最好，與文獻(xiàn)[1]提出的機(jī)器視覺(jué)檢測(cè)相比，漏檢率和虛警率分別下降了22.54%和89.28%，檢出率提高了22.54%。進(jìn)一步研究發(fā)現(xiàn)ResNet-101網(wǎng)絡(luò)在不同光照條件下仍有較高的檢測(cè)精度，從而為飛機(jī)防護(hù)柵的裂紋在線(xiàn)檢測(cè)提供了新方法。