Faster R-CNN模型改進(jìn)及機(jī)翼標(biāo)記檢測(cè)應(yīng)用

惠小強(qiáng)，劉 歡 ，楊小寶

(1.西安郵電大學(xué) 物聯(lián)網(wǎng)與兩化融合研究院，陜西 西安 710061；2.西安郵電大學(xué) 電子工程學(xué)院，陜西 西安 710121)

機(jī)翼作為飛機(jī)最關(guān)鍵的部件之一，易于變形和損壞[1]。對(duì)于機(jī)載武器，機(jī)翼變形除了影響飛行安全，還會(huì)影響武器對(duì)目標(biāo)的命中性能，必須監(jiān)視變形前后的狀態(tài)，以修正機(jī)翼變形引起的對(duì)準(zhǔn)誤差，避免影響命中性能[2-3]。機(jī)翼在設(shè)計(jì)時(shí)，不僅要堅(jiān)固，還要考慮其韌性，在一定角度內(nèi)的彎曲是沒有問題的，一般可以承受3個(gè)重力加速度的過載，在飛機(jī)機(jī)翼靜力實(shí)驗(yàn)中，機(jī)翼向上擺動(dòng)的彎曲變形幅度非常大[4]。在飛行過程中，機(jī)翼主要受到彎矩作用產(chǎn)生彈性變形，當(dāng)飛機(jī)進(jìn)行加速、減速、俯沖或者轉(zhuǎn)彎等變速飛行時(shí)，氣流會(huì)產(chǎn)生氣動(dòng)力及力矩，使飛機(jī)受到的加速度大于或小于此時(shí)的重力加速度，給機(jī)翼帶來不期望的附加過載，從而易于發(fā)生疲勞損壞。

機(jī)翼扭曲檢測(cè)方式隨著航空事業(yè)的發(fā)展也逐漸多樣化，主要?dú)w結(jié)為分布式、激光和視覺等3種測(cè)試方法。分布式測(cè)試方法通過分布在機(jī)翼關(guān)鍵測(cè)試部位的加速度傳感器進(jìn)行測(cè)量，同時(shí)處理加速度計(jì)的輸出便能得到對(duì)應(yīng)的模態(tài)參數(shù)。但是，激勵(lì)狀態(tài)下的非穩(wěn)定性等因素，將影響機(jī)翼變形模態(tài)參數(shù)的判別而使顫振參數(shù)的判別不易。同時(shí)，該方法為接觸式獨(dú)立點(diǎn)測(cè)量，測(cè)試點(diǎn)數(shù)較少，導(dǎo)致資源未能充分利用[5]。激光測(cè)試方法通過使用激光照射到翼面的反射靶標(biāo)進(jìn)行測(cè)量，翼面反射回的光束從探測(cè)器傳至信號(hào)處理器，逐點(diǎn)對(duì)單個(gè)靶標(biāo)進(jìn)行監(jiān)測(cè)，最終依據(jù)其他信息獲得翼面的震動(dòng)參數(shù)。但該方法穩(wěn)定性差，測(cè)量點(diǎn)數(shù)較少，且會(huì)受到較大的干擾，使用并不廣泛[6]。視覺測(cè)試方法主要包括模型變形視頻測(cè)量[7]和基于圖像相關(guān)的機(jī)翼顫振測(cè)量?jī)深惣夹g(shù)。第一類技術(shù)主要通過機(jī)翼上的發(fā)光二極管(Light Emitting Diode，LED)特征點(diǎn)和Optotrak公司的飛行撓曲測(cè)量技術(shù)對(duì)機(jī)翼變形進(jìn)行測(cè)量。第二類技術(shù)不但能通過非接觸式實(shí)現(xiàn)，還能夠全場(chǎng)測(cè)量，實(shí)時(shí)性強(qiáng)。該技術(shù)是在二維計(jì)算的基礎(chǔ)上獲得散斑圖像，然后進(jìn)行圖像識(shí)別、定位及立體視覺測(cè)量而獲取數(shù)據(jù)。

近年來，計(jì)算機(jī)視覺領(lǐng)域飛速發(fā)展，深度學(xué)習(xí)方法廣泛使用并取得了一定的成果。為了探討目標(biāo)檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)機(jī)翼變形檢測(cè)的適用性，對(duì)更快區(qū)域神經(jīng)網(wǎng)絡(luò)(Faster Region Convolutional Neural Network，F(xiàn)aster R-CNN)模型[8-9]加以改進(jìn)，并應(yīng)用于機(jī)翼關(guān)鍵標(biāo)記點(diǎn)位置檢測(cè)。首先，選用殘差網(wǎng)絡(luò)ResNet101代替Faster R-CNN模型中的視覺幾何組(Visual Geometry Group，VGG)16網(wǎng)絡(luò)作為特征提取的骨干網(wǎng)絡(luò)，并添加屬性分類器[10]預(yù)測(cè)屬性類別。利用模型對(duì)每一時(shí)刻標(biāo)記點(diǎn)的類別、屬性以及位置信息進(jìn)行分析，通過多種特征檢測(cè)方法判斷標(biāo)志點(diǎn)，以減少誤檢，提高檢測(cè)準(zhǔn)確度。其次，通過構(gòu)建特征圖聯(lián)合[11-13]策略，將僅提取特征提取網(wǎng)絡(luò)的最后一層特征圖，改為由多層網(wǎng)絡(luò)融合的同時(shí)具有細(xì)節(jié)信息和豐富語義信息的特征圖，充分利用不同層卷積網(wǎng)絡(luò)的優(yōu)勢(shì)，將其與區(qū)域生成網(wǎng)絡(luò)(RegionProposal Network，RPN)結(jié)合，選擇適合機(jī)翼標(biāo)志點(diǎn)的錨尺寸生成適用的檢測(cè)框。最后，使用雙線性插值法精確池化策略，減小原模型中的候選區(qū)域池化中的兩次量化過程造成的原圖中目標(biāo)像素的丟失，以期更優(yōu)質(zhì)地完成機(jī)翼標(biāo)志點(diǎn)檢測(cè)任務(wù)。

1 Faster R-CNN模型

Faster R-CNN模型包含RPN和快速區(qū)域卷積網(wǎng)絡(luò)兩個(gè)組件，其結(jié)構(gòu)如圖1所示。

圖1 Faster R-CNN模型網(wǎng)絡(luò)結(jié)構(gòu)

Faster R-CNN使用RPN提取候選區(qū)域[14]。該層通過softmax網(wǎng)絡(luò)判斷錨框?qū)儆趯?duì)象的概率信息，再利用框回歸修正錨得到精確的建議框，其核心思想即通過卷積神經(jīng)網(wǎng)絡(luò)CNN產(chǎn)生候選區(qū)域建議框。

經(jīng)卷積網(wǎng)絡(luò)卷積得到的末層的特征圖，對(duì)其中的滑動(dòng)窗口通過不同尺度和比例預(yù)測(cè)k=12個(gè)候選區(qū)域，使得每個(gè)空間窗口能映射到一個(gè)長(zhǎng)度為512的向量，將512維的特征向量分別用1×1的卷積核進(jìn)行降維后送入?yún)^(qū)域回歸層和區(qū)域分類層兩個(gè)同級(jí)的全連接層中。其中：一個(gè)全連接層中通過softmax對(duì)錨分類獲得前景和背景，在每個(gè)空間窗口的位置建議框的最大可能數(shù)量為k，則分類層輸出2k的分?jǐn)?shù)預(yù)測(cè)每個(gè)候選框是或不是目標(biāo)的概率；另一個(gè)全連接層用于計(jì)算錨的邊框回歸后的偏移量，以得到精確的建議框，回歸層輸出維度為4k，編碼k個(gè)回歸框的坐標(biāo)。RPN原理[14]如圖2所示。在RPN的訓(xùn)練中，使用反向傳播和梯度下降法訓(xùn)練區(qū)域建議網(wǎng)絡(luò)，候選區(qū)域若與真值框的交并比(Intersection Over Union，IOU)值最大或者與真值框的IOU值大于0.7，則判定為目標(biāo)。當(dāng)候選區(qū)域與真值框的IOU值小于0.3，則判定為不是目標(biāo)。

圖2 RPN原理

定義損失函數(shù)為

(1)

(2)

(3)

其中：(x,y,w,h)為邊界框的中心點(diǎn)坐標(biāo)以及寬和高；(xa，ya，wa，ha)為預(yù)測(cè)框的中心點(diǎn)坐標(biāo)以及寬和高；(x*,y*,w*,h*)為真實(shí)機(jī)翼標(biāo)志點(diǎn)邊框的中心點(diǎn)坐標(biāo)以及寬和高。當(dāng)候選區(qū)域是cross時(shí)的回歸定位損失函數(shù)表示為

其中，R是smooth L1函數(shù)，表示為

(4)

待檢測(cè)圖像經(jīng)過卷積網(wǎng)絡(luò)提取特征后，送入RPN網(wǎng)絡(luò)生成標(biāo)簽框，利用ROI平均池化網(wǎng)絡(luò)將不同尺寸的特征映射到固定長(zhǎng)度的向量。將池化后輸出的結(jié)果分別輸入到由全連接網(wǎng)絡(luò)組成的分類層和回歸層，分類層對(duì)RPN網(wǎng)絡(luò)建議的目標(biāo)通過Softmax進(jìn)行分類，回歸層對(duì)目標(biāo)位置進(jìn)行回歸，最后由非極大值抑制(Non-Maximum Suppression，NMS)輸出檢測(cè)結(jié)果。

2 改進(jìn)的Faster R-CNN模型

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

針對(duì)機(jī)翼標(biāo)志點(diǎn)圖像的分辨率較低、圖像較小等特點(diǎn)，對(duì)Faster R-CNN模型進(jìn)行改進(jìn)。在模型訓(xùn)練中采用分類性能高的殘差網(wǎng)絡(luò)ResNet-101代替原視覺幾何組(Visual Geometry Group,VGG)16網(wǎng)絡(luò)作為特征提取的基礎(chǔ)主干網(wǎng)絡(luò)。殘差網(wǎng)絡(luò)的殘差連接使得訓(xùn)練更深層次的網(wǎng)絡(luò)成為可能，改善了VGG16網(wǎng)絡(luò)中隨著深度的增加帶來的梯度消失問題，同時(shí)降低了出現(xiàn)過擬合問題的可能性。殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 Resnet殘差網(wǎng)絡(luò)結(jié)構(gòu)

圖3 中F(X)為殘差映射，X為神經(jīng)網(wǎng)絡(luò)的輸入，ReLu為激活函數(shù)。將待檢測(cè)的飛機(jī)機(jī)翼標(biāo)志點(diǎn)圖片通過卷積網(wǎng)絡(luò)提取倒數(shù)第二層卷積網(wǎng)絡(luò)的卷積特征圖，并獲取最后一個(gè)卷積層輸出的特征圖，分別輸入后面的區(qū)域生成網(wǎng)絡(luò)和檢測(cè)子網(wǎng)絡(luò)中，同時(shí)，添加兩個(gè)新的層輸出目標(biāo)及其屬性類別。

2.2 屬性檢測(cè)

為了訓(xùn)練更準(zhǔn)確的檢測(cè)模型，利用多特征檢測(cè)方法檢測(cè)飛機(jī)機(jī)翼標(biāo)志點(diǎn)的位置，即在模型中添加屬性檢測(cè)分支(Attribute Detection Branch，ADB)，使得模型在訓(xùn)練的過程中不斷學(xué)習(xí)屬性特征。在全連接層中，除了預(yù)測(cè)目標(biāo)類別，還會(huì)預(yù)測(cè)目標(biāo)的顏色類別，增強(qiáng)輸出特征的表達(dá)能力。最后，采用判別器得到類別、屬性以及同時(shí)滿足條件的機(jī)翼標(biāo)志點(diǎn)信息。包含屬性分支的飛機(jī)機(jī)翼標(biāo)志點(diǎn)檢測(cè)模型分支如圖4所示。

圖4 飛機(jī)機(jī)翼標(biāo)志點(diǎn)檢測(cè)模型分支

模型從底層網(wǎng)絡(luò)開始學(xué)習(xí)機(jī)翼圖像的類別和屬性特征，這些特征在全連接層被抽象為更多維特征的向量分別輸入到分類器中，以預(yù)測(cè)檢測(cè)概率超過IOU置信度的類別對(duì)象及其概率，然后將其結(jié)果輸出。為了預(yù)測(cè)輸出結(jié)果對(duì)應(yīng)的屬性，將平均池化后的卷積特征與學(xué)習(xí)到的類別對(duì)象結(jié)合起來，將其結(jié)果輸入到一個(gè)外加的輸出層中，該輸出層是每個(gè)屬性類別的Softmax分布。最后，采用判別器判斷輸出的類別標(biāo)簽中滿足機(jī)翼標(biāo)志點(diǎn)屬性特征的標(biāo)簽，使用多種特征檢測(cè)判斷標(biāo)志點(diǎn)，排除與機(jī)翼標(biāo)志點(diǎn)特征相似的標(biāo)簽，從而減少誤檢情況，提高檢測(cè)準(zhǔn)確度。

2.3 特征融合

在飛機(jī)機(jī)翼檢測(cè)模型中，標(biāo)志點(diǎn)圖像的尺寸相對(duì)較小，經(jīng)過特征提取網(wǎng)絡(luò)映射到特征圖上時(shí)標(biāo)志點(diǎn)目標(biāo)會(huì)非常小，難以利用深層特征提取豐富的語義信息。因此，對(duì)于標(biāo)志點(diǎn)的檢測(cè)和識(shí)別，需要進(jìn)一步提高檢測(cè)準(zhǔn)確度。通過對(duì)特征金字塔17[22]思想的分析與實(shí)驗(yàn)，針對(duì)機(jī)翼標(biāo)志點(diǎn)的定位任務(wù)，構(gòu)建新的特征圖聯(lián)合策略(Feature Fusion Strategy，F(xiàn)FS)。首先對(duì)Resnet101網(wǎng)絡(luò)的后4個(gè)階段有選擇性的融合，然后對(duì)融合后的每一層新的特征進(jìn)行預(yù)測(cè)，最后再對(duì)所有的結(jié)果進(jìn)行融合。

Resnet101網(wǎng)絡(luò)可分為5個(gè)階段，每個(gè)階段的最后一個(gè)卷積層稱為C1—C5，將后4個(gè)階段的特征進(jìn)行有選擇性地融合。首先，使用1×1×256的卷積核卷積C4特征圖改變維度，使其通道數(shù)變?yōu)?56，同時(shí)使用1×1×256的卷積核卷積C2特征圖，修改其通道數(shù)為256，然后將C2與C4特征使用加性融合函數(shù)進(jìn)行融合。為了防止上采樣造成的混疊效應(yīng)，使用3×3的卷積核卷積融合后的特征，生成一個(gè)新的特征P2。使用相同的原理融合C5和C3得到P3，同時(shí)將C4和C5分別使用1×1×256的卷積和卷積，使其通道數(shù)變?yōu)?56，充分利用不同層卷積網(wǎng)絡(luò)的優(yōu)勢(shì)，將每層生成的新特征圖與RPN網(wǎng)絡(luò)結(jié)合，選擇適合機(jī)翼標(biāo)志點(diǎn)的錨尺寸生成適用的檢測(cè)框。由于原始Faster R-CNN網(wǎng)絡(luò)使用k=9個(gè)錨框生成感興趣區(qū)域，默認(rèn)的錨框尺度和縱橫比分別是{1282，2562，5122}和{2∶1，1∶1，1∶2}，這適合于大尺寸目標(biāo)或者大規(guī)模的標(biāo)志性圖像，對(duì)于機(jī)翼標(biāo)志點(diǎn)檢測(cè)并不合理。因此，在特征融合模塊 (Feature Fusion Module，F(xiàn)FM)中，將每一個(gè)金字塔層級(jí){P2，P3，P4，P5}對(duì)應(yīng)的錨尺度設(shè)置為{322，642，1282，2562}，以適應(yīng)飛機(jī)機(jī)翼標(biāo)志點(diǎn)的檢測(cè)。將每個(gè)部分生成的區(qū)域建議框輸入到ROI池化層中，獲得一系列7×7的特征圖塊，將其進(jìn)行融合后的特征圖輸入到后面的檢測(cè)網(wǎng)絡(luò)進(jìn)行分類和回歸。飛機(jī)機(jī)翼標(biāo)志點(diǎn)檢測(cè)框架如圖5所示。

圖5 飛機(jī)機(jī)翼標(biāo)志點(diǎn)檢測(cè)框架

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

在操作系統(tǒng)為Win10，處理器為英特爾XeonW-2155@3.30 GHz，顯卡為NVIDIA GeForce GTX 1080Ti環(huán)境下實(shí)驗(yàn)，使用Python 3.7編程語言、PyTorch 1.3深度學(xué)習(xí)框架及CUDA 10.0 GPU加速平臺(tái)。

飛機(jī)機(jī)翼變形檢測(cè)模型的訓(xùn)練數(shù)據(jù)批尺寸為32，初始學(xué)習(xí)率為0.001，使用梯度下降法對(duì)模型進(jìn)行優(yōu)化，模型訓(xùn)練迭代的次數(shù)為60 000次，設(shè)置模型保存策略為每迭代一輪保存一次模型，選取精確度最高的模型。模型超參數(shù)中學(xué)習(xí)率的設(shè)置采用不斷更新策略，即開始時(shí)設(shè)置一個(gè)初始的學(xué)習(xí)率0.001，步長(zhǎng)設(shè)置為5，衰減率設(shè)為0.1，使得模型的學(xué)習(xí)率隨著訓(xùn)練迭代的次數(shù)逐漸衰減。該策略能夠有效地提高機(jī)翼標(biāo)志點(diǎn)檢測(cè)模型的精確度，使得模型能夠更快地收斂。

3.2 實(shí)驗(yàn)數(shù)據(jù)

為了提升模型訓(xùn)練效果，建立VOC格式的專有數(shù)據(jù)集FlyCross_Data訓(xùn)練模型。使用相機(jī)拍攝來自不同現(xiàn)實(shí)場(chǎng)景的飛機(jī)機(jī)翼的標(biāo)志點(diǎn)圖像，如拉伸、翻轉(zhuǎn)、強(qiáng)光和暗光等，其分辨率為1 920×1 080，格式為JPG格式，F(xiàn)lyCross_Data數(shù)據(jù)集中典型數(shù)據(jù)圖像如圖6所示。

圖6 FlyCross_Data數(shù)據(jù)集典型數(shù)據(jù)圖像

采用數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充訓(xùn)練數(shù)據(jù)，從而防止過擬合問題并提高網(wǎng)絡(luò)的性能。選擇部分拍攝的圖片進(jìn)行拉伸、裁剪以及對(duì)裁剪圖片進(jìn)行翻轉(zhuǎn)等處理，將這些圖片組成原圖集。利用Rectlabel工具人工標(biāo)注原圖集，如圖7所示，每幅圖中的標(biāo)記都會(huì)被唯一的標(biāo)注框所確定，然后對(duì)數(shù)據(jù)集圖片重新命名，并編寫代碼將圖片生成對(duì)應(yīng)的訓(xùn)練集、驗(yàn)證集和測(cè)試集。總樣本共2 500個(gè)，其中2 000個(gè)作為訓(xùn)練集，300個(gè)作為驗(yàn)證集，200個(gè)作為測(cè)試集，主文件分別由train.txt、test.txt和val.txt組成。

圖7 FlyCross_Data數(shù)據(jù)集標(biāo)注結(jié)果圖

在PASCAL VOC 2007和專有數(shù)據(jù)集FlyCross_Data上進(jìn)行實(shí)驗(yàn)。PASCAL VOC 2007數(shù)據(jù)集中包含20類，共9 963張經(jīng)過標(biāo)注的圖片，24 640個(gè)標(biāo)注對(duì)象。使用遷移學(xué)習(xí)的思想，首先使用大規(guī)模的公共數(shù)據(jù)集PASCAL VOC 2007實(shí)現(xiàn)模型預(yù)訓(xùn)練，學(xué)習(xí)圖像底層通用的視覺特征，為網(wǎng)絡(luò)提供一個(gè)良好的初始值。然后，凍結(jié)共同參數(shù)，初始化新的關(guān)鍵參數(shù)，即調(diào)整全連接層的輸出通道數(shù)。最后，遷移訓(xùn)練的參數(shù)在專有數(shù)據(jù)集FlyCross_Data中訓(xùn)練機(jī)翼標(biāo)志點(diǎn)檢測(cè)模型，并使用驗(yàn)證集驗(yàn)證模型訓(xùn)練的效果。

3.3 評(píng)價(jià)指標(biāo)

將分辨率為1 920×1 080的RGB圖像加載到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中，進(jìn)行端到端的運(yùn)算，并采用平均精度均值(mAP)作為機(jī)翼標(biāo)志點(diǎn)檢測(cè)模型的評(píng)價(jià)指標(biāo)評(píng)估模型的性能。mAP與精確率和召回率有關(guān)，精確率反應(yīng)模型預(yù)測(cè)樣本的精確度，召回率反應(yīng)模型對(duì)正樣本的覆蓋能力。以精確率為縱軸，召回率為橫軸作圖，得到準(zhǔn)確率-召回率曲線，即“P-R曲線”，“P-R曲線”下與坐標(biāo)軸圍成的面積越大說明模型越好。

3.4 實(shí)驗(yàn)結(jié)果與分析

3.4.1 特征提取網(wǎng)絡(luò)選擇

分別對(duì)比VGG16、ResNet50和ResNet101網(wǎng)絡(luò)基于Faster R-CNN在機(jī)翼標(biāo)志點(diǎn)檢測(cè)分類結(jié)果，如表1所示，平均精度均值mAP值越大說明模型越好。

表1 不同模型在專有數(shù)據(jù)集下mAP值對(duì)比

由表1可知，使用殘差網(wǎng)絡(luò)代替原始的VGG16作為機(jī)翼標(biāo)志點(diǎn)特征提取的基礎(chǔ)網(wǎng)絡(luò)，效果有所提升。3種模型的平均精度均值分別為70.7%、74.9%和77.6%。其中，ResNet101網(wǎng)絡(luò)的表現(xiàn)最好，其與原始VGG16相比提高了6.9%，因此選擇ResNet101作為機(jī)翼標(biāo)志點(diǎn)檢測(cè)模型的基礎(chǔ)特征提取網(wǎng)絡(luò)。

3.4.2 不同模型檢測(cè)性能對(duì)比

在模型中添加屬性檢測(cè)分支，使用多種特征檢測(cè)的方法提取機(jī)翼標(biāo)志點(diǎn)的位置。模型分別用sigmoid交叉熵和softmax交叉熵測(cè)量訓(xùn)練誤差。對(duì)于類別預(yù)測(cè)的評(píng)估，使用每幅圖像得分高于0.05的所有預(yù)測(cè)框計(jì)算每個(gè)類的真陽性和假陽性標(biāo)簽，并使用標(biāo)簽將IOU閾值匹配為0.7。對(duì)于屬性預(yù)測(cè)的評(píng)估，將屬性檢測(cè)標(biāo)記為陽性和陰性，評(píng)分閾值為0.05，然后為每個(gè)屬性計(jì)算真陽性和假陽性標(biāo)簽。對(duì)于每幅圖像，找出類別檢測(cè)值高于0.7的檢測(cè)，合并所有IOU高于這些框的檢測(cè)，采用判決器判斷類別和屬性信息同時(shí)滿足條件的標(biāo)簽框，利用多種特征方法檢測(cè)判斷標(biāo)志點(diǎn)，減少誤檢情況，并使用這些標(biāo)簽計(jì)算結(jié)果框權(quán)重的mAP值。由表2可以看出，ResNet101網(wǎng)絡(luò)下的Faster R-CNN添加了屬性分支后的模型與原始模型相比，精確度提高了8.6%；與ResNet101網(wǎng)絡(luò)下的原模型相比，精確度提高了1.7%，達(dá)到了79.3%，耗時(shí)也最小。這主要受益于改進(jìn)模型的多特征檢測(cè)判斷能減少誤檢情況，使得在處理飛機(jī)機(jī)翼標(biāo)志點(diǎn)圖片的數(shù)據(jù)集上，具有更好的檢測(cè)結(jié)果。

為了適應(yīng)機(jī)翼標(biāo)志點(diǎn)尺寸較小而難以檢測(cè)的缺點(diǎn)，將特征融合與Faster R-CNN及RPN網(wǎng)絡(luò)相結(jié)合引入模型中，由表1可知，其識(shí)別率與原始Faster R-CNN模型相比提高了9.2%，達(dá)到了79.9%。與基于ResNet101網(wǎng)絡(luò)下的Faster R-CNN并添加了屬性分支的模型相比，提高了0.6%。這主要因?yàn)闄C(jī)翼標(biāo)志點(diǎn)圖形較小，模型結(jié)合了深層豐富的語義特征，中間有補(bǔ)充性的特征以及淺層高分辨率的細(xì)節(jié)特征，能夠有效提高網(wǎng)絡(luò)對(duì)機(jī)翼標(biāo)志點(diǎn)的檢測(cè)。由此可見，改進(jìn)模型與原始模型相比，在機(jī)翼標(biāo)志點(diǎn)檢測(cè)模型中的精確度有顯著提升。從檢測(cè)時(shí)間角度分析，添加了屬性分支并構(gòu)建融合策略結(jié)合的模型與添加了屬性分支的模型相比增加了0.07s，這是因?yàn)樵谶M(jìn)行特征融合時(shí)使得特征維度由原本的1 024降至了256維。圖8為在專有數(shù)據(jù)集上對(duì)原始模型和改進(jìn)模型進(jìn)行評(píng)估的結(jié)果。可以看出，改進(jìn)模型P-R曲線與坐標(biāo)軸圍成的面積較大，效果更好。

圖8 不同模型評(píng)估結(jié)果

使用包含經(jīng)過拉伸、遮擋、強(qiáng)光和暗光等處理的專有數(shù)據(jù)集圖片訓(xùn)練各模型，對(duì)不同環(huán)境中各種模型的實(shí)驗(yàn)結(jié)果如表2所示。改進(jìn)模型與原始模型在不同環(huán)境下的識(shí)別對(duì)比結(jié)果如圖9所示。可以看出，添加了屬性分支并對(duì)特征進(jìn)行融合結(jié)合的模型，在強(qiáng)光、暗光和邊緣等不同環(huán)境下都有較好地檢測(cè)效果，并且在強(qiáng)光等環(huán)境下其檢測(cè)框更準(zhǔn)確且誤檢情況減少，如圖9(a)所示。因此，改進(jìn)模型提供了更高的精度和魯棒性。

表2 不同環(huán)境下實(shí)驗(yàn)結(jié)果對(duì)比

4 結(jié)語

采用深度學(xué)習(xí)中的目標(biāo)檢測(cè)技術(shù)處理機(jī)翼變形檢測(cè)的問題。通過對(duì)比VGG16、ResNet50及ResNet101等3種特征提取網(wǎng)絡(luò)對(duì)機(jī)翼標(biāo)志點(diǎn)檢測(cè)模型的影響，選用ResNet101作為骨干網(wǎng)絡(luò)。針對(duì)檢測(cè)結(jié)果中存在的誤檢情況，在Faster R-CNN模型中添加屬性分類器，使得模型在訓(xùn)練的過程中不斷學(xué)習(xí)屬性特征，增強(qiáng)輸出特征的表達(dá)能力。構(gòu)建多層特征圖聯(lián)合策略，結(jié)合淺層特征與深層特征的不同特點(diǎn)，充分利用了不同層卷積網(wǎng)絡(luò)的優(yōu)勢(shì)，并將其與RPN網(wǎng)絡(luò)結(jié)合，選擇適合機(jī)翼標(biāo)志點(diǎn)的錨尺寸生成適用的檢測(cè)框。最后，采集包含標(biāo)志點(diǎn)的飛機(jī)機(jī)翼圖像數(shù)據(jù)，自主構(gòu)建機(jī)翼標(biāo)志點(diǎn)檢測(cè)專有數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，改進(jìn)模型相較于原始Faster R-CNN模型檢測(cè)精確度提升了9.2%，呈現(xiàn)了良好的檢測(cè)效果。