基于目標(biāo)形狀卷積神經(jīng)網(wǎng)絡(luò)在艦船分類中的應(yīng)用

江滿星，趙彤洲，吳澤俊

武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205

近年來數(shù)據(jù)的爆炸性增長，計(jì)算機(jī)顯卡性能的不斷提高，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）已經(jīng)成為完成圖像識別的首選方法［1］。CNN 中卷積核通過一組濾波器在輸入圖像數(shù)據(jù)的各個(gè)通道上進(jìn)行卷積運(yùn)算提取特征圖的特征，激活函數(shù)通過引入非線性映射使網(wǎng)絡(luò)具有非線性表達(dá)能力，池化層通過下采樣方式減小特征圖的大小使數(shù)據(jù)量減少。多種結(jié)構(gòu)相互交錯疊加，使得CNN 能夠完成目標(biāo)特征提取任務(wù)，通過融合特征分類器完成圖像識別任務(wù)。與傳統(tǒng)的圖像處理算法相比，CNN 具有準(zhǔn)確率高、泛化能力強(qiáng)、魯棒性好、不需要人工設(shè)計(jì)的特點(diǎn)。CNN 也有其弊端，在進(jìn)行特征提取時(shí)，只是簡單地堆疊大小相同的卷積核進(jìn)行大量計(jì)算，每個(gè)卷積核只能提取到當(dāng)前感受野內(nèi)的局部特征，導(dǎo)致融合局部特征需要后續(xù)更多的卷積核通過增大感受野的范圍來提取全局特征。本文根據(jù)艦船目標(biāo)固定的幾何形狀特征，設(shè)計(jì)出適應(yīng)目標(biāo)形狀的卷積核和特定的卷積結(jié)構(gòu)，能更加有效地提取出艦船目標(biāo)特征，減少目標(biāo)特征提取過程中的盲目性，縮小特征提取過程的時(shí)間和空間開銷。

1 相關(guān)工作

AlexNet 中使用5 層的卷積網(wǎng)絡(luò)完成目標(biāo)識別任務(wù)，其中卷積核的形狀為7×7 和5×5，能達(dá)到比傳統(tǒng)圖片處理方法高出10.9%的分類準(zhǔn)確率［2］。牛津大學(xué)設(shè)計(jì)出更深的卷積模型來提取目標(biāo)特征，將AlexNet 中原有的7×7 的卷積核替換成3 個(gè)3×3 的疊加卷積層，5×5 的卷積層替換成2 個(gè)3×3的疊加卷積層，減少了參數(shù)的個(gè)數(shù)，同時(shí)達(dá)到了更高的分類準(zhǔn)確率。視覺幾何組（visual geometry group，VGG）將網(wǎng)絡(luò)深度由AlexNet 的5 層提高到16、19 層，在ImageNet 數(shù)據(jù)集上達(dá)到了93.34%的分類準(zhǔn)確率［3-5］。當(dāng)網(wǎng)絡(luò)的深度繼續(xù)增加時(shí)，網(wǎng)絡(luò)中神經(jīng)元已經(jīng)達(dá)到飽和，準(zhǔn)確率無法繼續(xù)提高，反而網(wǎng)絡(luò)中參數(shù)的個(gè)數(shù)增多使訓(xùn)練難度更大，網(wǎng)絡(luò)難以收斂。殘差網(wǎng)絡(luò)（residual network，ResNet）通過引入殘差模塊很好地解決了網(wǎng)絡(luò)層數(shù)增加導(dǎo)致的準(zhǔn)確率下降問題［6］。當(dāng)網(wǎng)絡(luò)前些層訓(xùn)練達(dá)到飽和時(shí)，后續(xù)層中的神經(jīng)元不能起到提高網(wǎng)絡(luò)識別準(zhǔn)確率的作用，殘差模塊能跳過這些不起作用的神經(jīng)元，簡單地執(zhí)行恒等映射，減少了需要訓(xùn)練的神經(jīng)元個(gè)數(shù)，提高了網(wǎng)絡(luò)訓(xùn)練效率。目前卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在發(fā)票檢測［7］、人臉檢測［8-9］、火焰煙霧檢測［10］等方面展現(xiàn)出了顯著作用，將其應(yīng)用于艦船檢測［11-13］領(lǐng)域中也取得了很大進(jìn)展。

岳丹丹等［14］通過融合多個(gè)二分類器對航空母艦、驅(qū)逐艦、護(hù)衛(wèi)艦、客船、集裝箱、民用貨船6 種船只類型進(jìn)行識別，達(dá)到了89%的平均分類準(zhǔn)確率；趙亮等［15］將卷積神經(jīng)網(wǎng)絡(luò)結(jié)合方向梯度直方圖，顏色空間特性完成對艦船目標(biāo)的特征提取任務(wù)，使用支持向量機(jī)［16-17］對集裝箱船、客船、漁船、帆船和艦船5 類船只進(jìn)行識別，達(dá)到了93.6%的平均分類準(zhǔn)確率；劉峰等［18］通過對串聯(lián)的三波段數(shù)據(jù)進(jìn)行排序，同時(shí)提取三波段信息對6 類艦船目標(biāo)進(jìn)行識別，達(dá)到了84.5%的平均分類準(zhǔn)確率；吳建寶等［19］通過改進(jìn)GoogleNet 模型［20］，在對艦船、民船、非船類目標(biāo)3 種類型目標(biāo)識別任務(wù)中達(dá)到了99.0%的平均分類準(zhǔn)確率，在對集裝船、潛艇、貨船等43 種艦船目標(biāo)的識別任務(wù)中達(dá)到了90.21%的平均分類準(zhǔn)確率。這些方法都取得了良好效果，識別準(zhǔn)確率較傳統(tǒng)識別方法有了較大程度的提升，但是識別任務(wù)中忽略了艦船固定的幾何形狀。艦船的形狀在識別任務(wù)中不會發(fā)生改變，本文使用適應(yīng)艦船形狀的卷積核來提取艦船目標(biāo)特征，使單個(gè)積卷積核盡可能多地提取出更多目標(biāo)特征，減少網(wǎng)絡(luò)提取目標(biāo)特征過程中的時(shí)間和空間開銷，達(dá)到更高的識別準(zhǔn)確率。由于網(wǎng)絡(luò)卷積結(jié)構(gòu)的特殊性，本網(wǎng)絡(luò)取名為適應(yīng)幾何特征的卷積網(wǎng)絡(luò)（ShapeConv）。

2 適應(yīng)幾何特征的卷積網(wǎng)絡(luò)

由于艦船目標(biāo)特定的形狀結(jié)構(gòu)，采用3×5，5×3，3×1，1×3 的卷積核堆疊形成一層卷積結(jié)構(gòu)用于提取艦船特征，在每層卷積結(jié)構(gòu)后加一層最大池化層將特征圖大小減半，卷積模型共四層卷積結(jié)構(gòu)和四層最大池化層，最后一層的全連接層使用卷積結(jié)構(gòu)提取到的特征對艦船目標(biāo)進(jìn)行分類。訓(xùn)練過程采用交叉熵函數(shù)作為損失函數(shù)，使用隨機(jī)梯度下降算法對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

2.1 網(wǎng)絡(luò)模型

整個(gè)網(wǎng)絡(luò)模型由4 個(gè)特定卷積結(jié)構(gòu)疊加而來，在每個(gè)卷積結(jié)構(gòu)后面有一個(gè)最大池化層用于減小特征圖大小。網(wǎng)絡(luò)最后一層為全連接層，輸入為卷積結(jié)構(gòu)提取的目標(biāo)特征，輸出為目標(biāo)類別數(shù)目。網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖1 所示。

2.2 形狀卷積核

圖1 網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.1 Network model structure

網(wǎng)絡(luò)采用5×3，3×5，3×1，1×3 的卷積核用來提取目標(biāo)的特征。艦船的長寬比率為5∶3 或者3∶1，所以采用此形狀的卷積核來提取目標(biāo)特征得到特征圖。在卷積過程中，當(dāng)卷積核進(jìn)行卷積運(yùn)算的區(qū)域?qū)?yīng)的感受野與原輸入圖像中的目標(biāo)方向大小一致時(shí)，單個(gè)卷積核能最大程度的提取出單個(gè)目標(biāo)特征，此卷積核中所提取到的特征含有大量的目標(biāo)信息，僅有極少的非目標(biāo)特征。

在卷積過程中，特征圖在每層卷積結(jié)構(gòu)中由于未進(jìn)行池化操作，特征圖大小不會發(fā)生變化。在經(jīng)過最大池化層后特征圖的大小會縮小為原來的一半。在前幾層的特征圖中，卷積計(jì)算的區(qū)域所對應(yīng)的感受野在原圖中的大小可能與目標(biāo)物的大小不匹配，經(jīng)過最大池化層后，在特征圖上的卷積區(qū)域?qū)?yīng)的感受野隨著池化次數(shù)的增加而變大，進(jìn)而與輸入圖片中的目標(biāo)大小相適應(yīng)，單個(gè)卷積核就能提取到目標(biāo)整體特征。此卷積結(jié)構(gòu)也能很好地提取到小目標(biāo)的特征。

在卷積過程中一個(gè)卷積層結(jié)構(gòu)由4 個(gè)5×3，3×5，3×1，1×3 的卷積核堆疊而成，每個(gè)卷積核后以relu 函數(shù)作為激活函數(shù)，relu 函數(shù)如公式（1）所示。

單個(gè)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2 所示。

圖2 ConvNet結(jié)構(gòu)Fig.2 ConvNet structure

每層卷積結(jié)構(gòu)中特征圖數(shù)量不變。從輸入的3 個(gè)通道，到經(jīng)過第一個(gè)卷積結(jié)構(gòu)后，特征圖的數(shù)量變?yōu)?6，在后續(xù)的卷積結(jié)構(gòu)中，特征圖數(shù)量翻倍。

2.3 訓(xùn)練方法

在網(wǎng)絡(luò)訓(xùn)練過程中設(shè)置批次大小為32，采用softmax 函數(shù)完成艦船的分類任務(wù)，交叉熵代價(jià)函數(shù)作為網(wǎng)絡(luò)的損失函數(shù)。反向傳播過程中，使用隨機(jī)梯度下降法對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

在網(wǎng)絡(luò)結(jié)構(gòu)中，使用與VGG16 網(wǎng)絡(luò)相同的損失函數(shù)（交叉熵代價(jià)函數(shù)），如公式（2）所示。

式（2）中L 表示一個(gè)批次樣本總的損失，x 表示樣本，n 表示樣本的總數(shù)，a 表示網(wǎng)絡(luò)的期望輸出，y表示樣本的實(shí)際輸出。

3 實(shí)驗(yàn)部分

3.1 實(shí)驗(yàn)平臺及數(shù)據(jù)集

實(shí)驗(yàn)平臺。本網(wǎng)絡(luò)基于tensorfolw 框架進(jìn)行開發(fā)，采用tensorboard 進(jìn)行可視化。實(shí)驗(yàn)所用設(shè)備為cpu i7、nvidia GTX 1070Ti 顯 卡、16 GB 內(nèi) 存 電腦。電腦系統(tǒng)為linux 的Ubuntu16.04 版本，使用cuda8.0，cudnn9.1 進(jìn)行顯卡加速計(jì)算。

目前雖然存在大量的公開數(shù)據(jù)集，但沒有專門用于艦船分類的訓(xùn)練數(shù)據(jù)集。在本次實(shí)驗(yàn)中使用的訓(xùn)練數(shù)據(jù)由各種軍事網(wǎng)站和各大網(wǎng)站中的視頻截取而來的可見光圖片數(shù)據(jù)組成，總的樣本個(gè)數(shù)為4 201，總共包含30 類艦船類型，每個(gè)類別平均127 張圖片，最少的類別的圖片數(shù)目為53 張，雖然存在樣本數(shù)目分布不均衡的情況，但并未對實(shí)驗(yàn)的結(jié)果產(chǎn)生影響。本文所用部分?jǐn)?shù)據(jù)樣本縮略圖如圖3 所示。

圖3 部分?jǐn)?shù)據(jù)樣本縮略圖Fig.3 Thumbnail of partial data sample

3.2 圖片預(yù)處理

本網(wǎng)絡(luò)先對輸入的圖片進(jìn)行縮放操作，將輸入圖片大小固定為224×224×3。訓(xùn)練的樣本以圖片幾何中心為中心點(diǎn)進(jìn)行30°、60°旋轉(zhuǎn)，超出原始圖像的部分進(jìn)行裁剪，空缺部分進(jìn)行零填充。同時(shí)對原圖和旋轉(zhuǎn)后的2 張圖片進(jìn)行灰度化處理，并將3 張進(jìn)行灰度處理后的圖片進(jìn)行疊加，最終形成224×224×3 的輸入。

在VGG16 網(wǎng)絡(luò)中輸入圖片是224×224×3 的三通道彩色圖片，在本文的識別任務(wù)中，雖然輸入到網(wǎng)絡(luò)中的輸入圖片也是224×224×3，但是包含了3張不同角度的灰度圖。在傳統(tǒng)的目標(biāo)識別中，顏色這一特征是圖片的一個(gè)重要特征，但是在人識別物體時(shí)，即使是1 張灰度圖片，視覺系統(tǒng)也能辨認(rèn)出物體所屬的類別，所以顏色特征在此類目標(biāo)識別任務(wù)中并不能起到太大的作用。為了減少計(jì)算所花費(fèi)的時(shí)間，將3 張圖片進(jìn)行了灰度處理，減少不必要的計(jì)算所用時(shí)間。

在預(yù)處理過程中，對圖片進(jìn)行30°、60°的旋轉(zhuǎn)使圖片中的目標(biāo)與卷積核的方向一致。為了使目標(biāo)方向與卷積核方向相同，可以對輸入圖片進(jìn)行0°～90°的旋轉(zhuǎn)，實(shí)驗(yàn)表明30°、60°旋轉(zhuǎn)已經(jīng)可以讓識別任務(wù)達(dá)到99.9%的準(zhǔn)確率。對圖片進(jìn)行旋轉(zhuǎn)操作時(shí)，圖片的部分區(qū)域相對于原始圖片會超出顯示范圍，將超出原圖顯示的部分進(jìn)行裁剪。裁剪的部分可能包含目標(biāo)信息，由于原始灰度圖仍保留有目標(biāo)信息，裁剪不會導(dǎo)致目標(biāo)信息丟失。在旋轉(zhuǎn)的同時(shí)，圖像的部分區(qū)域會出現(xiàn)像素值缺失，缺失的像素值進(jìn)行零填充。未處理的圖片與預(yù)處理后的圖片對比如圖4 所示。

圖4 未處理的圖片和預(yù)處理后的圖片對比：（a）未處理，（b）預(yù)處理后Fig.4 Comparison of unprocessed and pre-processed pictures：（a）unprocessed，（b）pre-processed

由圖4 中2 張圖片的對比能發(fā)現(xiàn)未處理的圖片與處理后的圖片的區(qū)別，肉眼已經(jīng)無法分辨出預(yù)處理后的圖片中目標(biāo)物所屬的類別，這樣的輸入對神經(jīng)網(wǎng)絡(luò)來說是有意義的，神經(jīng)網(wǎng)絡(luò)對目標(biāo)的識別并不依賴于目標(biāo)的整體外觀而是依賴于圖片中像素以及像素之間的相互關(guān)系。

3.3 實(shí)驗(yàn)結(jié)果

使用VGG16，ResNet_v2_101，inception_v2，inception_resnet_v2 這幾種分類網(wǎng)絡(luò)進(jìn)行對比實(shí)驗(yàn)，批次均設(shè)為32。準(zhǔn)確率、準(zhǔn)確率方差、損失、損失方差均采用網(wǎng)絡(luò)收斂后10 000 步的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行對比，結(jié)果如表1 所示。

從表1 結(jié)果可以看出，ShapeConv 所需的訓(xùn)練次數(shù)為5.24 萬次，訓(xùn)練時(shí)間為136 min，準(zhǔn)確率為99.7%，損失為0.033。與其他4 個(gè)分類網(wǎng)絡(luò)相比，具有更少的訓(xùn)練次數(shù)和訓(xùn)練時(shí)間，更高的準(zhǔn)確率和穩(wěn)定性。各個(gè)網(wǎng)絡(luò)的準(zhǔn)確率變化情況如圖5 所示。

表1 其他網(wǎng)絡(luò)與ShapeConv 網(wǎng)絡(luò)訓(xùn)練結(jié)果對比Tab.1 Comparison of training results of other networks and ShapeConv

圖5 其他網(wǎng)絡(luò)與ShapeConv 網(wǎng)絡(luò)準(zhǔn)確率變化Fig.5 Accuracy variation curves of other networks and ShapeConv

由圖5 可以看出ShapeConv 以最快的速度達(dá)到收斂。當(dāng)訓(xùn)練到5.24 萬次后網(wǎng)絡(luò)完全收斂，準(zhǔn)確率穩(wěn)定在99.5%～100%，當(dāng)網(wǎng)絡(luò)收斂后，Shape-Conv 具有更高的穩(wěn)定性和準(zhǔn)確率。由于網(wǎng)絡(luò)參數(shù)的個(gè)數(shù)少，且卷積核的形狀與目標(biāo)物的形狀相同，卷積核能更好地提取出目標(biāo)特征，取得最快的訓(xùn)練速度和最高的訓(xùn)練準(zhǔn)確率。

為了得到更好的實(shí)驗(yàn)結(jié)果，在使用本網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，由原來4 層卷積網(wǎng)絡(luò)提高至5 層。實(shí)驗(yàn)結(jié)果顯示，5 層的卷積網(wǎng)絡(luò)的識別準(zhǔn)確率也是99.7%，網(wǎng)絡(luò)層數(shù)的增加并未提高網(wǎng)絡(luò)識別目標(biāo)的的準(zhǔn)確率。

在VGG16 中使用與ShapeConv 相同的圖片預(yù)處理，實(shí)驗(yàn)結(jié)果顯示未進(jìn)行預(yù)處理的圖片與預(yù)處理后的圖片輸入到VGG16 網(wǎng)絡(luò)中得到的準(zhǔn)確率相差0.5%以內(nèi)。證明了圖片的旋轉(zhuǎn)在采用3×3 形狀卷積核的網(wǎng)絡(luò)上并不能起到任何作用，相反增加了操作的復(fù)雜度。在進(jìn)行艦船目標(biāo)識別時(shí)，對輸入數(shù)據(jù)進(jìn)行旋轉(zhuǎn)操作時(shí)只有卷積核的形狀和目標(biāo)形狀相適應(yīng)時(shí)才能起到作用。

4 結(jié) 論

以上闡述了與目標(biāo)物形狀相適應(yīng)的卷積網(wǎng)絡(luò)對艦船目標(biāo)進(jìn)行識別的方法。利用適應(yīng)艦船形狀的卷積核疊加形成一個(gè)特殊的卷積結(jié)構(gòu)來提取艦船目標(biāo)特征，在對30 類艦船目標(biāo)進(jìn)行分類的實(shí)驗(yàn)中取得了99.7%的分類準(zhǔn)確率，比通用的分類網(wǎng)絡(luò)VGG16，ResNet_v2_101，inception_v2，inception_renet_v2 均高出超過1%的準(zhǔn)確率，并且訓(xùn)練時(shí)間只有上述網(wǎng)絡(luò)中訓(xùn)練花費(fèi)時(shí)間最短的網(wǎng)絡(luò)的1/3。在網(wǎng)絡(luò)收斂后，具有最高的穩(wěn)定性。同時(shí)本實(shí)驗(yàn)證明了將采用與ShapeConv 相同方式預(yù)處理后的圖片輸入到VGG16 的網(wǎng)絡(luò)中，由于卷積核大小與目標(biāo)形狀不匹配并不能起到任何的效果，只有使用適應(yīng)艦船形狀的卷積核才能最大程度地提取目標(biāo)的特征，減少卷積層的層數(shù)，節(jié)約訓(xùn)練時(shí)間。本網(wǎng)絡(luò)適用于目標(biāo)形狀特征明顯的目標(biāo)識別任務(wù)。