基于Faster R-CNN的航母艦面多尺度目標檢測算法

范加利, 田少兵, 黃 葵, 朱興動

(1. 海軍航空大學(青島校區)艦面航空保障與場站管理系, 山東 青島 266041;2. 中國人民解放軍91851部隊, 遼寧 葫蘆島 125000; 3. 海軍航空大學岸防兵學院, 山東 煙臺 264001)

0 引 言

航母是國之利器,艦載機在艦面安全、高效地開展保障作業是航母作戰效能發揮的基礎。航母甲板調運作業中艦載機、艦載直升機、牽引車、保障人員等構成了航母艦面復雜的調運環境。對航母艦面目標進行檢測,是采用視覺檢測方式實現艦面目標智能監控和態勢感知的基礎,對提高航母艦面調運的安全性有重要意義。

圖像目標檢測算法發展至今,主流的框架有兩種:兩階段目標檢測算法和單階段目標檢測算法。前者由于首先生成了目標框區域建議,算法共進行了兩次分類和回歸,目標檢測準確率較高,但是算法運行速率不高,代表算法有區域卷積神經網絡(region convolutional neural networks,R-CNN)、Fast R-CNN、Faster R-CNN。后者由于直接在特征圖上進行目標分類和回歸,降低了算法的運算規模,因此運行速率高,但檢測準確率不如前者,代表算法有YOLO系列、SSD(single shot multibox detector)算法。

上述算法在PASCAL VOC、MS COCO等公共數據集上取得了較高的檢測準確率,但針對本文多尺度艦面目標檢測需求,直接使用上述算法得到的檢測結果并不理想。針對多尺度目標檢測尤其是小目標檢測問題,廣大學者進行了廣泛的研究。文獻[11]針對算法對于小目標檢測能力差的問題,提出了多尺度特征提取網絡,對不同尺度的特征層進行融合,實驗表明改進后算法相比于原算法檢測準確有了一定程度的提高。文獻[12]針對坦克裝甲目標檢測任務,提出了一種分層的區域建議網絡,在不同尺度的特征層上生成區域建議,并結合困難負樣本挖掘策略,在構建的坦克目標檢測數據集上取得了優異的檢測效果。文獻[13]針對傳統自動化方法檢測發動機零件表面缺陷中準確率低下的問題,提出一種基于Faster R-CNN的零件表面缺陷檢測方法,通過聚類分析確定了錨點框生成方案,并引入多級感興趣區域池化層結構,實現了對零件表面缺陷的高效準確檢測。國內外學者就多種不同目標的檢測問題,在CNN算法的基礎上進行了網絡結構、訓練方法、損失函數設計等方面的研究,取得了大量成果。

本文針對航母艦面艦載機、艦載直升機、牽引車、人員等各目標尺度差異大、檢測準確率不高的問題,提出了一種改進Faster R-CNN的艦面多尺度目標檢測算法,在自建的艦面目標數據集上驗證了算法的有效性和優越性。

1 Faster R-CNN基本原理

Faster R-CNN是典型的端到端目標檢測算法,網絡結構圖如圖1所示,由Vgg-16特征提取網絡充分提取輸入到網絡的圖片特征,生成特征圖,并將特征圖輸入到區域建議網絡(region proposal network,RPN)分支和分類回歸分支網絡用于特征共享。

圖1 Fasetr R-CNN網絡結構Fig.1 Faster R-CNN network structure

1.1 RPN

RPN的作用是生成一系列區域建議框,并初步對建議框內是否含有目標即對目標位置進行回歸。建議框在原始圖像上的映射被稱為錨框,RPN結構如圖2所示。

圖2 RPN結構Fig.2 RPN structure

通過設置不同比例尺度和面積的錨框,得到(原算法取值為9)個不同的錨框,將每個錨框映射為512維的低維特征向量,分別輸入到分類層和回歸層中，以端到端的方式進行訓練。分類層負責預測錨框內是否含有目標,得到2個置信得分,回歸層負責回歸邊界框的位置,得到4個坐標位置參數,最后綜合分類層和回歸層輸出的結果,得到目標區域建議框,再輸入到后面的檢測網絡中進行目標檢測。

1.2 損失函數與邊界框回歸

在端到端的網絡訓練過程中,單張圖片的損失函數可定義為

(1)

分類損失為對數函數,定義為

(2)

對于目標候選框回歸損失,定義為

(3)

其中smooth1()計算公式為

(4)

對于目標邊界框回歸,參數一般用一個4維向量表示,坐標參數回歸如下：

(5)

式中：(,)表示預測的目標邊界框的中心坐標；和分別為其寬和高;(,)表示候選目標建議框的中心坐標；和分別為其寬和高;(,)表示真實目標區域邊界框的坐標；和分別為其寬和高。

2 算法改進

針對艦面復雜的多尺度目標檢測環境,尤其是對牽引車、保障人員等小目標檢測準確率不高的問題,提出了基于多尺度特征提取的區域建議網絡和基于聚類的錨框生成方案,旨在提高算法對多尺度目標的檢測性能和對小目標的檢測效果。

2.1 基于多尺度特征提取的RPN

Faster R-CNN采用一種全連接層網絡實現對目標的檢測,RPN和目標檢測子網絡共享特征提取網絡的特征圖,并在最后一層的特征圖上生成錨框,實現對目標的選取與分類。特征提取網絡Vgg-16由于進行了4次池化,對于一張輸入網絡的圖片,經過網絡的前向映射之后,其大小會縮小16倍,因此導致該特征圖上分辨率較小,小目標的細節信息大量缺失,針對以上問題,提出了一種多尺度特征的RPN,如圖3所示。

圖3 多尺度特征層的RPNFig.3 RPN of multi-scale feature layer

通常圖像的淺層特征具有豐富的細節圖像信息,但是語義信息較弱;圖像深層特征圖圖像細節信息較少,但語義信息較強。綜合考慮圖像特征的細節信息和語義信息,分別在Vgg-16網絡卷積層的conv3-3、conv4-3、conv5-3上添加不同大小的滑動窗口。由于conv3-3卷積層分辨率較高,感受野較小,所含圖像目標細節信息較多,主要用于對圖像中的小目標進行檢測,因此設置7×7大小的滑動窗口。對于conv4-3卷積層,分辨率相比conv3-3縮小了1倍,因此采用5×5的滑動窗口,適合于檢測中尺度目標。對于conv5-3卷積層,感受野大,分辨率最小且圖像深層特征最集中,適合于檢測大目標,因此選用3×3的滑動窗口,3個滑動窗口的步長都設置為1。將3個滑動窗口所選擇的區域特征信息均映射為512維的特征向量輸入到兩個全連接層:分類層和回歸層,前者負責判斷所選擇的窗口中是否含有目標,后者用于初步回歸目標位置坐標。實驗表明,所提的多尺度特征層RPN能夠有效提高算法對艦面多尺度目標的檢測性能以及對小目標的檢測效果,但多尺度特征提取網絡增加了網絡的運算規模,一定程度上降低了算法的檢測速率。

2.2 基于聚類的錨框生成方法

由于Faster R-CNN中的錨框方案是針對PASCAL VOC 2007數據集所確立的,與本文艦面目標數據集的尺度不相適應,RPN在生成建議框時需要大量的時間,影響網絡的訓練效率以及檢測精度。針對這些問題,提出用K-means聚類算法來確定本文錨框生成方案,主要對艦面目標數據集標注的寬和高進行聚類分析,并將聚類結果作為本文錨框的生成方案,從而加快網絡收斂時間,生成更優的目標候選區域,以提高算法的檢測精度。

原K-means聚類算法通常將歐式距離作為評價相似性的準則函數,本文需要對標注目標框的寬和高進行聚類,若采用歐式距離作為評價指標,則會造成大目標框比小目標框的誤差更大。因此，用聚類中心對應的框與周圍各目標框的面積的交并比值來衡量兩者的差異,則聚類目標函數定義如下：

(6)

式中：為聚類中心個數；為數據集大小；box為數據集中每個艦載機的尺寸；center為預設的聚類中心；IOU為兩者面積交并比。

原Faster R-CNN中的錨框數目為9,因此也將K-means聚類中心數設置為9,本文聚類步驟如下所示。

隨機在本文的艦面目標數據集的寬、高標簽中選取9個點作為初始的聚類中心。

計算每個數據與9個聚類中心數據的IOU值,并將該數據劃分到與其IOU值最大的類中。

重新計算聚類中心。

若數據集的聚類分布不再發生變化,則輸出聚類結果;否則，返回步驟2。

對本文數據集標注的寬和高進行聚類分析后得到聚類結果,首先對數據集中的寬和高進行歸一化,然后再進行聚類分析,得到聚類結果之后,將9個聚類中心結果再乘以網絡輸入圖片尺度,作為算法初始的寬和高,歸一化結果如圖4所示,聚類結果如圖5所示。

圖4 數據集歸一化Fig.4 Dataset normalization

圖5 聚類結果(Mean IOU=0.770 4)Fig.5 Clustering results (Mean IOU=0.770 4)

3 實驗及分析

3.1 艦面目標數據集的建立

在實驗室條件下采集了3 500張包含5種航母艦面目標的圖像數據,并按照PASCAL VOC 2007的格式標注建立目標檢測數據集,表1為詳細的艦面目標檢測數據集。

表1 艦面目標檢測數據集

在3 500張圖像數據中,參與網絡訓練的圖片有3 000張,參與網絡模型測試的圖片有500張。

為了增強網絡所訓練模型的泛化能力,對艦面目標檢測數據集進行數據增強。對數據集中的圖像進行隨機水平、垂直翻轉,隨機旋轉的角度是[-45°,+45°],隨機縮放的比例范圍是0.7～1.3,從而增強數據集的多樣性。

3.2 實驗平臺及性能評價指標

(1) 實驗環境配置

在Ubuntu16.04系統上搭建實驗環境,CPU為Inter(R) Xeon Silver 4110,GPU為NVIDIA GeForce RTX 2080Ti,深度學習框架為Tensorflow。

實驗中設置初始學習率為0.000 1,并隨著迭代次數的增加線性遞減。權重衰減系數設置為0.000 5,批量大小batchsize設置為1,訓練網絡共迭代30 000批次。

(2) 算法性能評價指標

深度學習目標檢測類算法通常采用準確率(Precision)和召回率(Recall)來評價模型的性能,公式定義如下:

(7)

(8)

式中：Precision反映的是被目標檢測模型判定為正確樣本中真正正樣本的比重;Recall反映的是被目標檢測模型判定為正確樣本中的正樣本占總的正樣本的比重;TP表示檢測正確的艦載機目標(實際為正樣本檢測也為正例);FP表示將負例檢測為艦載機目標的數量(實際為負例但檢測為正例)；FN表示漏檢的艦載機目標數量(實際為正樣本但檢測為負例)。

對于特定的某一目標類別,可以通過平均準確率(ave-rage precision,AP)來表示算法對其檢測效果,定義為

(9)

式中：為準確率；為召回率。對于個類別的平均準確率,用平均準確率的均值來表示,定義為

(10)

3.3 改進前后算法對比

分別對原Faster R-CNN算法和改進后的算法在測試集上進行測試,以對比改進前后算法的性能,實驗結果如表2所示。

表2 Faster R-CNN算法改進前后性能對比

由表2實驗結果可知,改進后的算法在檢測不同目標尺度性能上均有所提升,尤其對于人員、牽引車等小目標,平均準確率分別提升了7.1%和6.5%,總體平均準確率的均值mAP也提升了4.49%,說明所提算法總體性能的提升尤其是對小目標的檢測性能起到了良好的效果。但是，由于多尺度特征的區域建議生成時會增加網絡計算量,因此改進后的算法檢測速率有所下降,目標檢測效果圖如圖6所示。

圖6 艦面目標檢測效果圖Fig.6 Effect drawing of aircraft carrier surface object detection

由圖6的檢測結果可知,對于人員、牽引車等小目標,由于改進后的算法在多尺度特征上進行了建議區域生成,增加了大尺度特征圖檢測小目標的環節,且錨框方案經過聚類后適應了本文數據集,因此算法準確地檢測出了目標的位置,明顯提升了對小目標的檢測性能。

3.4 消融實驗

為探究本文多尺度特征RPN和錨框聚類分析兩個改進方案對算法性能提升的影響,設計如表3所示的實驗方案并對各自方案的性能進行測試,實驗結果如表3所示。方案a為原Faster R-CNN算法,方案b只有多尺度特征的RPN,方案c只有錨框聚類分析,方案d同時施加上述兩個改進方案。由各目標類別平均準確率來看,兩個改進方案對于算法性能提升的效果相當,多尺度特征的RPN和錨框聚類分析對于算法總體性能分別提升了3.25%和3.35%,表明兩個改進方案對算法性能的提升均產生了良好的效果,同時施加兩個改進方案時算法的檢測性能最高。

表3 消融實驗

3.5 不同算法

實驗對比本文算法、YOLO v3目標檢測算法、SSD目標檢測算法的性能,從平均準確率均值和檢測速率兩個方面對算法的性能進行評估,實驗結果如表4所示。

表4 不同算法性能對比

由實驗結果可知,本文算法的準確率相比于單階段目標檢測算法YOLO v3和SSD分別提高9.82%和11.56%,由于本文算法為兩階段算法,網絡進行了兩次分類與回歸,算法檢測速率明顯低于單階段目標檢測算法,但能夠滿足艦面目標檢測實際需求。

4 結 論

針對航母艦面多尺度目標檢測任務需求,提出了一種改進Faster R-CNN的艦面目標檢測算法。在原算法特征提取網絡的基礎上添加多尺度特征的RPN,并在本文艦面目標數據集上進行聚類分析以生成適合于本文目標檢測的錨框尺寸,提高了算法對艦面多尺度目標尤其是對小目標檢測的準確率。后續將繼續研究如何提高算法檢測速率,以提高算法檢測的實時性。