基于密集連接的FPN多尺度目標檢測算法

張 寬 滕國偉* 范 濤 李 聰

1(上海先進通信與數據科學研究院 上海 200444)2(上海大學通信與信息工程學院 上海 200444)3(華平信息技術股份有限公司 上海 200438)

0 引 言

目標檢測是計算機視覺中一個重要的基礎研究領域。隨著具有出色特征提取和表達能力的深度卷積神經網絡模型(CNN)的出現和迅猛發展，基于深度學習的目標檢測算法得到了廣泛的重視和研究。目標檢測是人臉識別、交通燈識別、異常行為監控、無人駕駛以及智能機器人等人工智能相關領域的工作基礎，其主要工作是預測感興趣對象(ROI)在圖像中的位置，以及預測該對象ROI所屬的類別。

在深度學習網絡模型出現之前，目標檢測的研究方法主要是通過手動方式提取目標對象檢測所需要的特征，基于深度學習的目標檢測器(CNN-based Detector)憑借其出色的表現，迅速成為了目標檢測領域新的研究方向，主要分為兩大類：二級目標檢測和一級目標檢測。二級目標檢測方法首先通過篩選生成感興趣候選邊界框(ROI)，然后對篩選后的ROI做進一步的類別得分預測和邊界框回歸，常見的算法有R-CNN[6]、Faster-RCNN[9]、Mask R-CNN[22]、R-FCN[10]以及FPN[2]等；一級目標檢測算法舍棄了二級目標檢測算法中的ROI生成部分，在一個端到端的網絡模型中直接完成目標檢測的所有工作，主要有YOLO[4]、SSD[12]、DSSD[13]、RON[14]以及RetinaNet[15]等。

目標檢測的主要任務是定位和識別圖像中出現的所有目標對象，然而圖像中對象形狀和尺度的多樣性嚴重影響了基于深度學習目標檢測器的檢測性能。雖然CNN網絡模型中不同深度的特征層具有不同尺度的感受野，不同尺度感受野對應輸入圖像的不同尺度的對象區域，使用不同感受野特征層的特征信息能夠檢測不同尺度的對象。但是圖像中目標對象尺度的隨機特性與CNN網絡模型的特征層感受野尺度固定不變特性之間的不一致，仍然是基于深度學習的目標檢測器性能不理想的主要原因之一。

針對目標檢測的對象多尺度問題，最早的解決方法是圖形金字塔算法[7]，它使用不同尺度的訓練數據集訓練得到的檢測模型來檢測不同尺度的目標對象，如圖1(a)所示。圖形金字塔最大的不足是其模型過高的內存消耗和計算復雜度。單一圖像輸入的目標檢測器模型，相對來說模型參數更高效，比如SSD[12]和MS-CNN[1]直接使用具有不同感受野的多層預測特征層做不同尺度對象的檢測，如圖1(b)所示。而TDM[17]和FPN[2]通過引入自頂向下的傳輸模塊和橫向連接來彌補不同尺度對象對應的預測特征層丟失的細節空間信息，如圖1(c)所示。PANet[11]通過額外的低層特征傳輸路徑來增強FPN的特征層中信息的多樣性，并使用自適應的特征池化聚合各個層次的特征信息，提高尺度敏感檢測器的檢測性能。

圖1 多尺度目標檢測網絡模型

大量關于特征層感受野尺度與檢測對象尺度之間關系的研究發現，僅靠一層特征層所具有的特征信息不足以滿足對相應尺度范圍內目標對象的檢測和識別[11]。如圖2所示，折線(scale1,scale2,scale3,sacle4)分別表示4個尺寸不同(從小到大)的目標對象檢測所需的特征信息集合在(F1,F2,F3,F4)4個不同感受野尺度的特征層中所占的比例。從折線scale1可以看出，小尺度對象檢測時所需的特征信息僅有30%分布在與其對應的特征層F1上，將近70%的特征分布在其他感受野更大的特征層{F2,F3,F4}；折線sacle4表示大尺度對象檢測所需特征信息將近60%分布在其他特征層。現實中大多數對象均是由不同尺度大小的部分/模塊組成，比如人或者其他動物都是由不同尺度和形狀的軀體和器官組成。

圖2 不同尺度對象特征在不同層中的分布統計

為了實現對圖像中不同尺度對象的檢測，尤其是極端尺度(極大/極小)目標對象的檢測，本文提出了一種能夠融合多個特征層的增強型FPN網絡模型——密集連接FPN(Dense Connectivity FPN，DC-FPN)。該網絡模型以FPN為基礎，將FPN的自底向上傳輸模塊的下采樣卷積使用空洞卷積[21]代替，空洞卷積能保證在空間分辨率不變的前提下，提升模型的感受野。DC-FPN使用密集連接代替原FPN中的橫向連接，該連接方式能夠融合多個包含低層精細空間信息和高層上下文語義信息的特征層，獲取多尺度目標檢測所需的特征信息，提升模型的尺度魯棒性。實驗表明，DC-FPN目標檢測器能夠獲取不同尺度對象檢測所需的特征信息，并且能夠在不增加模型計算復雜度的情況下，提升檢測器的檢測精度。

1 模型介紹

1.1 DC-FPN目標檢測器

目標檢測所需的特征信息不只是分布在某一層特征層上，預測特征層僅從某一層中難以獲得目標檢測所需的全部特征信息，如果能夠同時融合多個具有不同尺度感受野的特征層所包含的特征信息，則能夠提高檢測器的檢測性能。本文提出了一種能夠通過密集連接融合多層特征信息來實現不同尺度目標檢測的尺度敏感目標檢測網絡模型DC-FPN。如圖3所示，DC-FPN是通過改進FPN[2]的橫向連接方式實現，用DenseNet[5]提出的密集連接代替原本FPN中的橫向連接，密集連接使FPN自頂向下傳輸模塊(top-down path)中的每個預測特征層{Pi}都能夠從FPN的自底向上傳輸模塊(bottom-up path)所有特征層{N4,N5,N6,N7}中獲取細粒度空間信息，以及從當前層上一層特征層{Pi+1}中獲取高度抽象的語義信息，依此可以充分獲取多尺度目標檢測所需的特征信息。同時，在FPN的自底向上傳輸模塊中使用空洞卷積代替下采樣卷積保證特征層的空間分辨率不變的前提下，增加網絡卷積層的感受野。

圖3 DC-FPN目標檢測模型框架圖

1.2 DC-FPN自底向上傳輸模塊

因為大量卷積和池化層的存在，CNN網絡模型隨著模型深度的增加，網絡層的空間分辨率會逐層下降，同時特征層上像素點對應輸入圖像的感受野也會逐漸增大。感受野尺度小、空間分辨率高的低層特征層擁有豐富的細粒度空間特征信息，有利于小尺度目標對象的檢測；感受野尺度大、分辨率低的高層特征層包含有利于大尺度目標類別識別的高度抽象的上下文語義信息語義信息。

DC-FPN使用感受野尺度不同的特征層來檢測與其對應尺度大小的目標對象。為了使目標檢測模型能夠獲得充分的語義信息的同時保留足夠的細粒度空間信息，本文使用空洞卷積[21]代替FPN自底而上傳輸模塊中的下采樣卷積，實現在不增加計算量和保持空間分辨率不變率的同時增大特征層感受野尺度。

現在用ResNet50作為DC-FPN網絡模型的基礎部分，保持其前4個階段{Stage1,Stage2,Stage3,Stage4}網絡結構不變，額外添加與Stage5結構相似的Stage6和Stage7，如圖4(c)所示；{Stage5,Stage6,Stage7}中出現的3×3卷積均使用空洞因子為2的3×3空洞卷積代替，替換后的Bottleneck結構如圖4(a-b)所示，空洞卷積保證{Stage5,Stage6,Stage7}與Stage4具有相同的空間分辨率，并增加模型相對于輸入圖像的感受野。為了不增加模型計算復雜度，將{Stage4,Stage5,Stage6,Stage7}的通道數均設為256；具有相同空間分辨率和不同感受野的{Stage4,Stage5,Stage6,Stage7}的輸出{N4,N5,N6,N7}共同組成DC-FPN的自底向上傳輸模塊。

(a) A,空洞bottleneck結構 (b) B,增加了1×1卷積映射 的空洞bottleneck結構

1.3 密集連接

FPN[2]的自頂向下傳輸模塊由不同尺度對象對應的預測特征層{P4,P5,P6,P7}組成，{P4,P5,P6,P7}擁有豐富的語義特征，并分別與FPN自底向上模塊中的特征層{N4,N5,N6,N7}一一對應。為了提升小尺度目標識別準確度(召回率)和大尺度目標回歸準確度(IoU)，FPN中橫向連接可以輔助預測特征層{Pi}從FPN自底向上傳輸模塊中與其對應的特征層{Ni}和具有豐富語義信息的預測特征層{Pi+1}中調制和選擇指定尺度對象檢測所需的特征信息，其模型結構如圖5所示。

從對不同感受野尺度大小的特征層與不同尺度目標對象之間關系的分析發現，僅使用特征層{Ni}和預測特征層{Pi+1}構建預測特征層{Pi}，難以獲得目標檢測所需的特征信息。為了充分融合多層特征層中的特征信息，DC-FPN網絡模型使用密集連接代替傳統的橫向連接，直接將自底向上傳輸模塊中的各個特征層{N4,N5,N6,N7}連接到自頂向下傳輸模塊中各個預測特征層{P4,P5,P6,P7}。現以預測特征層P4為例做說明，其密集連接模型如圖6所示。

預測特征層P4的輸入由自底向上傳輸模塊中所有空間特征層{N4,N5,N6,N7}，以及語義特征層P5組成：

P4=H([N4,N5,N6,N7,P5])

(1)

式中:[N4,N5,N6,N7,P5]為P4的輸入特征層中特征融合的過程。DC-FPN自底向上傳輸模塊中各個特征層相同的空間分辨率，使得特征間融合變得非常簡單。同時實驗表明從各個輸入特征層中抽取的少量(比如16通道)特征信息的集合，便能為預測特征層提供目標檢測所需的信息，因而在特征層融合前先使用1×1的卷積來降低輸入特征層的通道數量，這個過程能夠從諸多輸入層中提取當前預測層所需的特征信息。這在一定程度降低模型的計算復雜度，并提升檢測器的參數效率。式(1)中的H(·)是由批量正則化層(BN)、激活函數層(RELU)以及3×3卷積層組成的特征層融合函數。如圖6所示，3×3表示連續的BN、RELU和3×3卷積，1×1表示連續的BN、RELU和1×1卷積層。

2 訓練與測試

2.1 網絡實現

DC-FPN為全卷積神經網絡，可以使用任意大小圖像[18]作為輸入，而輸出特征層的空間分辨率與輸入圖像的尺度成一定比例映射關系，不同的基礎網絡模型構成和設置有不同的輸入、輸出以及中間特征提取過程。

本文使用ResNets[26]作為模型網絡基礎，其前4個Stages的網絡結構保持不變，并額外增加兩個與Stage5結構相同的Stage6和Stage7，后3個階段使用空洞卷積代替原本下采樣卷積，增加其感受野的同時保持其分辨率與Stage4相同({Stage4,Stage5,Stage6,Stage7}的空間分辨率下采樣步長Stride={16,16,16,16})。DC-FPN在ResNet的基礎上構建能夠使用不同預測特征層檢測不同尺度大小的目標對象網絡模型，其自底向上傳輸模塊由{Stage4,Stage5,Stage6,Stage7}的輸出{N4,N5,N6,N7}共同組成。而DC-FPN的自頂向下傳輸模塊則使用密集連接代替原本的橫向連接從{N4,N5,N6,N7,Pn+1}中選擇和調制用于檢測特定尺度大小對象的特征信息，并生成對應的預測特征層Pn，保持其特征通道數為256不變。自頂向下傳輸模塊的預測特征層{P4,P5,P6,P7}后分別跟隨分類子網絡和邊界框回歸子網絡，用來預測不同尺度的目標對象所屬類別和所在位置的邊界框。

2.2 尺度敏感訓練策略

DC-FPN的自頂向下傳輸模塊中的預測特征層分別具有不同尺度的感受野，能夠檢測出不同尺度大小的目標對象。為了增強不同預測特征層檢測模塊的尺度敏感性，以及防止模型訓練時訓練數據與預測特征層尺度不匹配，本文在模型訓練時使用尺度敏感訓練策略[8]。

參考SNIP[3]提出的模型訓練策略，分別為每個預測特征層{P4,P5,P6,P7}定義相應的有效目標尺度范圍[li,ui]，在訓練網絡模型的預測特征層Pi及后續類別預測和邊界框回歸預測子網時，將邊界框尺度分布在范圍[li,ui]內的對象標注為正訓練樣本，而其他尺度的對象標注為負訓練樣本。具體來說，在訓練數據集中，假設目標對象的邊界框真實值的長和寬分別為h和w，當它滿足式(2)定義的范圍區間時，則認為該對象相對于預測特征層Pi是有效的。

(2)

當訓練好的模型做前向預測時，首先從預測結果中濾除尺度不在指定區間范圍[li,ui]的邊界框；然后使用NMS或者soft-NMS從所有預測特征層預測得到的預測結果集合中選擇最終的檢測結果。

2.3 匹配策略和損失函數

(1) 預定義邊界框設置：在訓練數據預處理時需要按照上述訓練策略將預定義邊界框與預測特征層關聯起來。預測特征層上每個像素點均有一組多尺度多長寬比的預定義邊界框與其對應。假設Smin為特征層相對與輸入圖像的最小縮放尺度，每個特征圖k對應的預定義邊界框的尺度Sk為：

Sk={(2k-1)·Smin·2k·Smin}k∈{1,2,3,4,5,6}

(3)

其長寬比設為{1∶2,1∶1,2∶1}。在訓練樣本預處理時，與邊界框真實值之間的重疊率(IoU)高于閾值(0.5)的預定義邊界框設為正樣本，其余低于閾值的預定義邊界框的則作為負樣本。上述預定義邊界框匹配策略導致正負樣本不平衡問題，本文使用負樣本挖掘策略將正負樣本比例調整為1∶3。

(2) 分類子網絡模型：分類子網絡的作用是預測當前預測特征層中像素點處預定義邊界框內對象所屬類別的概率，它包含一個1×1卷積層和兩個3×3卷積層，每個卷積層前面都有一個正則化層BN和RELU激活層，最后一個卷積層包含K×A個卷積濾波器，其中K表示對象所屬類別的個數，A指每個空間像素點位置處預定義邊界框的數量，此處預設為6。分類損失用多個類別之間置信度的Softmax函數表示。

(4) 損失函數：目標檢測網絡模型的損失函數是分類損失和邊界框回歸損失的聯合損失：

L(a,I,θ)=Lcls(ya,pcls(I,a,θ))+λ·1[ya>0]·

Lloc(φ(ba,a)-ploc(I,a,θ)

(4)

式中：a表示預定義邊界框；I表示輸入圖像;θ表示模型優化參數；Lcls為分類損失；Lloc為邊界框回歸損失；ya∈{1,2,…,K}是類標簽，ya=0表示當預定義邊界框a不匹配；ploc(I,a,θ)和pcls(I,a,θ)分別表示預測得到的邊界框偏移量和對應的類別概率值；φ(ba,a)是預定義邊界框a相對于邊界框真實值ba的偏移量；λ為兩個損失函數的權衡系數。

3 實 驗

本文使用MS COCO數據集[24]作為訓練和評估DC-FPN目標檢測器的基準數據集。該數據集包含80個類別，80 000幅訓練數據集圖像，40 000幅驗證數據集圖像；將40 000幅驗證集分為35 000幅圖像的large-val驗證數據集和5 000幅圖像的mini-val驗證數據集。所有實驗的網絡模型均使用訓練數據集和large-val驗證數據集(約115 000幅圖像)訓練，并在5 000幅圖像的mini-val數據集上做測試。測試時使用MS COCO標準的評價指標(Standard COCO Metrics)來評估DC-FPN網絡模型的檢測性能。

DC-FPN檢測器使用4個 NVIDIA 1080Ti GPUs進行端到端訓練，采用同步SGD優化，權值衰減設置為0.000 1，沖量為0.9；每個批次包含8幅訓練圖像，訓練圖像尺度為512×512。訓練初始時學習率lr設置為0.02，分別在經過120 000次和160 000次迭代后學習下降10倍，最終在第180 000次迭代結束訓練；并且在前500次迭代中使用較小的學習率lr=0.02×0.3來預熱模型的訓練。

3.1 實驗分析

本文主要通過3組實驗的對比來檢驗DC-FPN目標檢測器的各個模塊在整個模型中所起的作用，這3組實驗分別是：(a) ResNet50+FPN，所有實驗的基準；(b) ResNet50+Dilate-FPN，為了保持特征層空間分辨率不變，使用空洞卷積代替FPN自底向上傳輸模塊中使用的下采樣卷積；(c) ResNet50+DC-FPN，FPN橫向連接使用Concatenation融合多層語義特征，即密集連接。3組實驗主要使用召回率(AR)和準確率(AP)兩個指標來評估。不同的IoU閾值上的AP和AR值可以體現檢測器邊界框回歸能力，當IoU閾值越大，對檢測器邊界框回歸能力要求越高；不同尺度范圍的邊界框區(small、middle、large)上的AP和AR值表示細節信息對不同尺度大小對象的影響。

通過比較表1中不同IoU閾值條件下不同尺度對象的AP和AR值來分析不同模型的檢測性能。首先比較模型(a)與(b)，可以發現大尺度對象的AP50和AR50沒有有明顯改變，而AP85和AR85值提高了5%～6%(28.7vs 33.9@AP85，47.6vs54.1 @AR85)。這說明使用空洞卷積保持FPN自底向上傳輸模塊中的特征層空間分辨率不變，使模型能夠獲得更多對大尺度目標回歸有幫助的空間信息。同時可以發現，小尺度對象的AP85、AR85以及AP50均沒有明顯提升(1%左右)，而AR50值提高了5.9%(57.5vs63.4@AR50)，這說明保持特征層空間分辨率不縮小，對小尺度目標的位置回歸沒有太大幫助，但對降低小尺度對象的漏檢率是有好處的。

表1 不同IoU閾值和不同尺度對象下不同檢測算法的檢測精度(AP)和召回率(AR)比較

比較檢測模型(b)和(c)，從表1可以發現大尺度對象的AP85和AR85分別提升了4.6%(37.5vs33.6@ AP85)和5.8%(60.3vs54.1@ AR85)，小目標對象的AP85和AR85也分別提升了2.9%(7.6vs10.5@ AP85)和3.6%(16.8vs20.4@ AR85),這說明DC-FPN中的密集連接能夠從不同層中獲得對象邊界框回歸所需的特征信息。小尺度對象的AP85/AR85值的提升也說明了從感受野更大的特征層中也能得到用于邊界框回歸的特征信息。從表1也可以看出，小尺度目標的AP50和AR50也提升了2%～3%，這說明從其他層抽取的特征信息對當前層對象的檢測和識別都有幫助。

3.2 結果對比

本文使用MS COCO測試(test-dev)數據集和COCO標準評價指標測試和評估DC-FPN目標檢測器的性能，與其他優秀目標檢測算法的性能比較如表2所示。表2中所有的與DC-FPN檢測器做比較的算法模型大多使用ResNet101+FPN作為其模型基本結構，CornerNet[23]使用HourglassNet網絡結構，SSD512[12]使用的是VGG。Two-stage目標檢測算法的輸入圖像尺寸為1 280×800，而One-stage目標檢測算法的尺寸為512×512；其中使用“*”標注的算法則是在模型測試時使用多尺度版本(Multi-Scale)測試數據集，本文提出的算法DC-FPN沒有使用多尺度測試數據集測試。

表2 MS COCO測試數據集測試結果比較

從表2中不同目標檢測算性能的比較，可以發現在不使用多尺度測試數據集測試時，本文提出的DC-FPN目標檢測器的檢測精度AP可以達到43.1%，比現今最優目標檢測TridentNet[8]、CornerNet[23]以及Cascade R-CNN[20]分別高了0.4%、2.6%和0.3%，但是DC-FPN的網絡模型復雜度要小很多，同時還比使用了多尺度測試數據集的RefineNet[16]高了1.3%。即使是使用模型更簡單的Resnet-50作為基礎網絡，DC-FPN的檢測性能也能與其他網絡相媲美。

4 結 語

本文提出了一種基于多層特征層融合的方式來獲取多尺度對象檢測所需特征信息的尺度敏感特征檢測算法DC-FPN。該算法以FPN為網絡基礎，使用空洞卷積替換FPN自底向上傳輸模塊中的下采樣卷積，能夠增加模型感受野的同時保持其特征層空間分辨率不變；同時使用密集連接代替原本的橫向連接，使FPN的自頂向下傳輸模塊的預測特征層能夠從多層特征層中選擇和調制對應尺度對象檢測所需的特征信息。大量實驗表明，DC-FPN目標檢測器能夠從多層特征層中獲得檢測不同尺度對象所需的豐富的特征信息，在MS COCO數據集訓練和測試下，其檢測準確度(mAP)可以達到43.1%。