改進的Faster R-CNN網絡預測尺度參數

王婷婷， 蒼巖， 畢曉君， 何恒翔

(1.哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001； 2.哈爾濱工業大學 電子與信息工程學院，黑龍江 哈爾濱 150006)

隨著“網易”、“阿里”、“京東”等互聯網企業強勢進入農業生產領域，人工智能技術開始廣泛應用于動物養殖領域[1-4]。生豬的體重信息是生豬體況的重要參數。傳統的生豬體重測量方法是磅秤測量或者懸掛稱重，不僅不能實現體重實時監控以實現精細化飼養；而且會造成豬只應激反應，嚴重影響其生長速度。因此，無接觸式測重方式一直是生豬養殖產業的一個熱點以及難點問題。目前比較常見的非接觸式體重測量方法多是基于機器視覺方法。學者利用視覺圖像分析方法發現了豬體背部面積與體重參數之間具有很強的相關性[5]；隨后，證明了豬體背部面積和體高參數與體重的相關性最高[6]；學者利用視覺圖像分析方法進行了實際生豬體重的測量，并且取得了較好的精度；胡英新等[8]對單體生豬的體重參數以及體尺參數進行線性回歸分析研究，利用體尺參數成功預測出體重數據。李卓等[9-10]利用立體視覺方式實現了生豬體尺參數的測量，通過SPSS軟件處理體尺和體重數據，建立體重預估的數學模型，其研究重點是如何通過的精準的體尺參數，包括體長、臀圍、胸圍等參數，分析這些參數與體重之間的關系，同時加入品系影響因數，從而實現體重的預測。論文中利用人工測量的體尺參數作為模型校準參數，樣本數據量比較少，很難確定精確的模型關系。深度學習算法恰恰能夠在“大數據量”的驅動下，挖掘數據的潛在特征，從而實現精準預測。

近年來，基于深度學習的目標檢測算法快速發展。Girshick等[11]提出R-CNN(regions with CNN features)算法，使用卷積神經網絡(convolutional neural network, CNN)處理目標檢測問題，基于數據集VOC2012平均準確率為53.3%。2014年，He等[12]提出了SPPNet，用于解決CNN輸入圖片尺寸不固定的問題，進一步推動了基于深度學習的目標檢測算法的發展。Girshick[13]又推出了Fast RCNN算法，大幅提升了目標檢測的速度。然而，應用此類算法進行目標檢測依然存在一個瓶頸問題，即目標候選區域提取計算量大，候選區域提取復雜等問題。針對此問題，Ren等[14]對Fast R-CNN算法進行了改進，將候選區域提取部分也使用CNN來完成，并與后續目標檢測網絡參數共享設計了Faster R-CNN算法，大大減少了計算量。至此，Faster R-CNN算法成為這一系列算法中最為常用的主流算法。此外，一些研究人員將目標檢測問題看成回歸問題，也實現了較好的目標檢測效果。2016年，一種新的目標檢測方法YOLO(you only look once)使用一個神經網絡，直接從整張圖像來測量出邊界框的坐標、物體的置信度[15]。在此基礎上，又陸續推出了YOLOv2[16]和YOLOv3[17]，進一步提升了網絡的檢測性能。Liu等[18]提出了一種與YOLO思想一致但效果更好的算法SSD(single shot multibox detector, SSD)。基于深度學習的回歸擬合方面，Dai等[19]設計了一種多線性回歸測量模型，專門用于分析和測量對尺度時序交通數據。Lu等[20]提出了一種Lasso和梯度增強混合的回歸模型用于房價的預測，具有很好的檢測精度。

綜上，基于深度學習模型的目標檢測算法以及參數預測的回歸算法，都具有很高的精度，具有實際應用條件。本文算法的實際應用背景中，需先通過深度學習網絡實現圖像中目標的檢測，將圖片中的生豬目標識別出來，即首先完成分類任務，并對目標進行定位，而后利用深度學習網絡進行回歸計算，預測體重參數。若采用2個深度學習網絡級聯結構，雖然也可以完成任務，但特征提取層出現冗余，模型結構復雜度高，訓練耗時。針對這一問題，本文提出一個多任務并行處理的端對端的深度神經網絡，能夠同時完成目標識別、定位以及參數測量。目標識別與定位網絡使用聯合訓練方式進行訓練，與目標參數測量網絡之間進行交替訓練，多個任務之間網絡參數獨立學習。

1 改進算法原理

本文針對實際應用場景，通過將回歸網絡與Faster R-CNN算法融合，構建了一個端對端的多任務并行處理網絡結構，實現對目標的識別、定位和參數測量。改進后的網絡總體可以劃分為2個部分，一是原始Faster R-CNN基本結構，它包含2個輸出分別為目標候選窗口分類和窗口坐標偏移量回歸；另一個是新添加的回歸網絡層，輸出的是目標的參數歸一化測量值。目標的參數回歸部分網絡與Faster R-CNN網絡通過2個全連接層并行連接，構成了一個端對端的多個任務處理的網絡。具體改進后的網絡如圖1所示。

圖1 改進后的網絡結構Fig.1 Improved network structure figure

1.1 網絡融合的方法研究

原始Faster R-CNN網絡包含3個部分，分別為基礎特征提取網絡、候選區域生成網絡(region proposal networks，RPN)和Fast R-CNN輸出網絡。其網絡框架如圖2所示。

圖2 Faster R-CNN 網絡框架Fig.2 The framework of Faster R-CNN network

回歸網絡分為特征提取部分和回歸輸出2個部分網絡。其具體框架如圖3所示。

圖3 回歸網絡基本框架Fig.3 The framework of the regression network

2個網絡均需要進行特征提取，共享2個部分網絡的特征提取網絡層可以減少網絡需要訓練的參數，且可以將2個網絡通過特征提取網絡層的共享而結合成一個統一的網絡。原始Faster R-CNN網絡經過RPN網絡處理后可以得到目標的大致候選區域，這些候選區域經過ROI(region of interesting)池化處理后得到固定尺寸為7×7×512的特征向量。每個候選區域的特征向量使用ReLU函數和2個全連接層激活處理后，連接3個并行的全連接層分別輸出目標的類別置信度、定位框坐標的偏移量和目標的參數歸一化測量值。其中，新添加的分支是一個簡單的回歸網絡，具體通過一個全連接層與Sigmoid函數結合的方式實現，全連接層和Sigmoid函數輸出神經元個數均設置為1。具體改進部分的網絡結構如圖4所示。通過添加這一分支，擴展了Faster R-CNN算法的功能，使網絡可以對每一個候選區域進行進一步的參數測量，解決了一個圖像中有多個目標時的參數測量問題。

圖4 改進部分的網絡結構圖Fig.4 Image of improved partial network structure

為了使網絡測量值與目標的參數的真實標簽一一對應，需要在圖像真實參數標簽輸入到網絡訓練之前對其進行歸一化處理，使其映射到[0,1]，具體為：

(1)

參數測量值為網絡輸出層測量值經過反歸一化計算所得的數值：

(2)

與Faster R-CNN算法一樣，當真實標簽與測量候選區域的IOU(intersection over union)至少為0.5時，認為ROI是正例，目標的參數測量的損失函數只針對正例的ROI進行計算。原始Faster R-CNN目標檢測的損失函數定義不變[8]，新添加的回歸測量分支的損失函數定義為[21]：

(3)

1.2 網絡訓練方法研究

本文所提出網絡的輸入是一幅圖像，目標類別、位置和參數的測量值是網絡的輸出。通過將目標識別和目標定位結合一起，利用聯合訓練方式進行權重參數更新。 目標參數測量任務，則作為一個單獨的任務使用獨立的優化器優化。從整個網絡表現上看，訓練方式為交替訓練方式。但是從內部任務來看，目標檢測任務使用聯合訓練方式,其損失函數繼承了Faster R-CNN的結構[21]：

(4)

式中：加權求和的2項分別為交叉熵損失函數和SmoothL1損失函數，分別對應目標識別和目標定位框預測任務。λ為2個損失函數的平衡參數，依據經驗設置為10。

本文目標參數測量網絡損失函數為歐氏距離損失函數。交替訓練過程中，每次優化只針對當前的學習任務，而不考慮另一個任務，故本文多個任務的整體訓練方式如圖5所示，是聯合訓練方式與交替訓練方式的混合訓練方法。

圖5 改進網絡整體訓練方式Fig.5 Training scheme of improved network

原始Faster R-CNN參數利用Momentum優化參數，在利用該優化器對本文網絡進行測試的過程中發現目標參數測量網絡長時間不收斂，預測相對誤差較大，因此本文嘗試使用Adam優化器。它針對不同的參數計算不同的自適應學習率，每一次迭代學習率都有確定范圍，參數比較平穩，所需內存資源少，收斂速度快，是目前最好的優化算法。具體為：

mt=μmt-1+(1-μ)gt

(5)

(6)

(7)

(8)

(9)

網絡參數優化過程如下：

(10)

(11)

式中：β1為一階動量衰減系數；β0為二階動量衰減系數；α為步長；θ為模型參數；ε為網絡模糊因子。本文使用優化器的默認參數為：

β1=0.9,β2=0.999,ε=1×10-8

(12)

在數據和網絡參數都相同的條件下，對比Momentum和Adam這2種優化器的目標參數測量損失函數變化曲線，如圖6所示。從圖中可以看出，Adam優化器收斂速度比Momentum更快，且收斂平穩，損失函數一直在收斂數值附近輕微波動，并且收斂數值較小。測量值與真實值互相之間接近程度較高，Adam優化器對本文網絡優化效果更好。

圖6 2種優化器下的損失函數變化Fig.6 The loss function of two optimizer

2 豬只體重測量實驗

2.1 實驗數據準備

本實驗所用數據為使用圖森科技3D攝像頭在吉林省某豬場現場采集的生豬背部深度圖像，采集周期為1個月。本文共標注圖像12 718張，其中訓練集以及驗證集圖像共有9 989張，測試集圖像2 729張，數據劃分比例為8∶2，將劃分好的圖像索引分別寫入trainval.txt和test.txt文檔中，圖像索引只包含圖像名稱，不包含圖像擴展名。

2.2 實驗參數設置

1)本文所提出的網絡對圖像輸入大小沒有任何限制，輸入圖像的大小不影響參數測量精度。輸入圖像經過基礎特征提取網絡后，圖像尺寸進行歸一化處理，長邊設置為800 pixels，短邊設置為600 pixels。

2)本實驗增加了數據增強以防止網絡發生欠擬合現象。本文采用的方法是對輸入圖像進行水平鏡像翻轉，其中，鏡像的對稱軸是圖像的中心線。經過數據增強操作后，數據集數量較原始數據集增長一倍，變為19 978張，大大增加了訓練圖像的數量。由于對圖像進行翻轉時，相應的感興趣區域也進行相同的翻轉操作，因此翻轉后的圖像目標候選區域能夠與標簽依然一一對應。

3)訓練圖像中目標的體重參數范圍為159.27～167.27 kg。在本文提出的網絡訓練之前，將目標的體重標注信息進行歸一化處理，將其映射到[0,1]，與Sigmoid函數構成一一對應關系。

4)網絡初始化參數。待測圖像分為2個類別，分別為“pig”和“pig_bad”，算法默認的背景類為“background”，因此本實驗需要進行3個類別的目標分類識別。將目標分類識別網絡的輸出層類別參數設置為3，定位框坐標的輸出單元個數設置為3×4，體重參數測量輸出層的神經元個數設置為1，輸出體重參數的歸一化數值。訓練網絡使用ImageNet預訓練的網絡模型進行遷移學習微調操作。網絡只使用了VGG16的前13層網絡結構，故只遷移預訓練網絡的前13層參數，跳過其他層參數。其中，底層特征提取層參數不進行更新，具體指的是網絡的前4層(conv1_1、conv1_2、conv2_1和conv2_2)的參數固定，其他層參數根據本實驗圖像數據內容進行學習微調，通過此方式進行訓練可以有效減少總體需要訓練的參數，RPN網絡層以及Fast RCNN網絡卷積層參數使用零均值、標準差為0.01的高斯函數隨機初始化。

5)網絡訓練相關參數設置。每批次送入網絡訓練的數據量為256。使用9 989張深度訓練圖像，訓練迭代參數設置為20 000次，將初始學習率步長設置為0.000 1，經過4 000次訓練，學習率依次衰減為原來學習率的1/10。網絡訓練利用GPU處理模式處理。網絡其他參數從原始Faster R-CNN網絡遷移過來。

6)網絡總體訓練方式設置為交替訓練。首先進行特征提取完成目標檢測任務和目標體重參數測量2個任務的并行前向傳播，隨后共享特征提取部分網絡參數，目標檢測網絡進行反向傳播時，目標體重參數測量網絡依然進行前向傳播。反之亦然，總體上，目標檢測任務和體重參數測量任務表現為交替進行，反向傳播微調整體網絡權重參數。

2.3 實驗結果及分析

改進網絡的目標檢測部分損失函數以及目標體重參數測量部分的損失函數，表征測量值與真實值之間的接近程度。經過20 000次迭代，2個任務的損失函數均達到1×10-10數量級，本文提出的網絡已經成功收斂。對訓練好的網絡，利用測試圖片進行測試。測試集中包含2 729張圖像，用來驗證模型性能。為了證明本文所提出的網絡具有很好的泛化性，測試圖片與訓練圖片之間沒有重復。

為了更清晰地描述體重測量值與真實值之間的接近程度，本文隨機選取1 000張圖像的體重測量數值，體重參數測量誤差曲線，如圖7所示。圖中實線表示測量的絕對誤差，虛線表示測量的相對誤差。圖7表明，體重測量的絕對誤差大部分小于0.8 kg，僅有少數測量誤差較大，但也小于3 kg。測量結果表明，本網絡的預測體重的相對誤差較低，在0.5%附近有輕微波動。通過計算2 729張測試圖像的測量結果，絕對誤差的平均值為0.644 kg，相對誤差的平均值為0.374%。實驗結果表明本文所提出網絡的預測體重參數與實際體重真實值相近，模型測量精度較高。

圖7 測量誤差變化Fig.7 Image of measurement error variation

圖8為本文所提出的網絡輸出的結果圖，其中類別為“pig”表示待測對象的類別，數值顯示測量結果。無論獲取到的待測對象身體角度如何變化，本文所提出的網絡均能準確的檢測出目標類別，并對其定位，以及預測出目標的體重參數值。圖中所顯示的矩形框左上角區域表示待測對象的類別、及其概率，以及相應的體重參數測量值。本文所提出的網絡檢測結果的mAP為0.909，通過與真實數值對比可以發現本文所提出的網絡體重參數測量較準確。

圖8 類別為“pig”的樣本測試結果Fig.8 The test results of sample for category “pig”

3 結論

1)本文通過改進Faster R-CNN目標檢測算法的網絡結構，擴展了網絡的功能，成功設計并實現了2個網絡的融合并使網絡兼具目標識別、定位和相關參數測量等多個任務同時并行處理的功能。

2)提出使用整體交替訓練的方式，可以實現網絡的快速收斂，同時將改進的Faster R-CNN算法應用于限位欄條件下單個豬體的體重的測量。

3)實驗結果表明，本文改進網絡在限位欄有遮擋的條件下，目標體重參數測量的平均絕對誤差為0.644 kg，相對平均誤差為0.374%。測量效果好，可以滿足實際應用的精度要求。