基于Faster RCNN網絡的倉儲托盤檢測方法

張亞輝 楊林 白雪

摘? 要：為了解決傳統倉儲托盤檢測方法泛化性差，檢測精度低的問題。設計了一種基于Faster RCNN深度學習算法的倉儲托盤檢測模型，對算法模型進行了網絡、數據增強處理以及特征提取方面的優化。自主拍攝倉儲托盤圖片并對其進行數據擴充，使用LableImage平臺進行數據標注，在ResNet框架下進行網絡訓練，通過對比試驗，改進后的模型性能高于其他常見目標檢測模型，其準確率達到了96.5%，平均檢測時間為76.9 ms，表明該方法能夠滿足工業生產環境中對倉儲托盤的檢測需求。

關鍵詞：深度學習;倉儲托盤;Faster RCNN;目標檢測

中圖分類號：TP183? ? ? ?文獻標識碼：A 文章編號：2096-4706（2021）02-0057-07

Abstract：In order to solve the problem that the traditional storage pallet detection method has the low generalization and low detection accuracy. A storage pallet detection model based on the Faster RCNN deep learning algorithm is designed，and the algorithm model is optimized in the aspects of network，data enhancement processing and feature extraction. Which can achieve independently take pictures of storage pallets and make data augmentation on them，use the LableImage platform for data annotation，and conduct network training under the ResNet framework. Through the comparative experiments，the improved model performance is higher than other common target detection models，and its accuracy rate reaches at 96.5 %，the average detection time is 76.9 ms，the results show that the method can meet the detection requirements for storage pallets in industrial production environment.

Keywords：deep learning;storage pallet;Faster RCNN;target detection

0? 引? 言

隨著“中國制造2025”的提出與落實[1]，中國的工業發展有了巨大的變化。為了提高工業生產效率，大量的工業機器人被引入工業環境中，代替人工完成大量危險、高強度的工業操作。

目前，倉儲行業也在經歷一場智能化的大變革[2]，目前的倉儲環境中常用的貨物搬運設備是叉車，一般分為自動乘駕式和電動步行式，都需要人工參與，屬于半自動化設備。托盤是現代物流集裝的兩大構成元素之一，是現代物流裝卸、運輸的重要載具，相比傳統的貨物載具，有高效率、低成本、安全便捷的優勢[3]。智能叉車機器人是一種貨叉式AGV（Automated Guided Vehicle），屬于無人駕駛車輛的一種，其機械結構相對于普通AGV更加復雜，能夠實現更加多樣的功能。目前的智能叉車機器人大多采用機器視覺算法，該類算法對環境的適應性較差，一旦環境發生變化，則需要對原有算法進行重新訓練，調整參數，無法滿足智能叉車機器人的高適應性要求。

近年來，深度學習被用于許多領域，如人臉識別、對象檢測等[4，5]。深度學習可以更好地提取特征，同時隨著大數據時代的到來與計算機設備的提升，使得深度學習的應用成為現實。因此本文提出改進的Faster RCNN神經網絡算法[6]，采用自建的倉儲托盤數據集訓練模型參數，將模型應用到倉儲領域。

1? Faster RCNN算法在智能叉車機器人倉儲托盤檢測中的應用

1.1? 智能叉車機器人的倉儲托盤檢測

倉儲托盤檢測主要是目標檢測算法Faster RCNN結合深度圖像所構成的視覺處理系統，處理流程如圖1所示。

使用TOF相機對工業實際場景中的倉儲托盤進行拍攝獲取深度圖像，然后對采集到的深度圖進行標注制作數據集;目標檢測算法階段先用改進后Faster RCNN網絡對數據集進行離線訓練，將訓練好模型部署在叉車機器人上實現對倉儲托盤的檢測。

1.2? Faster RCNN網絡框架

Faster RCNN算法是在RCNN[7]和Fast RCNN的基礎上改進而來的，其網絡結構如圖2所示。Faster RCNN算法的創新點主要有兩個：第一個創新點是提出了RPN（region proposal networks）網絡，用來提取候選區域，代替Selective Search算法;第二個創新點是RPN網絡與ROI Pooling層共享卷積層參數，加速了網絡訓練，且減少了網絡參數量。Faster RCNN算法之前的RCNN算法都采用Selective Search算法來進行候選區域的提取，實驗表明，通過Selective Search算法提取一張圖片的所有候選區域需要大約2 s，但是改進后的RPN算法提取候選區域僅需要10 ms，大大提高了網絡運行速度。傳統卷積神經網絡[8，9]提取候選框的方法有很多，如不同種類的目標候選框、CPMC等。

1.3? 錨框機制

錨框機制是RPN算法的核心，RPN算法的原理是利用滑動窗口的方式在卷積神經網絡層的最后輸出的特征圖上滑窗生成候選區域，即將經過卷積神經網絡層生成的特征圖作為RPN網絡層的輸入，然后在特征圖上利用錨框機制生成推薦候選區域，如圖3所示。

具體來說就是把Faster RCNN網絡卷積層的最后一層所生成的特征圖作為RPN網絡的輸入，然后用窗口大小是3×3，步長（padding）是1的卷積核在特征圖上進行卷積操作。卷積核在特征圖上滑動到每一個位置，則該卷積核中心在原圖的映射點就稱之為錨點，然后以錨點為中心，生成3種大小（1282，2562，5122）和3種長寬比（1：1，1：2，2：1）共9個錨框，然后針對每個錨框產生k組參數，包括2k個置信度參數（判斷錨框中有無物體）和4k個坐標參數（當前錨框到預測框的變換參數）。

1.4? 非極大值抑制

非極大值抑制（Non-Maximum Suppression，NMS）是目標檢測后處理的一個經典算法，最早由Neubeck A提出，用來對兩階段目標檢測算法的重復預測框進行去重并保存最佳預測框。NMS算法首先過濾掉小于閾值的候選框，然后不斷以最大分類置信度的預測框和其他預測框做交并比（Intersection Over Union，IOU）操作，過濾掉IOU值大于預設交并比閾值的候選框，然后通過迭代這一過程尋找局部最優預測框。

2? 改進的Faster RCNN算法

2.1? 自適應錨框

自適應錨框生成網絡包括兩個分支，第一個分支是位置預測分支，第二個分支是形狀預測分支，對于一個輸入圖片I，使用特征提取網絡得到特征圖Ni，在特征圖上，位置預測分支能夠產生一個目標存在位置的概率圖，形狀預測分支則是根據預先在數據集上利用K-means算法，對目標框進行聚類分析得到的目標框推薦尺寸。結合位置和形狀預測的結果，當位置預測概率大于設定閾值的時候，網絡會產生一系列高質量的預測框。

2.1.1? 錨框位置預測

位置預測分支的任務是預測錨框的中心點坐標。對于一個輸入圖片I，使用特征提取網絡MuRes-FPN得到特征圖Ni，然后位置預測分支通過一個1×1大小的卷積將特征圖Ni轉換成一個位置得分圖，根據這個得分圖利用Sigmoid函數將得分圖轉換成位置概率圖P（·|Ni），其中概率值表示目標中心在這個位置的概率。基于這樣的概率圖將整個特征圖分為正樣本區域、忽略區域和負樣本區域，通過設定閾值 和 ，當概率值大于閾值的稱為正樣本區域，小于的稱為負樣本區域，中間的稱為忽略區域。

根據概率圖，將概率值大于閾值的稱為正樣本區域視為目標可能存在的區域，這種方法可以過濾掉90%的區域，保證較高的召回率。如圖4所示，只在目標附近密集產生候選區域，其余區域都被過濾掉。該方法在幾乎不增加計算量的同時產生了高質量的目標中心推薦區域，相比原始遍歷產生候選區域的錨框推薦算法，極大的減少了計算量。

針對每一個特征圖產生一個標簽圖，通過設定閾值和 ，其中參數? 設為0.5，參數? 設為0.2。如圖5所示，當概率值大于，標簽值為2，表示當前位置有錨框，區域內的像素作為正樣本用來訓練;當概率值小于 時，標簽值為0，表示沒有錨框，區域內像素作為負樣本參與訓練;介于兩者中間時，標簽值為1代表當前位置為忽略區域，不參與網絡訓練。在本文中，當得到輸入圖片的預測值之后，結合聚類產生的錨框尺寸，可以得到推薦的候選區域，用于網絡訓練。

2.1.2? 錨框形狀預測

在確定了錨框的位置之后，利用K-means算法聚類產生的候選框尺寸，結合位置信息生成預測框推薦。原始的Faster RCNN算法中是利用卷積神經網絡生成的特征圖進行預測的，錨框預設值為三個規定尺度{8，16，32}，預設比例為{1：1，1：2，2：1}，特征圖上的每個位置都會產生9個錨框。根據式（1）和式（2）可以得到每個錨框映射到原圖的區域范圍：

其中stride表示某個錨框的預設尺度，s為錨框預設尺度，r為錨框的預設比例，heightij、widthij為錨框的高和寬。表1是原始Faster RCNN算法的感興趣區域大小，可以看到覆蓋面積大約是90像素到724像素。

指定錨框尺寸和比例超參數的方式過于死板，一旦數據集中有大量的目標尺度不符合預設尺度，如數據集中存在過大或過小尺寸的目標，如圖6所示，那么此時的預測框感受野將不能夠提供有效檢測目標所需要的信息，導致模型檢測精度大大降低。為了提升模型推薦預測框的合理性，使用K-means聚類錨框來生成訓練所需的錨框形狀。

2.1.2.1? K-means算法

K-means算法是對于給定數據集，按照樣本之間距離的大小，將樣本聚類為K個簇，算法的原理是使簇內的點距離盡可能小，使簇間的點距離盡可能大。假設劃分簇為（C1，C2，…，CK），目標是最小化平方誤差E，如式3所示：

其中μi為簇Ci的均值向量，x為數據集中的樣本點，表達式如式4所示：

K-means算法先在數據集中產生K個隨機初始點，然后再自行迭代K個簇。流程圖如圖7所示。

2.1.2.2? 基于K-means的錨框形狀預測

原始K-means聚類采用的是歐式距離作為聚類指標，可是這會導致尺度大的目標相對尺度小的目標更容易受到誤差影響，考慮到后續篩選預測框與交并比有關，所以這里選擇利用交并比作為聚類尺度，如式（5）所示。

其中d為目標框與當前聚類中心的距離，box為目標的標簽框，center為當前聚類中心。

算法的計算流程不變，這里以PASCAL VOC數據集為例，對數據集目標框進行聚類，聚類產生的錨框如圖8所示。

2.2? 候選區域篩選策略

本文使用改進的Soft-NMS代替原來的NMS算法，Soft-NMS與NMS算法的流程大致相同，但是在處理重疊框的時候，Soft-NMS對于IOU大于設定閾值的重疊框不是直接濾除，而是降低重疊框的置信度得分，最終得到分數達到置信度閾值的候選框。Soft-NMS每次選擇得分最高的候選框，抑制周圍的候選框，周圍的候選框與得分最高的候選框之間的IOU值越大，被抑制的程度就越大，這樣就能夠保留周圍其他目標的候選框，抑制同一目標的候選框。Soft-NMS和NMS算法流程為：

偽代碼中上方方框表示NMS的處理步驟，下方方框表示Soft-NMS的處理步驟。Soft-NMS通過降低置信度si，而非直接濾除bi，線性函數si表示為式（7）：

由式7可以得到，IOU（M，bi）的值越大，對置信度的抑制程度就越大。此外除了線性函數si可以用于抑制重疊框置信度得分之外，Soft-NMS還提供了一個高斯權重函數來抑制重疊框的置信度得分。Soft-NMS將與最大得分的候選框重疊度大于給定閾值的候選框的分值與一個高斯權重函數相乘，高斯權重函數會降低重疊框的置信度得分值，重疊程度越高，得分衰減越嚴重，高斯權重函數表示如式（8）所示，實驗中，參數σ設為0.5。

3? 數據預處理

3.1? 數據采集

倉儲托盤檢測網絡模型訓練所使用的數據集是一個自制數據集，在深度圖像采集階段，由叉車機器人使用TOF相機在倉庫實地采集現場圖片，為了使模型擁有更好的適應性，利用多種背景作為干擾因素;為了避免網絡出現過擬合現象，所以對原始數據集采使用水平翻轉、高斯濾波、亮度增強、高斯噪聲、椒鹽噪聲等策略擴充數據集，由于深度圖不利于觀看，所以下面會給出數據增強處理后的原始深度圖以及對應的偽彩色圖片。具體如圖9所示。

3.2? 數據標注

訓練Faster RCNN模型之前需要對數據集進行標注，采用LabelImg數據標注工具，設置托盤標簽類別為pallet。標注后的標注信息保存為XML格式的文本文件，即PASCAL VOC的標準文件格式，由于我們的原始數據集為采集的深度圖，不利于標注，所以這里先將數據增強后的深度圖轉換成對應的偽彩色圖片，通過讀取標注后的標注框信息對應到原始深度圖，來完成我們的數據集標注。標注后的數據集共有10 568張圖片，從中隨機選取7 398張作為訓練集、2 114張作為驗證集、1 056張作為測試集（訓練集：驗證集：測試集=7：2：1），要求訓練集、驗證集和測試集之間無交集現象。

4? 實驗與分析

4.1? 實驗環境配置

深度學習網絡模型通常對訓練平臺的配置有著較高的要求，Faster RCNN網絡可以在CPU或者GPU上進行模型的訓練，由于GPU的并行計算能力遠超CPU，所以為了節約時間成本，選擇在GPU上訓練。將已經標注好的托盤數據集作為訓練樣本，Faster RCNN網絡模型的訓練平臺具體配置信息如表2所示。

網絡模型的訓練框架為TensorFlow深度學習框架，其關鍵訓練參數設置如表3所示。

網絡訓練參數bitchsize（每次并行計算的圖像數）為128，動量值為0.9，權重衰減系數為0.000 5，訓練集圖片總數為7 398，總迭代次數為22 000，初始學習率為0.001。

4.2? 模型評估

4.2.1? 損失值

損失值是訓練過程中樣本的預測值和真實值的誤差，由損失函數計算得到，損失值越小，則代表模型的預測結果越好。網絡訓練過程中保存損失值的訓練日志，并根據日志信息進行可視化繪圖，結果如圖10所示。

由圖可知，隨著網絡迭代次數的增加，損失值減少，在網絡訓練迭代到20 000步之后，損失值值已經趨向于0了，在0.1附近波動，說明網絡模型訓練效果良好。

4.2.2? 測試結果

目標檢測算法的主要度量方法有準確率（Precision）、召回率（Recall）和平均精度（mean average precision，mAP）等。以Recall為橫軸，Precision為縱軸的曲線簡稱P-R曲線，P-R曲線下的面積稱為精度均值AP（average precision），所有類別的精度均值的平均值為mAP，值越大，代表網絡模型越好，準確率和召回率的計算如式（9）和式（10）所示：

其中，TP為被預測為正類的正類;FP為被預測為正類的負類;FN為被預測為負類的正類。

測試集圖片總共為1 056張，用測試集測試網絡精度，得到的P-R曲線如圖11所示，其精度均值AP為96.5%，模型性能較優。

4.2.3? 對比分析

為了驗證本文算法（改進的Faster RCNN）的有效性，將本文算法與改進前的Faster RCNN算法以及目標檢測經典算法YOLO v3和SSD在模型的準確率以及模型測試一張圖片所需要的時間兩個指標來測試算法性能，對比結果如表4所示。

由表4可知，改進后的Faster RCNN與改進前的Faster RCNN、SSD和YOLO v3相比，mAP值分別高出1.3%、4.9%和2.8%;FPS相比改進前提升了10幀/秒，雖然相比SSD和YOLO v3依然還有差距，但是改進后的算法已經滿足了實時性要求。

4.2.4? 檢測效果

為了驗證改進后的Faster RCNN模型的可行性，及其實時檢測能力，將模型移植到叉車機器人實驗檢測平臺，采用主板為英偉達TX2工控板，CPU為i7-9700k，主頻為3.6 GHz，GPU為NVIDIA Pascal GPU，擁有8 GB的運行內存和32 GB的物理內存。使用工業相機TOF SR-4000在線實時獲取倉儲托盤的圖像，實時檢測倉儲環境中倉儲托盤的位置，由相機實時采集的圖像并完成的效果如圖13所示。

由上圖可知，該模型能夠實時在線完成倉儲托盤的檢測任務，其準確率達到96.5%，平均檢測時間為76.9 ms，能夠滿足倉儲環境中對倉儲托盤的實時檢測任務。

5? 結? 論

本文給出了一種基于Faster RCNN深度學習網絡的倉儲托盤檢測方法，自主采集和標注倉儲托盤圖片，利用圖像擴充策略來增加數據集的多樣性，然后將數據集用于Faster RCNN、SSD、YOLO v3和我們改進后的Faster RCNN等網絡進行訓練，具有較高的檢測精度，改進后的算法準確度達到96.5%，平均檢測時間為76.9 ms。由于改進后模型參數依然龐大，改進后的模型勉強達到實時性要求，后續工作重點將在保持模型高精度的同時進一步提升模型的檢測速度，以增強模型的實時性。

參考文獻：

[1] 胡遲.制造業轉型升級：“十二五”成效評估與“十三五”發展對策 [J].經濟研究參考，2016（49）：3-27.

[2] 徐翔.倉儲行業正經歷一場智能化大變革 [J].中國儲運，2020（10）：50-51.

[3] LYU Z J，ZHAO P C，LU Q，et al. Prediction of the Bending Strength of Boltless Steel Connections in Storage Pallet Racks：An Integrated Experimental-FEM-SVM Methodology [J/OL].Advances in Civil Engineering，2020：[2020-10-22].https：//doi.org/10.1155/2020/5109204.

[4] PARKHI O M，VEDALDI A，ZISSERMAN A. Deep Face Recognition [C]//Proceedings of the British Machine Vision Conference.Swansea：BMVA Press，2015：41.1-41.12.

[5] LIU W，ANGUELOV D，ERHAN D，et al. SSD：Single Shot MultiBox Detector [J/OL].arXiv：1512.02325 [cs.CV].（2016-12-29）.https：//arxiv.org/abs/1512.02325.

[6] REN S Q，HE K M，GIRSHICK R，et al. Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[7] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：580-587.

[8] 盧宏濤，張秦川.深度卷積神經網絡在計算機視覺中的應用研究綜述 [J].數據采集與處理，2016，31（1）：1-17.

[9] ERGUN H，SERT M. Fusing Deep Convolutional Networks for Large Scale Visual Concept Classification [C]//2016 IEEE Second International Conference on Multimedia Big Data（BigMM）.Taipei：IEEE，2016：210-213.

作者簡介：張亞輝（1994—），男，漢族，河南平頂山人，碩士研究生在讀，研究方向：數據挖掘與人工智能。