基于深度學(xué)習(xí)的包裹追蹤檢測計(jì)數(shù)系統(tǒng)*

羅建坤 黃道平 吳菁 劉乙奇 劉少君

基于深度學(xué)習(xí)的包裹追蹤檢測計(jì)數(shù)系統(tǒng)*

羅建坤 黃道平 吳菁 劉乙奇 劉少君

（華南理工大學(xué)自動(dòng)化科學(xué)與工程學(xué)院）

根據(jù)深度學(xué)習(xí)的智能檢測特點(diǎn)，以智能化管理倉庫物流數(shù)據(jù)為目的，提出基于深度學(xué)習(xí)的包裹追蹤檢測計(jì)數(shù)系統(tǒng)，有利于倉庫分揀中心的數(shù)字化管理。經(jīng)某倉庫分揀中心測試表明，該系統(tǒng)能實(shí)時(shí)檢測包裹數(shù)量，并對(duì)檢測點(diǎn)的數(shù)據(jù)進(jìn)行處理，計(jì)算出包裹流量數(shù)據(jù)，可實(shí)時(shí)將檢測數(shù)據(jù)上傳到倉庫數(shù)據(jù)管理中心。

深度學(xué)習(xí)；數(shù)字化管理；追蹤；檢測；實(shí)時(shí)監(jiān)測

0 引言

隨著經(jīng)濟(jì)的發(fā)展，我國快遞業(yè)務(wù)量從上世紀(jì)80年代的153萬件/年提升到2018年的507億件/年，2019年有望突破600億件/年，30年年均增速高達(dá)41.5%。我國已經(jīng)成為世界上發(fā)展較快的新興寄遞市場，包裹快遞量超過美國、日本和歐洲等國家的總和。然而，在物流體系方面國內(nèi)還比較落后。推動(dòng)物流企業(yè)采用智能科技，加快推進(jìn)傳統(tǒng)企業(yè)業(yè)務(wù)流程的數(shù)字化改造，是物流業(yè)發(fā)展面臨的巨大挑戰(zhàn)[1]。利用云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)，把物流每個(gè)環(huán)節(jié)的信息轉(zhuǎn)化為數(shù)據(jù)，并將這些數(shù)據(jù)在線化；同時(shí)，通過智能化技術(shù)使物流各個(gè)環(huán)節(jié)提高效率、降低成本，是解決傳統(tǒng)物流企業(yè)業(yè)務(wù)數(shù)字化的關(guān)鍵。為促進(jìn)物流企業(yè)倉庫分揀中心的數(shù)字化管理，設(shè)計(jì)一個(gè)對(duì)不同類型的包裹進(jìn)行實(shí)時(shí)追蹤檢測計(jì)數(shù)的系統(tǒng)至關(guān)重要。

包裹追蹤計(jì)數(shù)的重要環(huán)節(jié)是包裹檢測。包裹檢測主要運(yùn)用目標(biāo)檢測技術(shù)，包括物體識(shí)別和物體定位技術(shù)，不僅要識(shí)別物體屬于哪個(gè)分類，更重要的是檢測物體在圖像中的具體位置。目標(biāo)檢測分為2類[2]：一類為兩步檢測，即將物體識(shí)別和物體定位分為2個(gè)步驟完成，其識(shí)別錯(cuò)誤率和漏識(shí)別率較低，但檢測速度較慢，無法滿足實(shí)時(shí)檢測需求，典型代表有R-CNN[3], fast R-CNN[4]和faster R-CNN[5]等；另一類為單步檢測，具有較快的識(shí)別速度，可以達(dá)到實(shí)時(shí)性需求，且準(zhǔn)確率也能達(dá)到faster R-CNN水平，典型代表有SSD[6], YOLO, YOLOv2[7]和YOLOv3[8]等。隨著單目標(biāo)檢測模型的不斷發(fā)展，學(xué)者利用公共數(shù)據(jù)集進(jìn)行訓(xùn)練并測試典型的單步檢測模型。測試結(jié)果表明，YOLOv3模型目標(biāo)檢測準(zhǔn)確度高并且速度快。

現(xiàn)有的包裹追蹤計(jì)數(shù)系統(tǒng)分為RFID錄入計(jì)數(shù)和激光線掃描計(jì)數(shù)2種類型。其中，RFID錄入計(jì)數(shù)對(duì)包裹的外包裝要求較高，每個(gè)外包裝都需要嵌入芯片，成本高；激光線掃描計(jì)數(shù)對(duì)堆疊的物體無法準(zhǔn)確計(jì)數(shù)，且目標(biāo)物體外包裝的掃描標(biāo)簽面朝下時(shí)可能出現(xiàn)漏計(jì)的情況。為解決以上不足，本系統(tǒng)采用YOLOv3模型作為包裹檢測識(shí)別模塊，結(jié)合包裹的運(yùn)動(dòng)信息進(jìn)行包裹追蹤檢測計(jì)數(shù)。

1　YOLOv3模型理論

1.1　模型結(jié)構(gòu)

YOLOv3為提高目標(biāo)檢測的定位和分類精度，設(shè)計(jì)了更深的卷積神經(jīng)網(wǎng)絡(luò)，且融合了YOLOv2, Darknet-19以及其他新型殘差網(wǎng)絡(luò)的結(jié)構(gòu)。為提升小目標(biāo)檢測的準(zhǔn)確度，借鑒特征金字塔網(wǎng)絡(luò)[9]，設(shè)計(jì)了多尺度特征提取結(jié)構(gòu)。

YOLOv3模型主要由Darknet-53特征提取網(wǎng)絡(luò)和多尺度融合網(wǎng)絡(luò)組成。YOLOv3輸出3個(gè)不同的尺度1,2,3，分別代表小、中、大尺度的特征圖輸出。YOLOv3模型結(jié)構(gòu)如圖1所示。

1.2　Darknet-53特征提取網(wǎng)絡(luò)

Darknet-53特征提取網(wǎng)絡(luò)主要由53個(gè)卷積層構(gòu)成，并大量采用3×3和1×1的卷積核。為訓(xùn)練53層深度網(wǎng)絡(luò)，需考慮淺層特征值丟失問題。借鑒深度殘差網(wǎng)絡(luò)[10]的設(shè)計(jì)思想，在卷積層之間構(gòu)建殘差模塊，并設(shè)置跳躍連接，具體結(jié)構(gòu)如圖2所示。

圖1　YOLOv3模型結(jié)構(gòu)

圖2　Darknet-53 網(wǎng)絡(luò)結(jié)構(gòu)

1.3　多尺度預(yù)測

1.4　預(yù)測框及相關(guān)量預(yù)測

2　系統(tǒng)方案

基于深度學(xué)習(xí)的包裹追蹤檢測計(jì)數(shù)系統(tǒng)主要包括多目標(biāo)物體檢測和多目標(biāo)物體追蹤2部分。基于視頻流對(duì)每一幀圖像進(jìn)行多目標(biāo)物體檢測，可識(shí)別當(dāng)前幀圖像中多個(gè)目標(biāo)物體的形狀和位置；結(jié)合使用目標(biāo)物體的運(yùn)動(dòng)信息實(shí)現(xiàn)多目標(biāo)物體追蹤計(jì)數(shù)。系統(tǒng)框圖如圖3所示。

圖3　基于深度學(xué)習(xí)的包裹追蹤檢測計(jì)數(shù)系統(tǒng)框圖

多目標(biāo)物體檢測部分采用深度學(xué)習(xí)目標(biāo)檢測技術(shù)設(shè)計(jì)YOLOv3識(shí)別檢測模塊。本文首先利用采集的數(shù)據(jù)訓(xùn)練YOLOv3模型；然后修改模型的接口形式，編寫供本系統(tǒng)調(diào)用的功能模塊，即YOLOv3識(shí)別檢測模塊。YOLOv3識(shí)別檢測模塊的輸入是數(shù)據(jù)模塊的圖像數(shù)據(jù)，該圖像數(shù)據(jù)由相機(jī)現(xiàn)場實(shí)時(shí)拍照采集；輸出是檢測的包裹在圖像中的位置信息，并將該信息傳到包裹運(yùn)動(dòng)追蹤檢測模塊。

在多目標(biāo)物體追蹤部分，設(shè)計(jì)包裹運(yùn)動(dòng)追蹤檢測模塊，其核心思想是利用多目標(biāo)物體的運(yùn)動(dòng)信息，計(jì)算預(yù)測目標(biāo)物體與深度學(xué)習(xí)識(shí)別物體形狀位置的交集，建立運(yùn)動(dòng)物體一一追蹤過程。包裹運(yùn)動(dòng)追蹤檢測模塊的輸入包括YOLOv3識(shí)別檢測模塊輸出的包裹位置信息和數(shù)據(jù)模塊的傳送帶運(yùn)動(dòng)速度，傳送帶運(yùn)動(dòng)速度由編碼器數(shù)據(jù)采集模塊實(shí)時(shí)采集；輸出是包裹累計(jì)數(shù)量，并將該數(shù)據(jù)傳到數(shù)據(jù)模塊。

最后，LED顯示屏實(shí)時(shí)顯示包裹的累計(jì)數(shù)量。

3　YOLOv3識(shí)別檢測模塊

在某物流倉庫里，利用工業(yè)相機(jī)連續(xù)拍照，采集大量圖像數(shù)據(jù)，該數(shù)據(jù)包含各種類別的目標(biāo)物體。按時(shí)間順序采集的圖像數(shù)據(jù)如圖4所示。

3.1 標(biāo)注和整理圖像數(shù)據(jù)

首先標(biāo)注目標(biāo)物體在圖像中的左上角坐標(biāo)及右下角坐標(biāo)，并保存為txt文件；然后利用Python將txt文件數(shù)據(jù)整理成含目標(biāo)物體的xml文件，如圖5所示；最后整理成YOLOv3模型訓(xùn)練所需的標(biāo)簽數(shù)據(jù)，并將標(biāo)簽數(shù)據(jù)與對(duì)應(yīng)的圖像數(shù)據(jù)整理成訓(xùn)練集和驗(yàn)證集。

3.2 初始化參數(shù)配置文件

利用YOLOv3通用模型的源代碼及初始配置文件，初始化權(quán)值文件。初始配置文件cfg設(shè)置的參數(shù)包括一次迭代送入網(wǎng)絡(luò)的圖片數(shù)、學(xué)習(xí)率、學(xué)習(xí)下降方式、預(yù)選框、優(yōu)化方法的動(dòng)量參數(shù)和YOLOv3的神經(jīng)網(wǎng)絡(luò)配置參數(shù)（網(wǎng)絡(luò)層數(shù)和連接及候選框等）等。本文設(shè)置一次迭代送入網(wǎng)絡(luò)的圖片數(shù)為64；學(xué)習(xí)率為0.001；學(xué)習(xí)方式為小批量梯度下降；預(yù)選框?yàn)?個(gè)，并使用K-means生成預(yù)選框的長和寬，9對(duì)預(yù)選框長、寬的數(shù)據(jù)如表1所示。

表1　預(yù)選框的設(shè)置

設(shè)置網(wǎng)絡(luò)層（卷積層、池化層等）和層級(jí)連接。本文設(shè)置網(wǎng)絡(luò)輸入圖像大小為448×448。神經(jīng)網(wǎng)絡(luò)連接設(shè)置如表2所示。

3.3 YOLOv3模型訓(xùn)練

導(dǎo)入訓(xùn)練集和驗(yàn)證集進(jìn)行YOLOv3模型訓(xùn)練。下載初始的權(quán)值文件（weights文件），結(jié)合配置的cfg文件，開始模型的訓(xùn)練，模型會(huì)漸漸趨近收斂并停止訓(xùn)練。每次訓(xùn)練結(jié)束都對(duì)weights文件進(jìn)行一次更新，如圖6所示。

表2　神經(jīng)網(wǎng)絡(luò)連接設(shè)置

圖6　 YOLOv3模型更新過程

3.4 YOLOv3模型訓(xùn)練的識(shí)別效果

每次模型訓(xùn)練結(jié)束后，YOLOv3模型都會(huì)輸出驗(yàn)證集識(shí)別的效果，包括識(shí)別精度和召回率。根據(jù)模型輸出的結(jié)果，判斷YOLOv3模型是否需要調(diào)整再訓(xùn)練。若需要再訓(xùn)練則修改cfg文件的參數(shù)，再次訓(xùn)練YOLOv3模型。通過不斷地優(yōu)化訓(xùn)練，直到最后模型輸出的識(shí)別精度和召回率滿足要求，保存模型的cfg文件及weights文件，對(duì)YOLOv3模型的接口進(jìn)行修改封裝生成YOLOv3識(shí)別檢測模塊。YOLOv3模型訓(xùn)練的識(shí)別效果如圖7所示。

圖7　YOLOv3模型訓(xùn)練的識(shí)別效果圖

4　包裹運(yùn)動(dòng)追蹤檢測模塊

包裹運(yùn)動(dòng)追蹤檢測模塊對(duì)連續(xù)幀圖像中的同一物體進(jìn)行跟蹤。圖像中的多目標(biāo)物體可能出現(xiàn)殘缺、遮擋和堆疊等情況，跟蹤難度較大。利用YOLOv3識(shí)別檢測模塊輸出的包裹位置信息和數(shù)據(jù)模塊的傳送帶運(yùn)動(dòng)速度（包裹運(yùn)動(dòng)速度），設(shè)計(jì)包裹運(yùn)動(dòng)追蹤檢測模塊跟蹤目標(biāo)物體的步驟。

1）跟蹤過程需要結(jié)合物體的運(yùn)動(dòng)信息。利用編碼器測量物體的運(yùn)動(dòng)速度，以前一幀的目標(biāo)物體位置和識(shí)別框?yàn)榛鶞?zhǔn)，計(jì)算當(dāng)前幀目標(biāo)物體的位置信息和識(shí)別框。

2）建立時(shí)間與多目標(biāo)物體之間的對(duì)應(yīng)關(guān)系；調(diào)用YOLOv3模型接口，得到當(dāng)前幀多目標(biāo)物體的位置信息和識(shí)別框；根據(jù)步驟1）計(jì)算的識(shí)別框與步驟2）得出識(shí)別框的對(duì)應(yīng)關(guān)系進(jìn)行包裹數(shù)量的計(jì)數(shù)。

識(shí)別框的對(duì)應(yīng)關(guān)系主要對(duì)由YOLOv3識(shí)別檢測模塊得到的當(dāng)前幀圖像的包裹位置和由當(dāng)前傳送帶運(yùn)動(dòng)速度得到的當(dāng)前幀包裹的位置作交并比運(yùn)算，求出重疊的比例。若重疊比例高于閾值（一般設(shè)為0.8），判斷結(jié)果為包裹數(shù)量沒有增加；反之，判斷結(jié)果為包裹數(shù)量增加。

3）在連續(xù)計(jì)數(shù)過程中，以某一位置拍照的圖像為初始幀，以目標(biāo)物體離開相機(jī)視野范圍的某一位置為結(jié)束幀，重復(fù)前面2個(gè)步驟。

4）對(duì)包裹數(shù)量進(jìn)行累計(jì)求和，并將數(shù)據(jù)傳到數(shù)據(jù)模塊。

5　系統(tǒng)測試

基于Windows操作系統(tǒng)開發(fā)平臺(tái)和VS2013開發(fā)工具，搭建基于深度學(xué)習(xí)的包裹追蹤檢測計(jì)數(shù)系統(tǒng)。根據(jù)實(shí)際情況配置硬件環(huán)境：電腦（intel i5處理器、4 G內(nèi)存、GTX1050Ti及以上版本顯卡、100 G存儲(chǔ)空間）、14寸顯示器、相機(jī)、支架、網(wǎng)線和編碼器等。在顯卡1050Ti加速的情況下進(jìn)行測試。

選取SSD，YOLOv2，YOLOv3三種模型進(jìn)行測試，其中SSD采用SSD 300的網(wǎng)絡(luò)結(jié)構(gòu)；YOLOv2和YOLOv3設(shè)置網(wǎng)絡(luò)輸入圖像大小為448×448。訓(xùn)練集和驗(yàn)證集一共有1871組數(shù)據(jù)，其中，訓(xùn)練集1851組，驗(yàn)證集20組。

評(píng)價(jià)模型的指標(biāo)有平均檢測準(zhǔn)確度（average precision, AP），它表示張圖像的平均檢測準(zhǔn)確度；平均檢測準(zhǔn)確度均值（mean average precision, mAP），它表示個(gè)類別的平均檢測準(zhǔn)確度、召回率（Recall）和每秒識(shí)別圖像數(shù)（frames per second, FPS），它用來衡量檢測速度的快慢，其數(shù)值由軟件計(jì)時(shí)器計(jì)算得到。指標(biāo)計(jì)算公式為

其中，表示正樣本識(shí)別成正例的個(gè)數(shù)；表示正樣本識(shí)別成負(fù)例的個(gè)數(shù)。這里的類別數(shù)是1，則與相等。

5.1　模型測試

3種模型的測試結(jié)果如表3所示。

表3　模型測試結(jié)果

由表3可以看出：YOLOv3模型的和相比SSD和YOLOv2有所提高，分別提高14%和8%；分別提高15%和11%。這主要是由于YOLOv3的特征提取網(wǎng)絡(luò)Darknet-53及特征融合網(wǎng)絡(luò)極大地提高了模型的識(shí)別準(zhǔn)確度。然而，不足之處是識(shí)別速度有所下降，相較于SSD和YOLOv2分別減少了4幀和2幀，但仍然滿足實(shí)時(shí)檢測的需求。

5.2　系統(tǒng)測試

基于深度學(xué)習(xí)的包裹追蹤檢測計(jì)數(shù)系統(tǒng)在某倉庫分揀中心進(jìn)行測試，實(shí)時(shí)檢測該傳送帶上的包裹數(shù)量。2018年12月12日16：00到18：00進(jìn)行系統(tǒng)測試，每組數(shù)據(jù)連續(xù)測試時(shí)間為10 min，共測試了12組數(shù)據(jù)，測試結(jié)果如表4所示，其中軟件計(jì)數(shù)是系統(tǒng)輸出的包裹數(shù)量。

表4　系統(tǒng)測試的統(tǒng)計(jì)結(jié)果

由表4可知：實(shí)際包裹的數(shù)量比軟件計(jì)數(shù)多644件，推測存在YOLOv3識(shí)別檢測模塊出現(xiàn)漏檢測，包裹運(yùn)動(dòng)追蹤檢測模塊出現(xiàn)匹配錯(cuò)誤的情況。系統(tǒng)整體的準(zhǔn)確率達(dá)到95%。

6　結(jié)語

本文設(shè)計(jì)的基于深度學(xué)習(xí)的包裹追蹤檢測計(jì)數(shù)系統(tǒng)經(jīng)測試，運(yùn)行穩(wěn)定、識(shí)別速度快、準(zhǔn)確率高、實(shí)現(xiàn)簡單，且對(duì)復(fù)雜應(yīng)用場景有較高的容錯(cuò)率。此外，系統(tǒng)對(duì)于目標(biāo)物體的外包裝沒有要求，需要的成本較低。系統(tǒng)設(shè)計(jì)的難點(diǎn)是包裹堆疊嚴(yán)重時(shí)，YOLOv3識(shí)別檢測模塊的準(zhǔn)確率下降，包裹運(yùn)動(dòng)追蹤檢測模塊的計(jì)數(shù)準(zhǔn)確度也會(huì)下降。后續(xù)考慮對(duì)包裹追蹤檢測計(jì)數(shù)系統(tǒng)進(jìn)行改進(jìn)，從三維觀測視角對(duì)包裹進(jìn)行全方位的檢測追蹤。

[1] 張欣.基于物聯(lián)網(wǎng)技術(shù)的快遞企業(yè)競爭力研究[D].濟(jì)南:濟(jì)南大學(xué),2015.

[2] 謝娟英,劉然.基于深度學(xué)習(xí)的目標(biāo)檢測算法研究進(jìn)展[J].陜西師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2019,47(5):1-9.

[3] Sun Yi, Wang Xiaogang, Tang Xiaoou. Deep learning face representation by joint identification-verification[C]. International Conference on Neural Information Processing Systems (The 28 Annual Conference on Neural Information Processing Systems, Canada), 2014.

[4] Girshick R. Fast R-CNN[C]. IEEE International Conference on Computer Vision, Santigago, Chile,2015.

[5] Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]. International Conference on Neural Information Processing Systems. MIT Press, 2015:91-99.

[6] Liu W, Anguelov D, Erhan D, et al. SSD: Single Shot MultiBox detector[C]. European Conference on Computer Vision, 2016.

[7] Redmon J, Farhadi A, YOLO9000: better, faster, stronger[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA,2017: 1384-1392.

[8] Redmon J, Farhadi A. Yolov3: an incremental improvement[J]. arXiv preprint arXiv:1804.02767, 2018.

[9] Lin T-Y, Dollar P, Girshick R, et al. Feature pyramid networks for object detection[C]. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017.

[10] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016:770-778.

Package Tracking Detection and Counting System Based on Deep Learning

Luo Jiankun Huang Daoping Wu Jing Liu Yiqi Liu Shaojun

（School of Automation Science and Engineering, South China University of Technology）

According to the intelligent detection characteristics of deep learning, a package tracking, detection and counting system based on deep learning is proposed to improve the intelligent management of warehouse logistics data, which is conducive to the digital management of the warehouse sorting center. In this paper, a detection system is designed for a sorting line in the warehouse sorting center.The system can detect the number of packages in real time. Then, it can obtain the package real-time monitoring data by processing the data of detection points and calculating the package flow data. Finally, the data can be uploaded to the warehouse data management center through the network.

Deep Learning; Digital Management; Tracking; Detection; Real-Time Monitoring

羅建坤，男，1994年生，碩士研究生，主要研究方向：圖像檢測。E-mail: 2689788379@qq.com

黃道平，男，1961年生，博士，教授，主要研究方向：智能檢測與控制，軟測量技術(shù)。

吳菁，女，1988年生，博士研究生，講師，主要研究方向：軟測量技術(shù)。

劉乙奇，男，1983年生，博士，副教授，主要研究方向：軟測量，故障診斷和污水處理。

劉少君，男，1974年生，碩士，講師，主要研究方向：智能檢測與控制。

國家自然科學(xué)基金資助項(xiàng)目（61673181，61873096）；廣州市科技項(xiàng)目（201804010256）。