基于多尺度特征的條形碼快速檢測算法

易 帆，李功燕，許紹云

(1.中國科學院微電子研究所 智能制造電子研發中心，北京 100029；2.中國科學院大學 電子電氣與通信工程學院，北京 100049)

0 引 言

目前，國內外電商和快遞業務迅速發展，包裹快件量呈倍數增長，市場對于物流快遞包裹的分揀效率和準確率提出更高的要求。條形碼檢測定位的方法多是基于傳統圖像算法，文獻[1]采用提取條形碼邊緣紋理特征信息的方法，文獻[2]借助形態學處理算法腐蝕膨脹獲得條形碼區域，文獻[3]采用霍夫變換算法檢測條形碼邊緣直線，文獻[4]采用區域檢測算法得到條形碼候選區域等。一般地，這些算法僅在特定物理環境下具有較好的檢測效果。然而，現實中，在物流包裹自動分揀場景下，由于光照條件、現場環境等影響，采集到的圖片質量參差不齊，比如光照變化劇烈、背景干擾復雜、條形碼扭曲形變、條形碼目標小等容易造成誤檢和漏檢，導致條形碼檢測難度提升。因此，研究高可靠、強穩定的條碼檢測定位方法，對實現復雜環境下物流包裹的高效自動分揀具有重要意義。

近年來，深度學習的迅速崛起促進了圖像研究領域更進一步的發展，相比于傳統圖像算法需要手工設計特征，深度學習算法可通過自學習提取相關特征，并能將特征提取、篩選、分類等任務融合在一個網絡中進行優化，具備顯著優勢。特別地，卷積神經網絡(convolutional neural network，CNN)[5]針對圖像識別、圖像理解、目標檢測、語義分割等任務實現了遠超傳統圖像算法的解決功能，并且憑借良好的魯棒性能夠適用于任何場景任務。本文將借鑒CNN的思想，針對條形碼檢測問題，設計快速有效的算法以達到實際運用場景的需求。

1 基于卷積神經網絡的條形碼檢測分析

當前，基于卷積神經網絡的目標檢測模型主要分為兩種：一種是以Faster-Rcnn[6]為代表的基于候選區域的two-stage檢測器，其原理是先使用深度卷積神經網絡來獲取圖片的特征圖，再將特征圖通過區域提議網絡(region proposal network，RPN)生成候選區域，并結合分類器、邊界回歸器以及非極大值抑制算法等對候選區域進行分類和調整，進而獲取有效目標；另一種是以YOLO[7]和SSD[8]為代表的基于回歸的one-stage檢測器，如圖1所示，主要原理是選取輸出層或者中間層的特征圖直接進行分類和坐標回歸。與two-stage檢測器不同，基于回歸的one-stage檢測器省略了區域提議網絡生成候選區域過程，直接將目標識別和目標判定融合在一起，較大程度節省了計算成本和時間消耗，對實現實時的端到端的目標檢測具有重要作用。

圖1 YOLO和SSD結構

通常，目標檢測中的公共數據集如coco、imagenet等擁有多類別、相對大尺寸的檢測對象。而在物流包裹分揀系統場景中，檢測對象條形碼類別相對單一且占整張圖片尺寸的比例偏小，如圖2所示。本文采用聚類統計方法對現場采集的15 000多張圖片進行了分析，得到條形碼尺寸占比整張圖片大小多集中在1/20～1/8之間。對于以公共數據集為基礎設計的YOLO和SSD等模型結構存在冗余性，并不能針對性地解決條形碼小目標快速檢測問題，本文將結合條形碼特征對現有檢測模型進行設計和改進，構建一種快速、準確、魯棒性高的條形碼檢測算法。

圖2 包裹分揀現場條形碼圖片

2 級聯多尺度特征融合網絡模型

根據包裹分揀的特殊場景和待檢測目標條形碼的特殊性，以one-stage檢測器作為基礎框架，設計一種輕量化的級聯多尺度特征融合網絡，直接通過卷積提取特征、分類回歸定位條形碼。模型結構如圖3所示，其中特征提取部分主要包括兩個網絡：特征縮減網絡、特征保持網絡。特征縮減網絡主要實現特征圖尺寸縮減和特征信息提取；特征保持網絡則在維持特征圖大小不變前提下進一步對特征語意信息融合。檢測部分由分類器和回歸器組成，對前述得到的特征圖進行坐標回歸，進而得到目標的檢測框。

圖3 級聯多尺度特征融合網絡

2.1 針對條形碼目標的anchor設置

在目標檢測中，anchor為預設錨框，合理設置anchor的類型對于后期準確檢測到目標有著重要作用。anchor類型的設置主要是調節兩類超參數，即長寬比R和面積大小S。在常見的目標檢測模型如YOLO和SSD中，anchor類型的典型值S為{642,1282,2562}，R為{1∶1,1∶2,2∶1}。而由第1節條形碼尺寸分析知，條形碼尺寸占比小并且考慮到有傾斜情況，因此將集合S設置為{322,482,642,802,962}，R集合設置為{1∶1,1∶2,1∶3,1∶4,4∶1,3∶1,2∶1,1∶1}。這樣anchor能夠覆蓋條形碼數據集中所有條形碼的尺寸范圍，可有效提升最后檢測條形碼的準確率。

2.2 特征縮減網絡

卷積神經網絡與人腦視覺神經類似，通過多個卷積層進行特征提取。淺層的卷積神經網絡輸出特征圖較大，小目標特征能夠得到保留，但缺點是語義信息不夠充分；隨著卷積神經網絡的不斷加深，卷積層提取的特征更加抽象，但也帶來特征圖的縮減，極易導致小目標特征消失。本文的條形碼檢測屬于小目標檢測，為了有效提高檢測結果的精確性，設計一種多尺度特征融合層I，通過融合不同層次尺度的語義信息增強條形碼特征，如圖4所示。此模塊由3個3×3卷積層組成，區別于一般卷積神經網絡通過最大值池化降低特征圖尺寸而導致特征信息損失嚴重，本模塊全部通過設置步長(stride)為2的3×3卷積來達到特征圖縮減的效果，并進一步提取整合特征語意信息。融合層I的輸出由這3個卷積之后的特征圖進行拼接(concat)而得，通過轉置卷積(Deconvolution)上采樣第二個和第三個3×3卷積層來調整特征圖尺寸大小相同，進而完成拼接。這樣，特征圖的尺寸每經過一個多尺度特征融合層I被降采樣2倍，重復疊加多個則會使得特征圖尺寸迅速下降。為了保證在一系列的降采樣下條形碼的特征點不會消失，設定特征融合模塊的數量為T=4，即級聯4個多尺度特征融合層I，使得最后一層特征圖降采樣為輸入圖像的1/16，從而在充分提取語義信息的同時盡可能地保持條形碼特征的完整性。

圖4 特征融合層I的結構

2.3 特征保持網絡

在特征縮減網絡中，由于特征圖尺寸限制而只設置了有限個特征融合層I，為更進一步提取語義信息特征，考慮在特征縮減網絡之后設計加入特征融合層II，在特征融合層I的基礎上對特征圖語義信息進行深層次的提取。特征融合層II的結構如圖5所示，主要由3個3×3膨脹卷積(dilated convolution)[9]層組成，每層卷積步長stride=1，3個卷積直接拼接可輸出同等尺寸的特征圖。模塊中采用膨脹卷積替代傳統標準卷積，在保持特征圖尺寸大小不變的同時，能夠較好地提升感受野，進而豐富語義特征。膨脹卷積的感受野計算方式為

RF=(K+1)×(DR-1)+K

其中，RF表示膨脹卷積輸出的感受野，K表示卷積核尺寸大小，DR表示膨脹率。

圖5 特征融合層II的結構

圖6展示了膨脹率(dilated rate)為2的卷積可將原來3×3標準卷積的感受野擴大為7×7。

圖6 標準卷積和膨脹卷積(膨脹率為2)的感受野變化

2.4 網絡模型的優化加速

本文設計的模型主要面向包裹自動分揀環境中的條形碼實時檢測，并考慮到未來將算法移植到像FPGA等計算資源有限的嵌入式設備中，故對模型的處理速度要求較高。為解決這一問題，重點針對模型的輸出通道和卷積深度兩方面分別做加速改進。

(1)輸出特征圖通道壓縮

在特征融合模塊中，在對輸出的特征圖進行拼接后，特征圖通道數量激增，導致模型復雜度和計算量加大。為此，考慮在相鄰融合模塊之間加入一個1×1卷積壓縮層。該壓縮層可對模塊輸出后的特征圖數量進行縮減，進而保持模型的輕量化。具體地，設置1×1卷積核個數V，使其少于輸入特征圖通道數M，即V

圖7 特征圖通道壓縮

(2)卷積核深度分離

在卷積計算中，將3×3標準卷積全部轉換為改進的深度可分離卷積(depthwise separable convolution)[10]，以有效提高卷積層計算速度。以空間尺寸為K、深度為M的標準卷積核為例(圖8(a))，總卷積核數量為N，通過轉換，可拆分為深度卷積(depthwise convolution)(圖8(b))和點乘卷積(pointwise convolution)(圖8(c))。其中，深度卷積的卷積核通道數為1，即特征圖的每個通道都有一個獨立的卷積核，剝離了標準卷積中跨通道的特性，關注特征圖空間維度特征的提取。點乘卷積的卷積核空間尺寸為1，相當于1×1的卷積核，與深度卷積相反，點乘卷積實現跨通道特征信息的混合與流動。

圖8 標準卷積核和深度可分離卷積核

一般來說，卷積核個數N設置較大(如128，256等)，而卷積核大小主要是3×3或者5×5，因此深度可分離卷積的計算量主要集中在點乘卷積上。采用分組卷積可進一步優化1×1點乘卷積，通過將點乘卷積核分割成g組，然后分別進行卷積，最后將結果合并輸出，計算量可減少g倍。然而分組卷積易造成通道間信息獨立，與1×1點乘卷積的跨通道信息混合作用相悖，因此在分組卷積之后加入通道重組(圖9)，將不同組的特征圖交叉混合。

圖9 通道重組

經過上述改進，3×3卷積層結構變化如圖10所示。

圖10 標準3×3卷積層結構(左)和改進的3×3深度可分離卷積層結構(右)

假設輸出特征圖尺寸大小為D×D，標準卷積和改進的深度可分離卷積的計算量對比為

在本文中，卷積核大小為3×3，點乘卷積的分組數g為2，卷積核個數N一般較大，比值第二項可以暫時忽略，因此采用改進的深度可分離卷積能夠比標準卷積理論上加速18倍左右，其有效降低了模型的復雜度和參數量，提升了模型的速度。

3 實 驗

3.1 實驗準備

實驗數據來源于從實際包裹分揀現場采集的15 372張圖片，其中隨機取出20%作為測試集，其余作為訓練集。為保證實驗效果，所有圖片統一進行數據預處理，主要包括去均值和數據增強，其中，數據增強涉及隨機裁剪(保留區域80%)、平移變換、隨機角度旋轉、水平垂直鏡像翻轉、飽和度和對比度拉伸等，可豐富訓練樣本，保證算法的泛化性能。硬件的配置是：CPU為56 Intel(R) Xeon(R) CPU E5-2683 v3 @ 2.00GHz；GPU為6塊NVIDIA TITAN Xp，每塊12G顯存。使用的深度學習架構是keras。軟件環境為Ubuntu 16.04 LTS。

3.2 實驗參數設置

網絡模型輸入圖片大小為512×512，初始學習率為10-7。最大循環次數為60 000次，前30 000次采用自適應優化算法Adam，后30 000次采用學習率衰減優化算法SGD，其中每隔10 000次學習率衰減為原來的1/10。權重采用Xavier初始化，激活函數選擇PReLu，batch_size設置為16。評價標準選擇AP(average precision)，其IoU閾值設置為0.6。分類損失函數選擇Softmax交叉熵損失，回歸損失函數選擇Smooth_L1損失。

表1列舉出4個融合層I、3個融合層II、7個壓縮層具體的卷積核個數，其中每個融合層I包括3個3×3卷積和兩個轉置卷積，每個融合層II包括3個3×3卷積，每個壓縮層包括1個1×1卷積。

表1 網絡各層的卷積核個數設置

3.3 實驗結果與分析

由之前的分析可知，特征衰減網絡中融合層I的個數固定為T=4，因此實驗過程只對特征保持網絡中融合層II個數Q進行調整，并且和YoLo-v3以及Vgg-SSD網絡進行對比。

實驗結果見表2，首先，本文設計的級聯多尺度特征融合網絡模型在準確率AP上與YoLo-v3以及Vgg-SSD相差無幾；其次，特征保持網絡的加入對于準確度AP有接近兩個百分點的提升，并且融合層II的個數N越大并沒有帶來準確率AP明顯的提升；最后，本文設計的模型在速度上比YoLo-v3以及Vgg-SSD有明顯優勢。

表2 實驗結果對照

綜合分析，在針對物流包裹分揀場景下的條形碼檢測任務中，除去圖片傳輸通信、預處理和后處理等耗時，條形碼檢測算法耗時需控制在80 ms以內，并考慮到設計裕量和未來移植到FPGA等嵌入式平臺中，實際算法運行速度越快越好。本文提出的級聯多尺度特征融合網絡模型能夠在保證準確度AP的前提下，耗時更少，而YoLo-v3以及Vgg-SSD由于網絡結構存在冗余性導致耗時較多；在考慮準確度AP和速度前提下，Q值為1的級聯多尺度特征融合網絡最優。圖11展示了級聯多尺度特征融合網絡的檢測效果，偏小的條形碼目標能夠很好的被檢測出來，可滿足實際包裹分揀場景的需求。

圖11 條形碼檢測結果

4 結束語

本文在物流包裹分揀場景下，提出了一種針對條形碼小目標的級聯多尺度特征融合網絡快速檢測算法。該算法以one-stage檢測器作為基礎框架，通過設計特征縮減網絡和特征保持網絡實現對條形碼特征的充分抽取，同時，結合膨脹卷積和深度可分離卷積，對模型的表現能力和速度進行優化提升，最后通過實驗驗證了算法的有效性和可行性。此外，文中提出的級聯多尺度特征融合網絡在實際運用環境中可自行實驗設計T、Q取值，具有一定普適性，對于相似場景任務可直接部署并取得快速準確的檢測效果。