基于端到端深度網絡的QR碼快速檢測算法

侯玉坤，李功燕

(1.中國科學院微電子研究所，北京 100029；2.中國科學院大學電子電氣與通信工程學院，北京 100049)

1 引言

當前環境下，QR碼技術的普及，使其在日常生活中得到大范圍應用，使用場景不在僅僅局限于網站信息標識、移動支付等，同樣物流快遞面單也多已采用這種技術。因為QR碼具有信息儲存量大、多角度識別、應用成本低等特點，非常適合在物流分揀系統中存儲包裹信息，同時隨著國內外電商規模的不斷擴大，快遞投送量也成倍的增長，市場對于快遞包裹的分揀速度和準確率提出了更高的要求。

通常，物流分揀系統復雜環境下QR碼的識別需要經過相機捕獲包裹全局圖片、QR碼目標檢測即位置的精確定位、QR碼信息讀取等步驟。無論是傳統的特征點檢測定位方法還是基于深度學習的目標檢測算法，都是在得到位置后將QR碼分割出來提供給后續信息識別部分。所以QR碼目標的精確定位極大地影響著分揀系統整體的性能。

文獻[4]利用圖像處理提取QR碼三個特征點同時結合掃描算法檢測位置。文獻[4]考慮QR碼中黑白模塊數相近，然后計算輸入的LBP特征獲得目標區域。文獻[4]采用級聯的AdaBoost分類器訓練檢測QR碼。文獻[4]提出一種基于背景灰度估計的校正算法，優化QR碼區域檢測。一般地，這些算法僅在特定物理環境下具有較好的檢測效果。然而，現實中，在物流包裹自動分揀場景下，由于光照條件、現場環境等影響，采集到的圖片質量參差不齊，比如光照變化劇烈、背景干擾復雜、QR碼扭曲形變、QR碼目標占比較小等容易造成誤檢和漏檢，導致QR碼檢測難度提升。因此，研究快速、高可靠性的QR碼目標檢測方法，對實現復雜條件下物流包裹的自動分揀具有重要的意義。

近年來，深度學習促進計算機視覺及圖像不同研究領域進一步的發展，和傳統的圖像算法需要設計者根據不同任務特點去手工設計特征相比，深度學習模型可以省去這些繁雜的過程，通過模型訓練自動從訓練數據中提取特征信息，并且參數調整及模型優化更加方便，具備著更加顯著的優勢。所以在本文借鑒經典卷積神經網絡的思想，面向智能物流分揀環境下QR碼檢測定位問題，設計一種基于One-Stage模型的QR碼快速檢測算法，以滿足工業現場實際應用的要求。

2 基于深度學習QR碼檢測分析

目前，基于深度學習的目標檢測任務主要有兩種通行的解決方案：一種是兩階段(Two-Stage)目標檢測，另一種是單階段的(One-Stage)。對于兩階段目標檢測，通常需要經過特征提取及區域選擇、分類回歸器兩個階段。例如經典的Faster-RCNN[4]，首先利用卷積神經網絡獲得輸入數據的特征圖，然后經過區域生成網絡(Region Proposal Network，RPN)[4]生成待定的候選框，最后利用分類器、回歸器以及后續非極大值抑制算法確定最終結果。而對于以YOLO[4]和SSD[4]為代表的單階段檢測算法而言，直接通過主干網絡提取不同尺度的特征信息，直接進行分類以及坐標位置回歸的任務。與兩階段最大的不同是省略了使用RPN網絡生成候選框的過程，節省了計算資源，使得算法運行速度更快，但是精度相對于兩階段目標檢測模型略低。

一般而言，YOLO和SSD等單階段檢測模型作為普適的算法，設計的目的都是面向于COCO、VOC等類別豐富且數據量大的公共數據集，雖然在檢測速度上相較于兩階段算法有了較大的提升，可以輕易的在高性能GPU上實現實時檢測，但所需的計算資源仍然較多，無法滿足當前階段工業現場部署的要求。考慮到本課題所面對的數據是智能物流分揀中包裹QR圖片(如圖1所示為物流分揀現場采集的圖片)目標種類單一，且待檢測的目標物體尺度變化范圍有限。使用經典SSD及YOLO等將會有大量冗余，影響檢測效率，所以本文結合QR圖片數據特點將基于單階段檢測模型進行設計和改進，構建一種快速、魯棒性高的QR目標檢測算法。

圖1 物流分揀現場采集的待檢測QR碼圖片樣例

3 網絡結構

考慮到物流分揀現場環境以及待檢測目標QR碼的特殊性，本文以單階段檢測算法作為基礎框架，設計一種針對QR碼目標的輕量化檢測模型。可以直接通過級聯卷積層提取特征信息，繼而回歸定位QR碼位置。模型的整體框架結構如圖2所示，主要包括多尺度特征提取網絡以及后續檢測分類模塊。

圖2 QR碼檢測網絡整體框架圖

3.1 特征提取模塊

本文使用的特征提取網絡模塊主要類似于VGG下采樣特征提取過程，由卷積模塊和跳轉連接組成，目的在于高效地提取輸入圖片特征及捕捉語義信息。其中MyBlock模塊借鑒ResNet的跳轉連接思想來保留一定程度原始特征圖的信息，同時嵌入優化的深度可分離卷積降低參數計算量。模塊主干網絡的結構如表1所示，在提取特征信息的過程中，網絡進行了5次的尺度收縮，最終末端特征圖尺寸13×13。同時，類似于YOLO v3的結構，本文選取序號6、8、10三個不同尺度的中間特征作為輸出，接著經過特征拼接以及少量的3×3和1×1卷積，最終得到對應13×13×18、26×26×18、52×52×18三個尺度的輸出。其中，代表網絡淺層信息的特征輸出不僅由同尺度的特征圖得到，而且還融合了深層網絡特征的信息。另外，特征提取模塊中，參考注意力機制的優越性，添加了全連接注意力宏結構的模塊(Fully-connected Attention，FCA)，整合了多通道的信息，使得網絡進一步精簡化。

表1 網絡主要結構組成

3.2 網絡優化

本文提出的方法主要目標應用于物流自動分揀系統環境下的QR碼圖片檢測，考慮到實際工業現場中嵌入式設備的計算資源相對匱乏，故為滿足實時檢測要求，必須對整體模型作相應改進，提升處理速度，主要從優化卷積方式以及添加全連接宏結構入手。

3.2.1 深度可分離卷積及改進

在標準卷積計算中，參數量的大小取決于卷積尺度以及通道數，例如圖3(a)中，輸入特征通道數為C1，卷積核尺度為與輸入相匹配則為K×K×C1，期望輸出通道數為C2，意味著需要C2個卷積核，最終的參數量即為K×K×C1×C2。通常深度學習算法的輸入圖片維度相對較大，若一個網絡模型中均采用標準卷積，則會產生大量的計算，嚴重拖累計算速度，這對硬件資源較為匱乏的場景是不可接受的。

圖3 標準卷積核和深度可分離卷積核示意圖

而深度可分離卷積(Depthwise Separable Convolution)[4]可以在幾乎不損失模型性能的情況之下，將卷積的參數量大幅度降低(一般降低為3*3卷積的八分之一左右)，提高計算資源利用效率以及模型運行速度。主要思想是將標準卷積拆分為深度卷積(Depthwise Convolution)以及點乘卷積(Pointwise Convolution)。其中，一個深度卷積核只對輸入的某一層進行獨立卷積操作，剝離了標準卷積中跨通道計算的特性，只關注特征圖空間維度特征的提取，所以尺度為K×K×1，輸入特征通道為C1，則相應的應有K×K×1×C1的參數量。相對應地，點乘卷積則1×1卷積實現跨通道信息的融合，最終的輸出特征尺度與標準卷積一致。

一般而言，深度可分離卷積計算中，由于通道數的數目C1和C2較大(通常為64，128，256等)，卷積核大小以3×3為主，所以根據前面計算可知，深度可分離卷積的計算量主要集中在點乘卷積這一步。采用分組卷積0方式可以進一步優化1×1點乘卷積，首先將C2個卷積核分成G組，分別對輸入進行卷積操作，然后將得到的結果重組成通道數為C2的輸出，從而使得點乘卷積的計算量減少G倍。相應地，分組卷積方式會造成通道間信息相互獨立，這一定程度上會影響網絡性能，因此需要在分組卷積后添加通道重組(Channel Shuffle)[4]，已達到混合不同分組特征圖的效果。最終利用此類卷積有效地降低模型復雜度，提高檢測效率。修改后的深度可分離卷積組成的卷積模塊結構如圖4所示。

圖4 利用優化的深度可分離卷積設計的MyBlock結構圖

3.2.2 全連接注意力宏架構

同時在模型的特征提取模塊中引入輕量級的全連接注意力結構，與文獻[4]相似，FCA主要由兩個全連接的層組成，將輸入特征圖經過壓縮(Squeeze)、激活(Excitation)以及比例映射(Scale)后，生成調制的權值向量，然后利用通道乘法對通道進行重新加權賦值。使用基于全局信息動態校準的FCA結構可以讓網絡更加關注重要的信息，從而允許設計者在降低網絡計算復雜度和模型表征能力之間達到平衡，FCA詳細的結構如圖5所示。

圖5 FCA模塊詳細結構圖

圖中，FCA(input，x)，Input 為特征輸入，x為超參數，表示C1：C2的比例，通常設為8。

3.3 快速非極大值抑制

通常在得到每個預測框的坐標回歸系數及分類置信度之后，都需要執行非極大值抑制(Non-Maximum Suppression，NMS)來減少重復預測。但是以前的許多工作中[4]，NMS都是順序執行的。即對于數據集中的每個類，根據置信度對檢測到的預測框降序排列，然后按照順序考察每個預測框，刪除所有比其置信度低且IOU重疊較多的預測框。

為了提升整體模型檢測速度，考慮結合GPU并行處理數據的特性，將傳統NMS修改為快速NMS[4]的版本。主要思想為將傳統方式下順序執行并逐步刪減預測框的方式替換成矩陣形式，利用Python庫矩陣計算的便利達到加速的目的。

首先，對于網絡檢測置信度得分最高的n個預測目標框按照降序排列，然后計算一個大小為n×n的IOU矩陣X，取出矩陣X的上三角部分，下三角以及對角線均置為0，后續只用考慮每一列中最大的IOU值，該值大于設定的閾值則丟棄該列對應的預測目標框。例如圖6的示意，圖(a)表示待確定的5個置信度得分最高的預測框IOU矩陣，圖(b)為IOU矩陣的上三角部分，圖(c)表示最終每一列對應最大的IOU值，可以看到Bbox3和Bbox4的IOU值較大(一般閾值設為0.5)，表示前面有和其重合度較大的預測框，且置信度得分比其更高(Bbox1～Bbox5是按照置信度降序排列的)，所以刪除Bbox3和Bbox4，最終結果保留Bbox1、Bbox2以及Bbox5。

圖6 Fast-NMS矩陣加速計算示例

4 實驗

4.1 實驗準備

實驗的訓練數據來源于工業線現場采集得到的包裹圖片，經過手工篩選及標注后得到11042張的訓練數據。為保證實驗效果，豐富訓練數據以及提高泛化性，所有圖片統一進行數據預處理，主要包括輸入歸一化、隨機裁剪、平移變換、隨機角度旋轉、飽和度、對比度拉伸等。

4.2 參數設置

網絡模型輸入圖片大小為416×416，初始學習率為10-4。從數據集中隨機抽取80%的圖片作為訓練集，其余作為驗證集，訓練120個Epoch，每10個Epoch過后學習率衰減為的之前的0.9倍。整個訓練過程中使用自適應優化算法Adam作為優化器，Batch_Size設置為4，評價標準選擇平均精度(Average Precision，AP)。

此外，對于One-Stage目標檢測算法而言，預設錨框(Anchor)作為超參數，其合理的設置對檢測效果有著重要的作用。針對本文訓練數據集而言，現場工業相機拍攝的QR碼圖片會因為拍攝角度傾斜或者包裹表明不平整造成目標的比例有一定浮動，但主要的長寬比集中于1:1。最終選擇將Anchor的面積大小設置為{242，322，482，642}，長寬比設置為{1:1，1:2，2:1}，這樣的Anchor超參數設置可以有效覆蓋數據集中所有QR碼目標尺寸范圍，提升檢測效果。

4.3 結果分析

首先，本文在實驗中重新基于Python 寫了Fast-NMS的代碼，經過將傳統NMS代碼替換后，得到如表2的數據結果，可以看到在幾乎不犧牲模型檢測性能的情況下各模型的速度均有小幅度提升。

表2 FAST NMS與常規NMS效果對比

模型對比實驗中，為達到最好的數據對比效果，所采用的對比模型均為公開數據中表現較好的實現。具體的結果如表3所示，本文采用的網絡模型在平均精度指標上與YOLO v3以及SSD這些One-Stage模型相比表現相差不大，與Faster RCNN差距較為明顯，但速度上本文模型遠遠優于其它基于深度學習的模型。

表3 模型對比實驗結果

綜合來說，在針對物流包裹分揀場景下的QR碼檢測任務中，除去圖片傳輸通信、預處理和后處理等耗時，QR碼檢測算法耗時需控制在 60ms 以內，并考慮到設計裕量和未來移植到嵌入式平臺中，實際算法運行速度越快越好。本文提出的模型完全滿足速度要求，對于物流分揀環境下的QR碼檢測算法的部署是極為重要地。圖7展示了基于本文端到端深度網絡的QR碼檢測效果，待檢測目標都能夠很好的被檢測出來，可滿足實際物流分揀場景的需求。

圖7 QR碼檢測效果圖

5 結語

本文在智能物流分揀環境下，設計了一種針對QR碼目標的快速檢測算法。該算法以經典One-Stage檢測模型作為基礎框架，通過設計特征精簡的特征提取網絡實現對QR碼特征的充分抽取，同時，結合優化后深度可分離卷積以及全連接注意力宏模塊，提升模型的表現能力和檢測速度，最后通過實驗驗證了該算法的有效性和可行性。相較于經典模型在保持檢測精度同一水平的情況下，大幅度提升檢測速度，方便物流分揀現場有限的計算資源環境下部署并獲得快速準確地檢測效果。