異形包裹全方位自動掃描分揀系統研制

孫術發，吳盛，蘭巧燕，劉嵩，翟婉睿，姚發鑫

異形包裹全方位自動掃描分揀系統研制

孫術發a，吳盛b，蘭巧燕a，劉嵩c，翟婉睿a，姚發鑫a

（東北林業大學 a.土木與交通學院 b.機電工程學院 c.計算機與控制工程學院，哈爾濱 150040）

為適應快遞包裹外形的多樣性，分揀標簽的張貼無規律性，提高物流分揀環節無人化和綠色化，降低分揀成本，研制一種異形包裹全方位自動掃描分揀系統。該系統對現有物流傳送裝置進行結構改進，設計旋轉式分揀平臺及玻璃板內嵌傳送帶，通過Solidworks仿真軟件構建整體模型，并進行場景仿真，開發基于OpenCv4.5.4-Python、Zbar的多線程ROI模板追蹤算法與Blob檢測算法結合高斯濾波、模板匹配及透視變換獲取條碼信息，并搭建基于STM32F407ZGT6輸出PWM進行運動控制的異形包裹全方位自動掃描分揀物理樣機。實驗結果表明，物理樣機對異形包裹平均識別時間為0.91 s，平均分揀時間則可穩定在1.78 s左右。該系統可以全方位無死角掃描包裹條碼，準確率可達100%，具有良好的穩定性和準確性。

異形包裹；分揀平臺；計算機視覺；自動掃描分揀

條碼掃描技術興起后，我國快遞行業迅速發展，僅2021年業務量就已突破1 000億件，占全球一半以上[1-2]。同時，快遞包裝形式多樣，按包裝制品材料分為紙制包裝、塑料包裝、復合材料包裝等[3]。在眾多包裝類型中，紙袋、塑封袋、氣泡袋等軟包裝占很大比例[4]。該類包裝規格、重量范圍廣，運輸過程中易受擠壓成各種特殊形狀，嚴重影響條碼識別。因此，此類異形包裹較難實現全自動掃描分揀。目前，物流掃描分揀主要分為人工掃描分揀和規則件掃描分揀設備[5]。其中人工分揀在速度與精細程度上較低，同時人工成本較高[6]。規則件掃描分揀設備則由人工擺正條形碼后，通過傳送帶或機器人輸送進行掃描分揀，分揀速度較快，但快遞需規則包裝，且設備成本及維修費用較高[7]。因此該類異形包裹在國內仍主要由人工分揀或包裝成規則件進行分揀，其存在作業強度大，分揀效率低下，造成包裝浪費等問題。2021年是“十四五”規劃開局之年，《中華人民共和國國民經濟和社會發展第十四個五年規劃和2035年遠景目標綱要》強調必須從當前信息智能重大技術革命背景和低碳綠色可持續發展的戰略要求出發，按照“碳達峰”“碳中和”戰略目標要求，創新推動物流率先實行綠色化、現代化[8]。為積極響應國家有關物流行業的指示，減少包裹規則化包裝所需填充物和包裝盒，解決異形包裹難以自動化掃描分揀的難題，研制一種異形快遞包裹全自動掃描分揀系統，將異形包裹分揀效率與識別率兩者達到可實用化標準。

1 系統設計

1.1 系統硬件設計

異形包裹全自動掃描分揀系統硬件模塊主要由導向輪陣列全向輸送裝置、轉盤式立體掃描分揀平臺、可視底部掃描裝置等部分組成，系統硬件模塊架構如圖1所示。

1）導向輪陣列全向輸送裝置由導向盤、導向輪、舵機、電機等部件構成。導向輪由舵機、電機相連，內嵌于導向盤且陣列分布。通過給繼電器IN引腳高電平，使常開觸點閉合，以此控制減速電機旋轉，使包裹前進；通過PWM直接控制舵機打角，對包裹進行對應角度的自動撥離，以此實現全向輸送。

圖1 系統硬件模塊架構

2）轉盤式立體掃描分揀平臺是由鋼板、舵機及其他零部件組成的轉盤式分揀平臺，由工業攝像頭及三腳架搭建立體掃描框架。當包裹到達分揀平臺時，通過I/O口輸出PWM信號驅動舵機打角，實現分揀平臺自轉，使包裹360°暴露在攝像頭視野中，攝像頭組塊攝取立體包裹圖像以獲得條碼信息，低成本地實現異形包裹條碼立體全方位無死角識別。

3）可視底部掃描裝置由玻璃板及底部CCD掃描儀組成。利用包裹在傳送帶進入玻璃板的減速過程中對包裹底部條碼直接掃描。因掃描時間較短，所以為確保識別的準確率，設備對包裹進行2次底部掃描，完成掃描后，將包裹送入分揀線。

系統硬件模塊運行流程如圖2所示，當包裹被傳送到分揀平臺時，分揀平臺舵機啟動，帶動分揀平臺轉動，使包裹全方位暴露在攝像頭模塊中。頂部攝像頭對包裹上部攝取圖像，側面攝像頭隨著包裹在分揀平臺上的轉動持續性追蹤。檢測到攝像頭模塊成功攝取條碼圖像后計算機對其進行處理，由此獲得條碼信息。隨即控制舵機陣列打角，將包裹轉向輸出傳送帶方向，同時帶動電機陣列工作，使包裹前進。若在分揀平臺轉動1周后未檢測到條碼信息，則將包裹輸出，通過可視底部裝置對其進行底部條碼掃描。

1.2 系統軟件方案

1）底部CCD傳感器。CCD能對光照做出反應，并把反映出來的強度轉換成相應的數值。根據CCD器件輸出信號的特點，在輸出信號中找出受光強的像素和受光弱的像素，將CCD輸出信號分為高、低2種電平信號，從而實現信號的二值化處理[9]。CCD輸出的信號，對照二值化轉換成所需要的0/1數據，再通過不同的條形碼標準，即可獲得條形碼信息。

圖2 系統硬件模塊運行流程

2）攝像頭模塊。為了滿足對異形包裹的識別，使用3 840×2 160分辨率攝像頭可以大幅增加識別的角度，降低設備的成本及體積。為實現無死角掃碼，需在確定攝像頭布局后，對算法結構框架優化升級，以實現快速、準確地追蹤，并識別動態包裹條碼。實驗發現，深度學習、神經網絡算法延時過高，傳統識別算法識別率過低。自研多線程ROI模板追蹤算法、模板裁剪條碼ROI、透視變換矯正畸變[10]、多線程并行處理，在識別精度、速度上表現優異，測試集中每秒處理2張有效圖像，識別率達到100%，達到行業應用標準。攝像頭識別條碼流程如圖3所示。

圖3 攝像頭識別條碼流程

2 系統實現的關鍵技術

2.1 導向輪陣列及分揀平臺控制技術

1）控制器MCU與NUC?？刂破鱉CU是非底部全方位掃描區的核心，用于控制電機、舵機陣列，以及分揀平臺整體、控制傳送帶運行[11]。選擇STM32F407ZGT6作為控制器，其擁有32位高性能ARM Cortex-M4處理器，時鐘高達168 M，支持FPU和DSP指令，其外設單元資源豐富，能夠達到設備要求的精度和范圍。圖像處理設備搭載了英特爾?NUC 11專業套件，CPU采用i5-1145G7處理器，最大睿頻頻率為4.40 GHz，DDR4-3200最大內存為64 GB，搭載集成顯卡支持HDMI2.0輸出，滿足系統基本要求。

2）電機陣列。電機陣列如圖4所示，樣機導向盤采用直徑為50 cm的不銹鋼板，實驗所用包裹最小長度設定為5 cm，以此對導向盤進行規劃。為保證包裹順利前進，設計由19個導向輪陣列內嵌而成的導向盤?；趯蜉喌牟季值玫诫姍C陣列。采用25GA370減速電機，內置減速齒輪，可提供0.016 N?m的扭矩，轉速可達300 r/min。通過給繼電器IN引腳高電平，使常開觸點閉合，以此控制減速電機旋轉，使包裹前進。

圖4 電機陣列

3）舵機陣列。采用MG996R（6 V）舵機，可通過PWM直接控制舵機打角，反應轉速為77 r/min（6 V），響應速度快、扭矩大、體積小。MG996R舵機的頻率為50 Hz，即20 ms左右的時基脈沖，而此脈沖的高電平部分則為0.5～2.5 ms，以此通過PWM來控制舵機不同的轉角。

4）分揀平臺舵機。為了使分揀平臺轉動，選擇大扭矩的DS3230MG金屬標準舵機，仍通過IO口輸出PWM信號驅動舵機打角。

2.2 條碼處理識別技術

1）高斯濾波。高斯濾波器是一類根據高斯函數的形狀來選擇權值的線性平滑濾波器，常用二維零均值離散高斯函數作平滑濾波器，對抑制服從正態分布的噪聲極為有效[12]。

二維高斯函數如下：

所得權重矩陣為高斯模板，見圖5，像素坐標系中(,)像素值(,)經高斯計算為：

圖5 卷積J及其歸一化權重

2）ROI追蹤算法與多線程并行。經灰度處理、高斯濾波、閉運算、陽光算法篩選出快遞運單區域，使用ROI裁剪目標窗口，實現動態追蹤，二值化ROI效果如圖6所示。該方法降低了環境因素對條碼識別過程的干擾，顯著提高條碼識別速度。同時在多線程作用下，速度由平均3幀/s提高到平均0.6幀/s。

圖6 二值化ROI效果

3）改進Blob檢測算法。OpenCv將二值圖像輪廓中的連通域稱作Blob，并提供顏色、大小、圓度、凸性、慣性比等尺度因子評價Blob形態特征[13]，如圖7所示。

圖7 尺度因子說明

條碼由等長不定寬黑色條紋排列而成，中圓凸、低慣性比特征顯著，輕微形變不改變條紋特征。使用條碼尺度因子提取符合要求的黑色條紋，并加入條碼候選區。條碼尺度因子見表1。

表1 條碼尺度因子

Tab.1 Bar code scale factor

梯度計算式見式（4）。

以矩形條碼寬窄比等特征過濾掩膜圖像輪廓，最大連通域即條碼所在區域。采用梯度一致性原理標記垂直于黑色條紋的外接矩形，掩膜矩陣效果如圖8所示。

圖8 掩膜矩陣效果

改進Blob檢測算法實測平均耗時為0.15 s，速度快，精度高，但在極少數情況下可能存在漏判誤判。

4）模板匹配。圖像形變分為基于目標局部的形變和由于透視關系而產生的形變2種?；谛巫兊哪０迤ヅ浜臅r長，在復雜場景有較好識別效果[14]。當Blob檢測失敗時需要嘗試模板匹配。

①數據增強?；谟邢迶祿筛嗟葍r數據，檢驗得到泛化能力更強的模板，具體實現如圖9所示。

圖9 數據增強具體實現

②匹配得分計算式如下，模板匹配效果如圖10所示。

式中：NCC為NCC的匹配得分；為像素灰度值；為窗口像素均值；為模板像素值；?1為自由度。

圖10 模板匹配效果

Fig.10 Template matching effect

5）透視變換。透視變換將二維的圖片投影到一個三維視平面上[15]，然后再轉換到二維坐標下，也稱為投影映射，即二維→三維→二維的過程。

①透視變換公式：

②透視變換矩陣：

③仿射變換是透視變換的子集。接下來再通過除以軸轉換成二維坐標：

透視變換相比仿射變換更加靈活，變換后會產生一個新的四邊形，但不一定是平行四邊形。給定上文外接矩形4點，其中任意3點都不在同一直線，即可得到透視變換前后變換關系，實現透視變換后的空間坐標定位進而還原圖形[16]。因此條碼輕微形變時，也能快速還原條形碼圖像進行識別。相較于直接攝取圖像識別畸變條碼，速度與精度更優。透視變換效果如圖11所示。

圖11 透視變換

Fig.11 Perspective transformation

6）條碼解碼?；赯bar庫的條碼解碼流程及識別效果如圖12所示。

圖12 條碼解碼

3 實驗分析

異形包裹全方位自動掃描分揀物理樣機如圖13所示。

圖13 異形包裹全方位自動掃描分揀物理樣機

驗證本文所研制系統的實際應用效果，用實驗室樣機進行掃描分揀實驗，測試在不同分揀平臺轉速及不同光照條件下，條形碼大小、污損、形變程度各異的多類型包裹的掃描分揀準確性與穩定性。對隨機獲取的9個包裹進行編號，其具體特征見表2，實驗所用包裹見圖14所示。

表2 各包裹特征

Tab.2 Characteristics of each package

本次實驗所用攝像頭為Imx682，分辨率為3 840×2 160，每秒30幀。改變分揀平臺轉速，分別在自然光和遮光條件下對每個包裹進行50次實驗，自然光條件實驗結果見表3。

圖14 實驗所用包裹

在表3所進行的實驗中，條碼誤碼率均為0.00%。分析表3可知，自然光條件下，該系統在分揀平臺不同轉速條件下對包裹的識別與分揀性能較好，具有較快的速度與較好的穩定性。對于條碼無污損及未發生形變的包裹，在不同轉速下，平均識別時間為0.86 s，平均分揀時間為1.71 s。對于條碼污損與形變程度較高的包裹，在不同轉速下，平均識別時間與分揀時間為0.91、1.73 s。表明該系統對異形包裹的適應性較強，掃描分揀速度較快。但攝像頭僅有30幀/s，導致分揀平臺轉速提高、首讀率下降。

由表4實驗結果可知，條碼誤碼率均為0.00%。將表4數據與表3對比，可得出該系統對光線的適應性與穩定性較強，對識別時間與分揀時間的干擾較小，但對首讀率有較大影響。其原因是受限于攝像頭參數和遮光條件使條碼難以識取的影響，導致首讀失敗。

表3 自然光條件下實驗結果

Tab.3 Experimental results under natural light

表4 遮光條件下實驗結果

Tab.4 Experimental results under blackout condition

4 結語

1）針對現有掃描分揀設備的不足，設計研制了異形包裹自動掃描分揀設備，對傳送帶進行結構改進，增加了分揀平臺及可視底部的掃描區，填補了快遞識別率、分揀效率與經濟成本不能達到雙優的空缺。

2）通過物流生產線的仿真模擬，測得本設備對各類包裹的識別率可達100%，對于異形包裹平均分揀時間可穩定在1.78 s，具有良好的穩定性和準確性，驗證了該系統的可行性，為包裹掃描分揀提供了新方法。

3）后期將改善在分揀平臺高速旋轉時攝取到的畫面的穩定性，以提高首讀率與識別時間，并且在黑暗條件下進行深入改進與研究，以增強系統對不同光強環境的適應性。

[1] 秦開涌, 胡業發, 丁毓峰. 條形碼技術在生產信息采集系統中的應用[J]. 計算機工程與應用, 2005, 41(23): 206-208.

QIN Kai-yong, HU Ye-fa, DING Yu-feng. Application of Bar Code Technology for Manufacture Information Capture System[J]. Computer Engineering and Applications, 2005, 41(23): 206-208.

[2] 李心萍. 2021年快遞業務量預計達1085億件[N]. 人民日報, 2022-01-07(007).

LI Xin-ping. Express Delivery Business Volume is Expected to Reach 108.5 Billion Pieces in 2021[N]. People's Daily, 2022-01-07(007).

[3] 張佳寧, 劉芳. 快遞包裝低碳化的設計思考[J]. 包裝工程, 2014, 35(4): 82-85.

ZHANG Jia-ning, LIU Fang. Considerations on Express Packaging Design with Low Carbon Content Material[J]. Packaging Engineering, 2014, 35(4): 82-85.

[4] 陳彥卿, 龐玲. 基于綠色理念的快遞包裝設計趨勢研究[J]. 生態經濟, 2022(12): 216-220.

CHEN Yan-qing, PANG Ling. Research on the Trend of Express Package Design Based on Green Concept[J]. Ecological Economy, 2022(12): 216-220.

[5] 康小偉. 物流自動分揀系統的現狀和應用前景探討[J]. 中阿科技論壇(中英文), 2020(12): 73-75.

KANG Xiao-wei. Discussion on Current Situation and Application Prospect of Logistics Automatic Sorting System[J]. China-Arab States Science and Technology Forum, 2020(12): 73-75.

[6] 康小偉. 物流自動分揀系統的現狀和應用前景探討[J]. 中阿科技論壇(中英文), 2020(12): 73-75.

KANG Xiao-wei. Discussion on Current Situation and Application Prospect of Logistics Automatic Sorting System[J]. China-Arab States Science and Technology Forum, 2020(12): 73-75.

[7] 李明, 吳耀華, 吳穎穎, 等. 人工與自動化雙分揀區系統品項分配優化[J]. 機械工程學報, 2015, 51(10): 197-204.

LI Ming, WU Yao-hua, WU Ying-ying, et al. Items Assignment Optimization for Double Picking Zones with Manual Picking System and Automated Picking System[J]. Journal of Mechanical Engineering, 2015, 51(10): 197-204.

[8] 李橙, 衛星, 周游, 等. 基于激光視覺引導的智能物流分揀機器人控制研究[J]. 激光雜志, 2022, 43(8): 217-222.

LI Cheng, WEI Xing, ZHOU You, et al. Research on Intelligent Logistics Sorting Robot Control Based on Laser Vision Guidance[J]. Laser Journal, 2022, 43(8): 217-222.

[9] 汪鳴, 陸成云, 劉文華. “十四五”物流發展新要求新格局[J]. 北京交通大學學報(社會科學版), 2022, 21(1): 11-17.

WANG Ming, LU Cheng-yun, LIU Wen-hua. New Requirements and New Development Dynamic of Logistics in the 14th Five-Year Plan[J]. Journal of Beijing Jiaotong University (Social Sciences Edition), 2022, 21(1): 11-17.

[10] 朱建鴻, 劉歡. 基于線陣CCD的手持式掃描與識別系統設計[J]. 儀表技術與傳感器, 2016(10): 37-40.

ZHU Jian-hong, LIU Huan. Design of Handheld Scanning and Recognition System Based on Linear Array CCD[J]. Instrument Technique and Sensor, 2016(10): 37-40.

[11] 袁宏偉. 攝像機標定與畸變圖像矯正算法的設計與實際應用[J]. 數碼世界, 2018(12): 68-69.

YUAN Hong-wei. Design and Application of Camera Calibration and Distorted Image Correction Algorithm[J]. Digital World, 2018(12): 68-69.

[12] 汪卿, 徐國祺, 邱雨欣, 等. 基于單片機的環境感知自動花架設計[J]. 森林工程, 2021, 37(1): 53-58.

WANG Qing, XU Guo-qi, QIU Yu-xin, et al. Design of Environment Sensing Automatic Flower Frame Based on SCM[J]. Forest Engineering, 2021, 37(1): 53-58.

[13] 繆偉志, 陸兆納, 王俊龍, 等. 基于視覺的火災檢測研究[J]. 森林工程, 2022, 38(1): 86-92.

MIAO Wei-zhi, LU Zhao-na, WANG Jun-long, et al. Fire Detection Research Based on Vision[J]. Forest Engineering, 2022, 38(1): 86-92.

[14] KONG Hui, AKAKIN H C, SARMA S E. A Generalized Laplacian of Gaussian Filter for Blob Detection and Its Applications[J]. IEEE Transactions on Cybernetics, 2013, 43(6): 1719-1733.

[15] 安勃翰, 裴亮, 楊文將. 基于混合高斯模型和模板匹配的目標測速[J]. 計算技術與自動化, 2022, 41(3): 1-5.

AN Bo-han, PEI Liang, YANG Wen-jiang. Target Velocity Measurement Based on Gaussian Mixture Model and Template Matching[J]. Computing Technology and Automation, 2022, 41(3): 1-5.

[16] 黎達, 邢艷秋, 黃佳鵬, 等. 基于雙目立體視覺SLAM的林下實時定位[J]. 中南林業科技大學學報, 2021, 41(2): 16-22.

LI Da, XING Yan-qiu, HUANG Jia-peng, et al. Real-Time Positioning in Forests Based on Binocular Stereo Visual SLAM[J]. Journal of Central South University of Forestry & Technology, 2021, 41(2): 16-22.

[17] 黃書海, 殷建平, 祝恩, 等. 基于局部透視變換的圓柱體側表面PDF417條碼矯正方法[J]. 計算機工程與科學, 2012, 34(9): 93-97.

HUANG Shu-hai, YIN Jian-ping, ZHU En, et al. A Rectification Method Based on Local Perspective Transformation for PDF417 Barcode Upon Cylinder Side Surface[J]. Computer Engineering and Science, 2012, 34(9): 93-97.

Development of All-directional Automatic Scanning and Sorting System for Irregular Packages

SUN Shu-faa,WU Shengb, LAN Qiao-yana,LIU Songc,ZHAI Wan-ruia,YAO Fa-xina

(a. College of City and Transportation, b. College of Mechanical and Electrical Engineering, c. College of Mechanical and Electrical Engineering, Harbin 150040, China)

The work aims to develop an all-directional automatic scanning and sorting system for irregular packages, in order to adapt to the diversified shapes of express packages and the irregular posting of sorting labels, improve the unmanned operation and environment-friendly performance of logistics sorting links, and reduce the sorting cost. In the system, the structure of the existing logistics transmission device was improved and the rotary sorting platform and the glass plate embedded conveyor belt were designed. Through Solidworks simulation software, the overall model was constructed and scene simulation was carried out. Multi-thread ROI template tracking algorithm and Blob detection algorithm based on OpenCv4.5.4-Python and Zbar was developed, which was combined with Gaussian filtering, template matching and perspective transformation to obtain bar code information. A physical prototype of the all-directional automatic scanning and sorting system for irregular packages was built based on the output PWM of STM32F407ZGT6. The experimental results showed that the average recognition time for irregular packages was 0.91 s, and the average sorting time could be stable at about 1.78 s. The system can scan the package bar code in an all-round way without dead angle, and the accuracy can reach 100%, which has good stability and accuracy.

irregular package; sorting platform; computer vision; automatic scanning and sorting

TH69；TP23

A

1001-3563(2023)21-0229-08

10.19554/j.cnki.1001-3563.2023.21.028

2023-02-01

國家級大學生創新創業訓練計劃項目（202210225087）；黑龍江省自然科學基金項目（LH2020C052）

責任編輯：曾鈺嬋