圖像自動識別技術在物流自動化中的研究與應用現狀分析

劉 斌，程方毅，龔德文

（1.華南理工大學聚合物成型加工工程教育部重點實驗室//廣東省高分子先進制造技術及裝備重點實驗室//聚合物新型成型裝備國家工程研究中心，廣州 510641；2.廣東昌恒智能裝備科技有限公司，廣東東莞 519000）

0 引言

近年來，電商市場的火爆推動了物流行業的快速發展與不斷進步，市場對快件分揀的要求也越來越高。分揀識別是自動分揀系統中最為耗時的一個環節，其分揀的效率和準確率至關重要。高效、精準地分揀識別一直是物流自動化領域研究的熱點和難點。

自動識別技術是信息數據自動識讀、自動輸入計算機的重要手段和方法，其在物流管理工作中的合理應用，可以有效提高物流管理工作的準確性與高效性，實現了物流管理的信息化、現代化發展[1-2]。其中，條形碼成本低、識別速度快，是目前物流行業使用最普遍的信息載體。從發展趨勢來看，越來越多的廠商將圖像識別技術應用于物流自動化中與條形碼識別技術一并使用，提高自動分揀識別的準確率。本文基于收集整理的自動識別技術在物流自動化的應用特點，總結各種技術的優缺點及適用范圍，重點探討圖像自動識別技術在物流自動化中的研究與應用現狀，以期為構建更快速、更準確、更智能的自動分揀系統提供借鑒。

1 條形碼技術

1.1 一維條形碼技術

一維條形碼偏重于“標識”商品，但只在一個方向（通常是水平方向）表示信息，而不在垂直方向表示任何信息，為了便于閱讀器的對準，條碼會有一定的高度，條碼的下方還會有英文字母或阿拉伯數字[3]。幾種常見的一維條形碼式樣如圖1 所示。其中39 碼長度沒有限制，允許雙向掃描，具備自我檢查能力，能用字母、數字和其他一些符號共43個字符表示，主要應用于工業生產線和圖書的自動化管理。128碼長度可自由調整，但最多不超過232個字符，允許雙向掃碼，可自行決定是否要加上檢查碼，具有3種不同的編碼類型，可提供標準ASCII中128個字符的編碼使用，常應用于流通配送標簽。codabar碼長度可變，不用校驗碼，條碼字符集僅20個字符，常用于倉庫和航空快遞包裹的跟蹤管理。2of5碼沒有檢驗位，只可以編碼0～9十個數字，主要應用于包裝、運輸等。影響碼制選擇的因素有很多，在實際生產應用中，常根據所需條碼字符、印刷條件和識讀設備等因素來選擇需要的碼制。

圖1 幾種常見的一維條形碼式樣

一維條形碼具有可靠準確、識別速度快、成本低、可手動輸入、設備簡單與易于制作等特點，是一種廉價且高效的識別技術。一維條形碼在物流自動化的應用有效地提升了各個環節實施過程中的輸入速度，而且成本較低，具有較高的準確度，是目前物流自動化領域最常見的信息載體[4-5]。但是，一維條形碼容量小，通常只表示物品的基本信息（如訂單號等），如果需要貨物更詳細的信息，必須依賴數據庫或通訊網絡的存在，且只具備校驗功能而不具備糾錯能力，破損或污染后可讀性較差。

1.2 二維條形碼技術

二維條形碼偏重于“描述”商品，在水平和垂直方向的二維空間存儲信息，不但具有識別功能，而且可顯示更詳細的商品內容[6]。幾種常見的二維條形碼式樣如圖2所示。

圖2 幾種常見的二維條形碼式樣

其中PDF417 碼可表示數字、字母、二進制數據和漢字，具有9個等級的糾錯能力，糾正等級最高時，即使條形碼污損50%也能被正確讀出，常應用于海關報關單、貨物的運輸和郵遞等。Code49碼可表示全部的128個ASCII字符，常應用于食品、工業等。QR碼呈正方形，在左上角、左下角和右上角各有一個像“回”字的定位圖像，可實現任意角度的高速識別，編碼字符集包含數字、字母、中國漢字和日本漢字，具有4 個等級的糾錯功能，常應用于電子票務和B2B 領域等。Data Matrix碼外觀是一個由許多小方格所組成的正方形或長方形符號，編碼字符集包括全部的ASCII 字符及擴充ASCII 字符，只需要讀取資料的20%即可精確辨讀，很適合應用在條碼容易受損的場所，常應用于高溫、機械剝蝕等環境。

二維條形碼具有信息容量大、編碼范圍廣、容錯能力強、可加密、可靠性高與成本低、易制作等特點，是一種較為經濟、實用的自動識別技術。二維條形碼具備立體、龐大的信息存儲和表達功能，可以對物品進行詳細地信息描述而不依賴數據庫或通訊網絡單獨存在，具有檢驗功能和糾錯能力[7]。二維條形碼在物流自動化中的應用大多體現在包裹的跟蹤、追溯等環節。

在條形碼識別技術的研究中，針對條形碼損壞或污染時的識讀一直是主要的研究方向。霍國義[8]提出了一種基于像素補充的一維條形碼識別技術，獲取一維條形碼的非線性特征，通過離散變化法對破損的一維條形碼進行像素差值補充，從而提高殘缺一維條形碼的識別率。何紅莊[9]以矩不變為特征的模式識別理論為依據，開發的一維條形碼譯碼系統不僅能對輕度污染與殘缺的、甚至任意角度有畸變的一維條形碼進行識讀。董華冰[10]提出了一種基于一維條形碼投影曲線的識讀方法和基于全局和局部的歐氏距離算法，能對低分辨率、模糊的一維條形碼進行正確識讀，并能對識讀錯誤的條形碼字符進行修正。屈衛鋒[11]開發的一款二維條形碼的快速識別軟件，可以實現對復雜背景下受噪聲影響、光照不均影響、畸變影響的低質量二維條形碼的快速有效識別。劉震[12]改進了二維條形碼的Reed-Solomon 糾錯算法，與傳統的Reed-Solomon 算法相比，改進后的算法在譯碼速度和準確率上均有所提升。侍倩倩[13]利用人工神經網絡中具有聯想記憶功能的離散型Hopfield神經網絡實現了二維條形碼的復原，利用模板匹配的思想實現了污染二維條形碼的識別。

2 無線射頻識別技術

無線射頻識別（RFID）技術，作為一種新興的自動識別技術，在工業自動化領域已得到廣泛應用。無線射頻識別技術主要由標簽、天線和識讀器3部分構成，其原理如圖3所示。

圖3 FRID技術原理圖

在RFID系統中，信息通過識讀器（又稱閱讀器）的天線發送出一定頻率范圍的標簽信號。當標簽進入磁場區域時，天線會產生感應電流，從而使得標簽獲得能量，標簽將自身編碼等信息通過載波信號發送出去。識別器會收到信號并對其進行解碼，解碼后的信息或數據被送至計算機主機進行處理，從而完成信息采集、信息識別、信息解碼和信息傳輸全過程[14]。

RFID 技術的突出特點在識別環節。比較其他識別技術，具有無需接觸、識別速度快、適應工作環境范圍廣、批量處理等優點，是一種昂貴而高效的自動識別技術[15]。FRID 雖然可以節省人力成本，并在較為惡劣的環境下完成對相關物流信息的大量存儲和準確掃描，但是，使用RFID技術的設備投入是巨大的，需要給所有物品粘貼上電子標簽，國外有這類處理能力的企業也是屈指可數的[16]。目前，國內快遞行業普遍都使用條形碼攜帶信息，很少使用電子標簽，這對于國內數目龐大的快件量也是更加經濟實惠的方式。

3 圖像識別技術在物流自動化的應用

隨著人工智能的不斷發展，圖像識別技術在物流自動化中也得到了廣泛應用，其應用主要有圖像分類和OCR光學字符識別兩個方向。其中，圖形分類技術確定產品的類別屬性信息，OCR 技術識別條碼下方的英文字母和數字。目前，圖像分類技術及OCR技術在自動分揀中常作為條形碼識別的補充模塊，當條形碼識讀出現異常時，由圖像分類技術或OCR技術獲取產品信息，結合條形碼識讀結果，確定產品即將流向的分揀口。

3.1 圖像分類技術

現如今，圖像識別技術發展迅速，特別是在工業領域，圖像分類技術已被大規模應用。如周院[17]基于深度學習的CNN 網絡模型實現對絲狀真菌圖像類別的識別。包青平[18]借助深度學習實現對服裝長度、寬松度以及各部件等細節要素的識別。曾平平等[19]提出了一種適用于水果圖像分類識別的卷積神經網絡結構，識別準確率可達98.44%。劉儼嬌[20]基于AlexNet深度模型和遷移學習技術，針對10種多肉植物和9種生石花的分類，分別實現了95.3%和87.3%的正確率。郜翔[21]以深度模型、遷移學習和多任務學習為理論指導，在102類花卉圖像數據集上，達到了96.27的分類準確率。在深度學習的發展歷程中，ImageNet 數據集[22]起了巨大的推動作用，ImageNet 是目前深度學習應用較廣的一個領域，具有1 400 萬幅圖片，大約22 000 種類別，針對ImgaeNet 的一個大約120 萬幅圖像、1 000種類別的子集，經過訓練后的模型最高可以達到90%以上的準確率。

以某公司為例。在一個海外飲品自動化物流項目中，已有將圖像分類技術作為條碼自動識別技術的一個補充模塊來進行自動分揀的應用案例，如圖4所示。

圖4 飲品自動化物流項目現場照片

其產品為整箱封裝的啤酒、牛奶、礦泉水等，產品種類有限，且箱子外表面有顏色或紋理差異。當條碼由于種種原因無法正確識讀時，可經由圖像分類確定物體的類別，通過PLC 控制物品流向指定的分揀道口，極大地提高了自動分揀識別的準確率，其圖像分類技術應用流程如圖5所示。

其流程主要可分為3步。

（1）第1 步，獲取數據集。利用工業相機自動采集大量圖像數據，按比例劃分為訓練集和驗證集，使用tfrecords[23]數據格式存儲圖像數據。tfrecords格式可以統一不同的原始數據格式，對不同的屬性實現更加有效的管理，并且極大節省內存開銷，一個保存了1 000個100×100圖像數據的tfrecords文件，大小僅為28.6 MB。

圖5 圖像分類技術應用流程

（2）第2 步，得到模型文件。從tfrecords 文件中讀取數據，將訓練集和驗證集批量輸入卷積神經網絡，開始訓練，將訓練得到的神經網絡模型持久化，方便反復調用。在將網絡模型保存為離線文件時，只需要知道如何從神經網絡的輸入層經過前向傳播計算得到輸出層即可，不需要知道類似變量初始化、模型保存等輔助節點的信息。

（3）第3 步，自動化分類識別。工業相機自動獲取圖像，將原始圖像數據經過數字圖像處理后輸入離線模型文件，經過前向傳播計算得到輸出結果。輸出結果為一維矩陣，其每一列的值代表著圖像為每種類別的概率，根據置信度確定概率最大的為所屬類別。

物流自動化中圖像分類技術應用框架構建起來雖然較為容易，但是在實際工程應用中，針對不同的類別，通常需要重新獲取數據集，構建卷積網絡，訓練模型，且輸出類別結果無法自動判斷對錯，只能通過設置置信度判斷，即使將任意圖像輸入識別模型也會給出限定種類內的識別結果。

3.2 OCR光學字符識別技術

光學字符識別（OCR）[24]，簡單來說，是掃描文本數據，進行圖像處理和分析，從而識別字符的一種自動識別技術。日益成熟的人工神經網絡模式識別方法，為OCR字符識別技術的研究提供了一種新的手段，與一些傳統技術相比，該方法具有快速、精準、容錯性強和具有自主學習能力速度等優點[25]。與以往的符號邏輯系統完全不同，人工神經網絡通過模擬人腦處理信息的方式來進行特征提取，從而為OCR字符識別技術的發展開辟了新的方向。

在物流自動化的實際應用中，通常會將包含有條形碼和由英文字母和數字組成的標識信息張貼在貨物外包裝表面，通過對產品信息進行自動讀取、處理，從而保證在輸送、存儲的過程中對貨物進行有效管理。OCR 識別技術通過識讀條碼下英文字母和數字直接獲得條碼的標識信息。孫懷遠[26]等基于機器視覺和OCR識別技術構建的檢測系統實現對藥品包裝瓶批號的快速、自動檢測。彭曉輝[27]研究了一種檢測速度快、準確率高、魯棒性好的IC卡字符識別系統，可以對高速運動中的噴碼字符進行可靠的檢驗。周鳳香[28]對應用于空調生產線的字符識別系統進行研究與開發，實現了空調生產流水線上的標簽字符的自動識別。李了了[29]利用機器視覺和字符識別技術實現對產品編號或編碼字符的自動識別。郭佳寅[30]研究了一種基于OCR 技術的自動采集包裝箱上的噴碼信息的采集系統，并應用于物流自動化系統中。張超[31]開發的自動識別系統可在玻璃纖維生產自動化物流系統中對同一幅照片上的鏤空字符與二維碼進行自動識別，并已在實際工程中應用。在現在的實際生產中，越來越多的自動識別系統選擇同時識別條碼信息和字符信息，提高識別的準確率。物流自動化領域中康耐視（Congnex）、海康威視（HIKVISION）、基恩士（KEYENCE）等機器視覺廠商也都在自家的智能掃碼產品中添加了OCR功能，OCR技術在物流自動化領域中的應用前景越來越廣闊。

光學字符識別的過程需要使用人工神經網絡技術進行離線訓練和在線識別。離線訓練就是創建訓練文件，對訓練樣本進行濾波、增強、字符分割等一系列預處理后，將獲得的字符保存在字體訓練文件中；在線識別就是將采集到的圖像進行預處理，使用離線訓練好的分類器與字體文件進行識別，從而將置信度較高的字體作為識別結果輸出。OCR 字符識別流程如圖6所示。

圖6 OCR字符識別流程

在物流自動化中，需要識別的字符僅為英文字母和阿拉伯數字，個數有限，屬于小字符集，訓練一次模型，即可運用在大部分場景中。隨著對深度學習的深入研究，文字識別的準確率越來越高。

OCR 技術的難點主要集中在文本定位上[32]。當前的文本定位方法大致有兩種：（1）基于區域的定位。設定圖像區域像素具有一致性的特征，如Kim 等基于RGB 彩色空間聚類來實現對文本的定位。（2）基于邊緣的文本定位。假設文字邊緣清晰與背景有很強的對比度，如Lyu 等使用Sobel 濾波器提取圖像的邊緣，分析邊緣特性，用投影分析方法確定文本區域。

字符分割的方法較多。（1）基于結構的分割方法。常用的有連通域分割法，該方法首先對前景像素進行掃描，使其形成連通域，然后根據設置好的條件組合和裁剪這些連通域，最后剩余下來的連通域為相應的字符圖片。（2）基于統計特征的分割方法。常用的有直方圖投影法，該方法根據相鄰字符之間具有一定的間隔來對字符進行分割，可以較為直觀地得到分割點。

4 圖像識別關鍵技術

圖像識別技術主要通過對比存儲信息和當前信息，從而識別圖像，不同圖像、不同目的的識別分析稍有不同，在此介紹其關鍵技術。

4.1 計算機視覺

圖像的自動識別主要由計算機視覺相關技術實現，其關鍵技術有圖像分割、特征提取、圖片匹配或分類等，如圖7所示。

圖7 圖像模式識別流程圖

4.1.1 圖像分割

圖像分割，就是在圖像中將物體分離出來，圖像分類通常是將整個前景物體從自動化輸送機的背景中分割出來，OCR技術則需要把字符區域從復雜背景分割出來。

目前借助各種理論模型提出的分割算法已達上千種。在對某幅圖像進行分割時，通常會結合多種方法來構建分割系統，以獲得高效、準確的分割結果。在實際工業應用中，采集到圖像的質量往往不是那么理想，通常需要對采集得到的原始圖像進行圖像預處理[33-34]，從而獲得高質量的圖像，方便后續步驟的順利進行。

（1）以QR 二維條形碼的圖像預處理為例，如圖8 所示，預處理過程為：獲取目標原始圖像--＞灰度化--＞濾波--＞二值化--＞Hough 變換--＞透視校正[35]。由圖可以看出，條形碼的自動識別較為關注目標區域的詳細信息，但是，條形碼在使用過程中很容易受到缺損、沾污等各種形式的破壞。一維條形碼不具備糾錯功能，受到破壞時可讀性較差，易造成無法識別；二維條碼雖然具備校驗與糾錯功能，可以檢查甚至糾正錯誤，但是，當破壞區域較大時，也會導致識讀錯誤。

圖8 QR碼圖像預處理過程

（2）在圖像分類過程中，輸入圖像的質量可能會影響輸出類別的置信度，從而在一定程度上影響分類結果，因此也需要圖像預處理來消除圖像不相關信息，加強可用信息。卷積神經網絡模型可以直接將原始圖像作為神經網絡輸入，但為了減少模型訓練所需時間，提高模型識別效率，通常采用227×227、100×100、32×32 等尺寸作為輸入圖像大小。以大華500 萬像素級工業相機為例，將大小為2 592×2 048 的彩色原始圖像壓縮為100×100大小的彩色圖像，結果如圖9所示。

通過使皮帶機顏色為純黑色，目標區域的分割變得更為高效和準確，且圖像分類算法更加關注圖像整體的泛化特征[36]，具有極強的抗干擾性。

（3）OCR 在進行文字識別之前的準備工作，主要為文字的定位、校正以及分割工作。

圖9 原始圖像與縮放后的圖像對比

4.1.2 特征提取

圖像的特征包含顏色、紋理、形狀和空間關系等[37-38]，特征提取是將特征點劃分為不同特征子集的過程。目前主流特征提取有固定式特征提取及自動化特征提取兩種。固定式特征提取大都是利用計算機視覺技術、光譜分析技術等各種數字圖像處理手段人為提取有效特征參數，再通過各種統計學或者機器學習方法進行實驗對比確定有效的特征參數。如郎波[39]等提出了一種基于視覺機制的多層網絡計算模型，顯示出了優秀的泛化能力。卷積神經網絡[40]由于擁有自動化提取樣本數據特征的特點，開始逐步替代固定式特征提取，但是卷積神經網絡的構建一直是一個難題，且對樣本的數量要求較高，訓練模型的運算量遠超過固定式特征提取。

4.1.3 圖像匹配或分類

圖像匹配是指從待檢測圖像中識別出與目標相同或相似的圖像區域[37]。最常用的匹配方法是模板匹配和模式識別。模板匹配形式較單一，基本是將圖像像素逐一對比，難以解決變形圖像的識別。模式識別可用于圖像檢索和分類等，將相似的、與其他圖像特征差異明顯的部分圖像分為同類，是人工智能發展的基石。

4.2 深度學習

傳統的特征提取方法需要人為進行特征提取，主要原因是在SVM[41]和BP[42]神經網絡等識別模型下，以圖片像素點作為特征輸入模型會使得特征過多，需要大量樣本數據，同時，模型難訓練、預測精度欠擬合、計算機資源占用高等。深度學習[43]中的卷積神經網絡（Convolutional Neural Networks，CNN）仿造生物的視覺感知機制構建，被大量應用于計算機視覺領域。卷積神經網絡經過一定的訓練可自行完成從圖像中抽取特征這個步驟，且能夠減少因圖像的平移、旋轉、拉伸、部分遮擋等因素造成的識別誤判[44]。如周愛明等[45]利用深度學習建立了CaffeNet蝴蝶識別模型，在識別自然環境下拍攝的蝴圖像時，成功率遠超傳統SVM方法。

自AlexNet[46]在2012年IamgeNet識別大賽奪冠后，刺激了各種利用卷積神經網絡進行圖片分類研究的發展，在此后發展出的VGGNet、GoogLeNet 等網絡模型先后以極高的精度奪冠。卷積神經網絡模仿生物的視覺感知，可以直接輸入原始圖像，通過權重共享，減少網絡中的自由參數數量，大大降低了網絡模型的復雜性，不僅具有傳統神經網絡的自適應等特點，還具有自動提取特征等特點。卷積神經網絡是由卷積層、池化層和全連接層組成，其中，卷積層與池化層起到的作用是自動提取圖片的特征，全連接層與BP神經網絡的結構是類似的。卷積神經網絡模型如圖10所示。

圖10 卷積神經網絡模型

利用卷積神經網絡的識別過程是：首先，直接將圖片數據和對應的標簽輸入到網絡模型中，無需指定圖片的特征提取方式；然后，利用反向傳播算法依據標簽和模型的預測值自動調整模型參數，提取適合的圖像特征作為分類依據。卷積神經網絡既降低了特征提取的操作難度，又避免了人為因素在特征選取過程中的誤差。

將圖像輸入訓練好的模型，可以得到圖像為每種類別的概率。當圖像受到破損或污染時，所屬正確類別的概率會有所降低，但是依然可以識別，這是因為卷積網絡更關注同一類別間的泛化特征。卷積神經網絡的發展使分類識別技術進入自動化特征提取和分類識別的階段，但是，卷積神經網絡對樣本的數量要求較高，且訓練模型的運算量遠超過手動特征提取技術。

此外，卷積神經網絡的識別效果與其深度有很大關系。深度越深，識別效果越好，但也更容易出現過擬合（即對訓練數據集的識別精度較高，而對測試數據集的識別精度較低）；如果網絡深度過淺，則容易出現欠擬合（即對訓練數據集和測試數據集的識別精度都較低）。因此，選擇合適的網絡深度、避免過擬合是構建卷積神經網絡的難點。

在實際應用中，有時使用旋轉、縮放和偏移等圖像增廣技術擴充樣本數量后，依然難以完全達到網絡模型的訓練要求，故發展出遷移學習的概念。遷移學習[47]就是直接使用其他數據集訓練好的卷積神經網絡作為網絡模型，由于這些網絡模型已經具有圖片特征提取能力（即卷積核），故只需去除原先的全連接層，再使用較小樣本數據訓練出自定義的全連接層，即可達到較高的識別精度。因此，遷移學習降低了對訓練樣本數量的要求，而識別精度卻能達到較高的水平。

5 結束語

在物流自動化領域，一維條形碼成本低、識別速度快，依然是目前物流行業使用最普遍的信息載體。隨著深度學習與計算機視覺的不斷發展，在物流自動化領域中，同時應用圖像識別技術和條形碼識別技術已是大勢所趨。其中，圖像分類技術應用框架構建起來較為容易，物品的圖像分割相對簡單，且抗干擾性較強，但是，針對不同的物品，需要重新獲取數據集，構建卷積網絡，適用于物品種類有限且圖像特征有明顯差異的環境。OCR識別技術訓練一次模型，即可運用在大部分場景，但是，復雜背景下的文本定位，仍然是當今研究的一個熱點和難點。

條形碼技術、圖像分類技術和OCR技術，既可單獨使用也可組合使用。目前來說，圖像分類技術和OCR技術通常是作為條碼識別技術的補充，但是，隨著人工智能的不斷發展，在未來的某一天，圖像分類技術和OCR技術也許會完全取代條碼識別技術。