基于視覺識別技術的智能裝車作業流水線設計

文/俞嘉浩 倪衛紅 趙成國 趙俊朋 江文歆

隨著“智慧物流”時代的到來，視覺識別技術的研究與應用越來越引起物流工作者的重視。裝車作業作為物流活動的起始環節，常常會被人們所忽視，實際上，一個高效率、智能化的裝車作業流水線對于衡量企業物流服務水平有著重要意義。

裝車作業流水線有三個關鍵環節：包裝缺損檢測、暴力作業識別、最優裝車方案規劃。在包裝缺損檢測環節，韓曉健、趙志成提出的利用卷積神經網絡與傳統數字圖像處理辦法相結合的方式，不僅實現了圖像特征的自動提取，更提高了物體表面裂縫的識別率，能夠成功定位裂縫的位置以及裂縫的大小，該算法在建筑學上的應用，對于我們在物流包裝檢測方面的應用具有很大的啟發與借鑒意義。

在暴力作業識別環節，過去主要的識別方法包括基于多尺度合成算法的物流暴力行為識別法、基于支持向量機算法的物流暴力行為識別法和基于K均值聚類算法的物流暴力行為識別法，但是這些方法由于準確的暴力行為特征獲取得不明顯，因此識別的準確性不高。尚淑玲提出了一種基于計算機視覺、利用小波包分析的方法，對物流過程中的暴力行為進行有效識別。此法的識別準確率遠高于傳統的識別方法，但是仍有較大的提升空間。

在最優裝車方案規劃環節，重點是獲取到產品包裝的尺寸信息。國內早期出現了基于光電掃描方式的測量架，但該方法不僅效率低下，且測量精度過于依賴高性能硬件；廣州市西克傳感器公司研發的DWS系統，利用激光或光柵式體積掃描系統測量包裹體積，但是該設備對環境要求比較高，且成本昂貴；堆疊貨物體積測量系統主要應用于航空貨運，在物流領域難以實現廣泛的應用。

基于此，本文以裝車流水線為研究對象，通過運用深度學習、卷積神經網絡、雙目視覺等技術，設計了基于視覺識別技術的智能裝車作業流水線，提升了企業的整體物流服務水平。

一、裝車作業流水線的現狀及問題

1.貨品包裝完好性不足

大部分企業對于包裝的設計，往往從生產角度出發，對運輸包裝并不十分重視。在商品從生產出來到裝車的過程中，往往會出現由于沖撞、震蕩或者其他不可抗因素影響導致的箱體破損、褶皺變形、密封不完全等現象。由于鮮有企業會要求裝車工人對貨品包裝進行檢查、對不合格的產品包裝進行返工或回收廢棄處理，因此經常會產生商品破損或收貨后客戶不滿意而引發的商務糾紛帶來的經濟損失，也會影響到企業服務水平在市場當中的口碑。據不完全統計，我國物流業每年因包裝問題而產生的損失達到百億元。為了保證物流運輸的質量、確保物體包裝的完好性，一個完善的包裝檢測系統顯得格外重要。

2.裝車工人暴力作業

雖然現在大部分行業在裝車時采用托盤，通過叉車進行裝車作業，但在一些特殊行業，如快遞業，依然需要大量的人工對貨品進行分揀和裝車。當出現分揀的貨物數量較多、員工疲勞作業、企業監管不力等情況時，為了追求效率，許多員工容易出現野蠻裝車、暴力作業的情況，摔、砸、拋、扔、踢，甚至坐在包裹上。對于一些易碎物品和貴重物品，很難在暴力作業后幸存，而對于一些危險品，更是會產生無法預估的損失。由于物品損壞而引發的糾紛問題已成為消費者投訴的重災區。為了提高物流服務的質量和水平，整治員工暴力作業勢在必行。

3.貨品碼放不合理，箱體空間利用率低

現階段人工裝車作業時，裝車工人大多憑經驗和主觀判斷進行貨物的碼垛。一方面，工人在規劃裝車方案以及發現不合理裝車進行調整的時候，容易浪費大量時間，使得整體堆垛效率低下；另一方面，不合理的貨品碼放使得箱體空間利用率低，且容易造成貨物或包裝擠壓變形等現象。現代物流對貨物幾何尺寸信息的利用率較低，目前市場上主流的物品打包算法采用事先在系統內輸入產品參數，在獲取訂單時根據事先輸入的參數進行最優裝車方案計算。這個方法在物品包裝大小比較規則、產品尺寸種類不多的情況下具有良好的效果，然而在包裝尺寸大小不一的快遞業中，很明顯此法難以行得通。因此，需要一個能夠快速獲取包裝尺寸信息的系統，實時構建預設模型，計算出最優裝車方案。

二、視覺識別技術在裝車作業流水線上的應用

近年來，視覺識別技術不斷發展，它利用計算機視覺系統軟件和圖像攝取裝置模擬人類的視覺功能，通過提取被攝取目標的圖像特征然后與預先存儲在數據庫中的特征集進行對比或者對測量現場的目標信息進行數字化處理，將識別出來的結果上傳給控制系統，進而發出相應的動作指令，以實現對作業現場的測量、監督和控制。圖像處理與識別的基本過程，如圖1。

1.包裝缺損檢測

（1）基于深度學習的產品包裝檢測

產品的外包裝檢測，主要在于檢查包裝是否出現褶皺變形、密封不完全、箱體破損等現象。針對這些問題，選取裂縫檢測以及包裝邊緣形狀檢測作為檢測的項目，基于深度學習與神經網絡技術，結合計算機視覺，通過CCD相機捕獲被測物品的位置與坐標信息，同時獲取相應的物品圖像；然后通過圖像預處理，對獲取的圖像根據圖像本身的缺陷和具體的研究目的而采取的一些圖像增強、復原等措施。最后根據所獲得的測量圖像和數據，進行特征提取，形成特征向量，為最后的決策和判斷提供主要的依據。

圖1：圖像處理與識別的基本過程

圖2：雙目視覺原理圖

（2）圖像的預處理

在采集被測物品圖像信息的過程中，圖像信息容易被外部的噪聲、攝像機的輕微抖動、光學散焦等因素的影響，出現圖像模糊、質量不理想的情況，此時就需要對原始圖像進行最優化描述。盡管現在大多數圖像采集設備像素較高，采集到的圖像清晰、細節完整，但仍不免夾雜有圖像噪聲。由于在裂縫提取過程中這些噪聲的影響較大，為了得到清晰的圖像畫面，需要使用圖像濾波算法對圖像去噪，通常采用中值濾波與雙邊濾波作為圖像非線性濾波器，兩者均具有保邊去噪的功能。

（3）圖像的分割和特征提取

為了便于之后的處理，往往會進行圖像分割以獲取圖像中有價值的信息，這是從圖像處理到圖像分析的關鍵步驟。現有多種圖像分割方法，我們選用邊緣檢測分割方法，邊緣有方向和幅度兩個特性，通過邊緣檢測算子對圖像區域進行檢驗。沿邊緣走向的灰度變化呈階躍形，邊緣的位置對應一階微分幅度較大的點，同時也對應二階導數的過零點，因此利用梯度最大值或二階導數過零點提取邊界點就成為一種有力的手段。我們選用Canny邊緣檢測算子進行檢測，Canny算子的實際邊緣與檢測到的邊緣位置之間差距最小，不丟失重要邊緣的同時能保證其檢測的最優性。

進行圖像分割之后，需要對圖像之中的裂縫進行識別定位，將圖像與通過深度學習與神經網絡訓練出來的裂縫識別模型進行比較，如果分割后的圖像中存在裂縫，則將裂縫信息提取出來，輸出裂縫圖像。同時將該物品的位置信息傳遞給后方的揀選系統，及時將該物品取出，以便進行返工或者回收廢棄處理。

2.暴力作業識別

（1）卷積神經網絡

卷積神經網絡是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一。卷積神經網絡的結構主要包含卷積層、池化層、全連接層和Softmax回歸層。卷積層的神經元能從前一層輸入中提取更高層次的特征，得出特征圖，并通過池化層進行降維，減少數據冗余，最后通過全連接層和分類器進行分類識別。

（2）基于卷積神經網絡的暴力作業識別

現階段有許多基于卷積神經網絡的動作識別方案，例如：

①基于多尺度信息融合和深度學習的人體行為識別，通過構建多個深度網絡，組成并行結構來研究深度視頻的人體行為識別。該方法優點在于不依賴人工設計特征，不需要對數據進行復雜預處理，流程簡單，對于大幅度的、數據集中行為差異較大的行為識別率高達98%。但是該方法對于動作幅度較小，數據集中行為差異不大的行為的識別正確率較低。

②為了同時滿足大規模數據集的計算與小幅度動作的識別，提出了一種基于雙層核極限的學習機與深度學習的動作識別算法。該算法分為兩層，第一層計算手工特征和深度學習特征，第二層訓練分類器，將預測得分映射值最終的動作分類。手工特征采用的是密集軌跡特征，深度學習特征則是基于運動信息的卷積神經網絡，最后利用核支持向量機的泛化能力將二者進行融合。該算法在小幅度動作識別上的準確率高于同類算法，且需要的訓練時間遠小于其他算法。

上述兩種算法，可以很好地應對物流中暴力作業的檢測需求，無論是大幅度的扔、踢、踩等動作，還是小幅度的違反操作規范的手部動作，都可以分別應用這兩種算法很好的識別出來，且對于特征的選取簡單、訓練時間短，能夠快速投入使用。但是這兩種算法存在各自的局限性，如果能夠將兩個算法進行融合和優化，在物流領域的應用前景值得期待。

3.最優裝車方案規劃

（1）雙目視覺原理

雙目視覺基于視差原理，通過對成像設備從不同位置獲取的多幅被測目標的二維圖像信息進行分析，根據對應點之間的位置偏差計算得出被測目標的三維尺寸信息。雙目視覺的原理，如圖2。

其中，B是兩臺攝像機投影中心的距離；f是攝像機的焦距。當待測物體進入雙目攝像機拍攝區域時，設其上某一點的空間坐標為P(x,y,z)，其在左右圖像中點的坐標分別為Pleft=(Xleft,Yleft)和Pright=(Xright,Yright)，因為兩攝像機在同一平面，所以待測物體在兩個攝像機中的圖像坐標Y是相同的，即Y=Yleft=Yright，因此可得其三維坐標為:其中因此，任一相機像面上的任意一點只要能在另外一個相機像面上找到對應的匹配點，就可以確定該點的三維坐標。

（2）基于雙目視覺的最優裝車方案規劃

在選取好合適的位置架設攝像頭后，首先要做的就是對相機進行標定。標定的目的是獲取相機的內參（焦距、圖像中心、畸變系數等）和外參（旋轉矩陣與平移矩陣，用于對齊兩個相機）。為了達到更好的效果，選用工業級的玻璃面板能夠獲取更高的標定精度。然后進行雙目矯正，目的是為了消除參考圖與目標圖之間在Y方向的差異，只保留在X方向上的不同，提高視差計算的準確性。隨后采取雙目匹配獲取視差圖，借助雙目圖像進行立體校正后獲取重投影矩陣，恢復出空間點的深度信息，求得點的空間坐標，并對點云數據進行可視化操作，即三維重構以尋找一種拓撲連接關系，逼近被測物體的原始曲面，在這一步就可以較好地還原物體的空間形狀和結構。最后一步就是根據前面幾步中獲得的視差、內參、基線計算實際深度。獲取幾何尺寸的流程圖，如圖3。

圖3：幾何尺寸獲取流程圖

當待測物品從攝像頭前通過時，系統通過上述流程，在短時間內快速反應，獲取物品的尺寸信息，并且傳入計算機內，建立預設模型。然后根據尺寸大小、貨品材質、重量等信息，通過一定的算法，計算得出最優裝車方案。

三、結語

針對當前物流行業智能化的要求，本文基于視覺識別技術的原理和方法，設計了智能裝車作業流水線并對其中的關鍵部分進行了研究。但是外界環境的改變也會影響其識別的穩定性，因此，在應用的過程中，需要根據現場實際情況及時地進行相應的系統設計和調整。此外，為了提高裝車作業的效益，以下幾個方面也值得我們關注：

1．改進物流包裝技術。降低破損包裝出現的概率，減少因為包裝問題而產生的經濟損失和時間浪費。

2．包裝標準化。使用統一的標準化包裝，不僅能夠便于貨物的碼放，提高物流效率，還能節約包裝材料，降低物流成本。

3．規范工人作業行為。建立相應的賞罰與監督機制，定期進行操作培訓，避免出現暴力作業現象。

4．健全物流人才培養機制，既要注重理論培養，也要加強實踐創新教育，整體提升物流從業人員素質。

我們認為，隨著“智慧物流”的深入發展，視覺識別技術必將會在更多的物流環節得到應用。