基于深度學習的集裝箱編號識別

姚礪　李莉莉　萬燕

摘 要： 針對集裝箱編號圖像存在光照不均、背景復雜、模糊、污損、斷裂等問題，本文提出，先采用基于深度學習的目標檢測算法（YOLOv4）來實現(xiàn)集裝箱編號區(qū)域定位，接著對定位后的集裝箱編號圖像進行預處理，采用連通域分割法分割字符，然后把一個個的字符送入模板匹配算法中進行字符識別。通過理論分析以及實驗證明了本文方法的有效性，識別準確率相比其他方法明顯提高。

關鍵詞： 集裝箱編號; 字符識別; 深度學習; 模板匹配; 編號區(qū)域定位

文章編號： 2095-2163（2021）07-0095-07中圖分類號：TP391文獻標志碼： A

Container number recognition based on deep learning

YAO Li， LI Lili，? WAN Yan

（School of Computer Science and Technology， Donghua University， Shanghai 201620， China）

【Abstract】In order to solve the problems of uneven illumination， complex background， blur， stain， fracture and so on in the container number images， this paper firstly uses the object detection algorithm based on deep learning （YOLOV4） to locate the container number area， preprocesses the located container number image， and uses the connected domain segmentation method to segment the characters. Then the characters are sent to the template matching algorithm for character recognition. Through theoretical analysis and experiments， the effectiveness of this method is proved， and compared with other methods，? the recognition accuracy is significantly improved.

【Key words】container number; OCR; deep learning; template matching; location of numbering area

0 引 言

隨著國內進出口業(yè)務量的迅猛增長，集裝箱的需求量也日益增大，已然成為全球最大的運輸載體。在2020年全球集裝箱吞吐量排名前25位的港口中，中國港口位列前茅，在前8位中占據(jù)了6個席位。其中，上海為全球最大集裝箱港口[1]，盡管受到近期疫情影響，港口的總體增長依舊持平、甚至略有上漲。集裝箱的巨大吞吐量無疑會對港口造成嚴重堵塞，因此需要快速識別集裝箱編號的系統(tǒng)，從而完成對集裝箱的調度及排放。傳統(tǒng)集裝箱運輸主要靠人工識別集裝箱編號，存在易出誤差、影響進出口速率引發(fā)港口集裝箱堆積等眾多缺點，為了解決這些問題，智能集裝箱編號識別系統(tǒng)即已成為時下這一領域的熱門研究方向。但由于集裝箱編號圖像與普通的文字識別不同，存在光照不均、編號的偏轉、傾斜、扭曲、斷裂和模糊等因素，給編號的識別研究帶來不小的影響。

為了使得物流集裝箱在流通以及利用的過程中便于識別管理、單據(jù)編制和信息傳輸，國際標準化組織采用ISO6346（1995）標準，制定了集裝箱的標記、即集裝箱編號，典型的集裝箱編號圖像如圖1所示。由圖1可知，集裝箱編號是由4位字母和7位數(shù)字組成的，一個集裝箱只有一個編號，相當于人的身份證，即一箱一號，獨一無二，可以在后期運輸過程中通過編號來查找集裝箱目前的物流情況，與現(xiàn)如今利用快遞單號查詢快遞是一個道理。

現(xiàn)階段，集裝箱編號識別的關鍵技術一般包括3個部分，分別是：集裝箱編號的區(qū)域定位、集裝箱編號字符的分割、集裝箱編號的識別。眾多學者根據(jù)這3個部分展開了相關的研究，并取得了不錯的效果。其中，集裝箱編號的區(qū)域定位是整個識別的關鍵。目前，集裝箱編號區(qū)域定位分為3個方法，即：基于數(shù)學形態(tài)學[2]、基于連通域分析的方法[3]、基于邊緣與滑動窗[4]，但這些方法都會受到光照、陰影、背景復雜等的影響，導致集裝箱編號區(qū)域定位不夠準確。

近年來，深度學習發(fā)展迅速，卷積神經(jīng)網(wǎng)絡在圖像處理中展現(xiàn)出了獨特的優(yōu)勢，通過學習海量的訓練數(shù)據(jù)，逐層提取有用的特征，并自動將低層特征組合形成對數(shù)據(jù)有著更本質刻畫的高層特征，從而有利于可視化或分類[5]。Wang等人[6]采用了基于深度學習的目標檢測算法Faster-RCNN對集裝箱編號進行檢測和識別;Wang等人[7]利用改進的Faster-RCNN和區(qū)域生成網(wǎng)絡（RPN）實現(xiàn)編號檢測和識別。以上的研究成果表明，采用深度學習的目標檢測算法可以準確地定位出集裝箱編號區(qū)域，不會受到光照、背景等的影響，且定位準確率高，但基于深度學習的字符識別方法卻會因為編號斷裂或者背景復雜以及字符間距長短不一等因素影響識別率。

為此，本文結合集裝箱編號自身的特點對圖像進行標注，為了增強定位的魯棒性，采用深度目標檢測算法YOLOv4[8]對集裝箱編號區(qū)域進行定位，再進行預處理，為了提高識別準確率，文中又采用了模板匹配方法來識別編號字符。實驗結果表明，本文方法能準確快速地定位出集裝箱編號的位置，并準確識別出編號字符，抗干擾能力強。

1 基于深度學習的集裝箱編號識別方法

集裝箱編號識別系統(tǒng)的難點在于定位和識別上，如圖2所示，主要有以下幾點：

（1）集裝箱編號沒有明顯的邊緣特性，不像車牌有較清楚的邊緣，所以集裝箱編號定位比車牌定位要更加困難。

（2）集裝箱編號字符是噴刷的印刷體字符，其大小、顏色、字體以及排列方式各不相同，都會影響到字符識別的準確性。

（3）光照條件以及背景顏色的復雜性都不利于集裝箱編號的定位。

（4）集裝箱編號周圍存在大量的噪聲干擾，例如銹蝕、斷裂、污損等。

（5）集裝箱編號的周圍還存在著其他干擾，例如門鎖桿、集裝箱型號以及集裝箱大小代碼等。

基于以上問題，本文提出了基于深度學習的集裝箱編號識別的方法，取得了理想的識別效果。設計流程如圖3所示。

由圖3可知，整個流程分為3部分：編號區(qū)域定位、編號字符分割、編號字符識別。在定位階段，采用深度學習方法，此方法準確率高、速度快且具有很強的抗干擾能力。首先采集大量帶有集裝箱的圖像，然后對這些圖像中的編號區(qū)域打上標簽，做好標注作為訓練的樣本，把這些樣本送入目標檢測算法YOLOv4的網(wǎng)絡中進行訓練，得出適應集裝箱編號檢測的模型，用于集裝箱編號區(qū)域的定位。在分割階段，采用連通域分割法，此方法對斷裂、模糊以及傾斜等字符能準確分割，先對定位后的圖像進行預處理，利用連通域分割法分割集裝箱編號字符，然后對分割后的字符進行去留白處理。在字符識別階段，采用模板匹配方法，此方法準確率高，速度快，且對硬件要求不高，即把分割后的字符分成2類，字母送入字母模板中進行匹配，數(shù)字送入數(shù)字模板中進行匹配，從而完成整個編號字符的識別。

1.1 基于深度學習的集裝箱編號定位

現(xiàn)實中采集到的集裝箱編號圖像會受到光照不均、編號有污漬、破損以及編號傾斜等眾多因素的影響，此時提取集裝箱編號字符的信息有難度。

傳統(tǒng)定位方法分為3種，即：基于邊緣和滑動窗、基于數(shù)學形態(tài)學、基于連通域分析。其中，基于邊緣與滑動窗的定位方法是用邊緣檢測算子檢測出圖像中編號字符的邊緣，再結合滑動窗來找到有高區(qū)分度的字符特征實現(xiàn)集裝箱編號的區(qū)域定位。基于數(shù)學形態(tài)學的定位方法更適合用在碼頭或者堆場等背景復雜的地方。基于連通域分析的定位方法是通過最大穩(wěn)定極值（MSER）去粗區(qū)分編號字符和箱體背景，再用連通域分析篩選出編號字符所在的區(qū)域。以上3種傳統(tǒng)定位方法在清晰簡單的集裝箱圖像上，對編號定位取得不錯的效果，但當有光照影響或復雜背景影響時，都會導致定位失敗。鑒于此，本文采用基于深度學習的YOLOv4集裝箱編號定位，其技術路線如圖4所示，YOLOv4的網(wǎng)絡結構圖如圖5所示。

由圖4可知，YOLOv4定位需要訓練模型，但在訓練深度學習的模型時，需要有大量的帶標注的樣本圖像輸入網(wǎng)絡中，由于目前沒有公開的集裝箱數(shù)據(jù)集，所以需要拍攝采集大量集裝箱圖像，并對圖像進行標注。由集裝箱圖像可知，其編號具有特殊性，前面四個英文字母和后面七位數(shù)字相隔較遠，有時噴畫在兩行，字母一行，數(shù)字一行，故在進行數(shù)據(jù)標注時，把英文字母和數(shù)字分開標注，英文字母的標簽為letter，數(shù)字的標簽為number。

由于拍攝的集裝箱圖像比較大，且經(jīng)過實驗證明輸入圖像規(guī)格為608×608的定位效果較好，所以本文選擇使用608×608的規(guī)格把圖像輸入網(wǎng)絡進行訓練，且由標注步驟可知，網(wǎng)絡訓練的類別選取參數(shù)為2，即letter和number，把字母和數(shù)字分開定位，能更準確地定位出集裝箱編號區(qū)域。本文基于YOLOv4的集裝箱編號定位的基本思想是：首先，會對輸入的集裝箱圖像進行一系列的卷積和殘差堆疊操作來提取集裝箱編號的特征。其次，對最后一個特征層進行三次卷積，分別利用4個不同尺度的最大池化（13×13、9×9、5×5、1×1）進行處理，此步驟能極大地增大感受野，分離出集裝箱圖片上編號區(qū)域和背景的特征。然后，對提取出的3個有效特征層上進行上采樣后、又進行下采樣，而與此同時則進行特征的融合，產(chǎn)生3個不同尺寸像素的輸出層，分別為（19，19，21）、（38，38，21）、（76，76，21），最后一個維度為21是因為針對集裝箱圖像的特殊性，類別設為2，即letter和number。隨后對3個輸出層進行解碼操作，即把集裝箱圖像分為19×19、38×38、76×76的網(wǎng)格，每個網(wǎng)格點負責檢測一個區(qū)域。若集裝箱編號的中心落在這個區(qū)域，則集裝箱編號的位置就由該網(wǎng)格點來確定，且每個網(wǎng)格點都會生成3個先驗框，對先驗框進行調整，并利用得分排序和非極大值抑制法來篩選候選框，由于集裝箱圖像上對定位編號產(chǎn)生干擾的字符很多，所以在非極大值抑制法中的參數(shù)設置為0.2，使篩選條件更加嚴格，得到更加準確的預測框。定位結果如圖6所示。

1.2 集裝箱編號字符分割

常用的字符分割算法為投影直方圖法、邊界跟蹤法、連通域分割法等。其中，直方圖分割法[9]是計算字符圖像的投影直方圖，選取直方圖中高度小于某個閾值的點作為分割點，此方法具有局限性，對有傾斜度的集裝箱編號圖像的分割準確率較低。邊界跟蹤法[10]是尋找字符的邊界來分割字符，此方法具有很大的不確定性。

綜合前文所述，針對集裝箱編號字符圖像存在著的傾斜、字符間距長短不一等現(xiàn)象，本文選用連通域分割法對集裝箱編號字符進行分割，具有較好的準確率。

連通域分割法有2種分割方法：基于4連通域和基于8連通域。由于集裝箱編號字符會出現(xiàn)缺損、傾斜等影響分割的因素，為了更好地找全整個字符區(qū)域，本文采用8連通域的分割法。8連通域分割法是對二值化后的集裝箱編號圖像進行深度遍歷，首先找到一個黑色像素，然后對此像素周圍的8個像素進行判斷，是否被訪問過，如果沒有被訪問過，就保存到一個數(shù)組中，最后這個數(shù)組的最小X和最大X就是橫軸X上的切割位置，對不合理的切割位置進行篩選，隨后依次進行分割，得到分割后的集裝箱編號單個字符圖像，再次對單個字符圖像進行判斷篩選，是否為11個字符圖像，如不是，則統(tǒng)計高度的最大值，把異常高度的干擾物圖像去掉，留下正確的字符圖像。具體流程如圖7所示。與垂直分割法進行對比后可知該方法的優(yōu)點是可以分割傾斜的集裝箱編號圖像。

1.3 集裝箱編號字符識別

由于集裝箱編號區(qū)域定位成功，且對集裝箱編號圖像進行一系列預處理后的圖像具有簡單特征，故采用準確率高的模板匹配。字符識別時，最先想到的就是近年來流行的深度學習算法，包括CRNN、Faster-RCNN、CNN等，但由于有些字母和數(shù)字存在相似性，例如：6和G;8、0和D、C;7和1等，這些深度學習方法在識別時會有誤差。BP神經(jīng)網(wǎng)絡也是字符識別常用方法之一，但其識別的關鍵在于網(wǎng)絡參數(shù)取值比較敏感以及字符識別前的圖像處理效果，故本文采用準確率高的模板匹配算法，實驗表明本文方法識別速度快。研究得到的識別流程如圖8所示。

模板匹配是通過現(xiàn)有的模板與圖像進行比較找出所匹配的圖像，顧名思義就是模板在待檢測的集裝箱編號字符圖像左上角開始，每次都以模板左上角像素點為單位，從左到右，從上向下滑動，每次到達一個像素點，就會以該像素點的左上角為頂點從待檢測的集裝箱編號字符圖像上截取出與模板一樣大小的圖像與模板進行像素的比較運算，兩者匹配程度越高，相同的可能性越大。模板在滑動匹配的過程中，把模板和當前截取到圖像的比較結果儲存在一個矩陣R（x，y）中。設輸入圖像的大小為W×H，模板的大小為w×h，則輸出圖像的大小為（W-w+1，H-h+1）。R中的每一個位置（x，y）的值都表示以這個點為左上角頂點截取到的圖像和模板像素計算后的計算結果。

本文采用的模板匹配算法為相關系數(shù)匹配，此方法是把模板圖像和其均值的相對值，與輸入的集裝箱編號字符圖像和其均值的相關值進行匹配，1表示匹配程度高，-1表示匹配程度低，0則表示沒有任何相關性。此方法計算公式如下：

在此基礎上，研究得到算法的偽代碼參見如下。

算法：基于模板匹配的集裝箱編號字符識別算法

Begin

輸入 單個集裝箱編號字符圖像，模板

If R（x，y） = -1則兩者匹配度低

If R（x，y） = 0 [DW]則兩者沒有相關性

If R（x，y） = 1 [DW]則兩者匹配度高

輸出 識別結果

End

由集裝箱編號定位時的標注可知，本文方法一開始就把字母和數(shù)字分開，防止字母和數(shù)字存在相似性從而引起識別錯誤。在進行模板匹配前，建立模板庫，并對模板進行歸一化處理，對字母和數(shù)字分開匹配，縮短了每個字符匹配的時間，從而提高了模板匹配的速度。由于在分割后進行字符圖像的處理時，研究發(fā)現(xiàn)1的寬高比特殊，所以1不放入識別，直接就能判斷，此方法避免了7和1的識別錯誤。本文的識別算法解決了集裝箱斷裂、部分缺失對識別的影響，且避免了因字母和數(shù)字的相似性而發(fā)生識別錯誤，提高了集裝箱編號字符識別的準確率。識別結果如圖9所示。

2 實驗結果和分析

2.1 實驗環(huán)境

本文的實驗平臺采用的是Linux操作系統(tǒng)Ubuntu18.04，GPU為2*NVIDIA GeForce RTX 2080 Ti，32 G內存，512硬盤，CUDA的版本為10.2，集成開發(fā)環(huán)境使用PyCharm，集成包使用的是Anaconda3，Python的版本是3.6.0。

2.2 數(shù)據(jù)集

由于目前國際上還沒有公開的集裝箱數(shù)據(jù)集，并且國內也沒有建立相關統(tǒng)一的集裝箱圖像樣本庫，因此，本文需要自行收集并制作出可用于集裝箱編號區(qū)域檢測網(wǎng)絡訓練的數(shù)據(jù)集。本文數(shù)據(jù)集包含各種復雜條件下拍攝到的圖像，能滿足研究的需求。拍攝所使用的設備有所不同，其分辨率也會有所不同，本文使用了包括Olympus相機、iphone5c、平板、vivo手機、臺電平板以及小米手機在內所拍攝的集裝箱圖像。這些圖像中含有編號字符單行排列、編號區(qū)域被瓦楞部分遮擋、箱體傾斜、編號豎直排列、分辨率低、編號多行排列以及編號字符斷裂等各種場景下拍攝的圖像，如圖10所示。

由于采集到的圖像有編號字符不完整的圖像，所以經(jīng)過篩選后共得到253張圖像，對這些圖像通過數(shù)據(jù)增強的方式來擴張數(shù)據(jù)集。數(shù)據(jù)增強的方法為：增強圖像的亮度、降低圖像的亮度、改變圖像的色度、改變圖像的對比度以及改變圖像的銳度，最終得到的數(shù)據(jù)集為7 590張集裝箱圖像。

在進行訓練前，需要對集裝箱數(shù)據(jù)集圖像標注，本文采用LabelImg對集裝箱圖像進行編號區(qū)域標注，由于集裝箱編號的特點是前4位字符為字母，后7位字符為數(shù)字，因此本文有2個標注類別：字母和數(shù)字。標注圖像如圖11所示。

2.3 實驗結果與分析

2.3.1 定位分析

雖然本文的數(shù)據(jù)集量少，但包含了各種條件下的集裝箱圖像，例如集裝箱編號不同排列方式、噴刷位置的不同、光照不均、圖片像素低、箱體表面有污損干擾、集裝箱傾斜以及集裝箱編號被瓦楞所遮擋等等。經(jīng)實驗證明，本文算法對不同排列方式的集裝箱編號區(qū)域定位準確，并且對傾斜的以及分辨率低的集裝箱編號區(qū)域也能獲得準確定位，甚至還能準確定位出被箱楞遮擋的集裝箱編號區(qū)域。此算法為后續(xù)的識別奠定了良好的基礎。

為了驗證本文算法在集裝箱編號的定位性能，文中又與多特征箱號定位算法、Faster R-CNN以及MSER算法與本文提出的算法進行對比，雖然數(shù)據(jù)集不同，但都包含各種條件下的集裝箱圖片。實驗結果對比見表1。

由表1可知，相比其他的定位算法而言，本文算法的準確率較高，而且定位時間快，說明本文定位算法有較好的抗干擾能力，但仍然存在一些錯誤，沒有達到百分百的準確率。定位錯誤是因為有部分采集的集裝箱圖像被強光照射，以至于人眼都無法準確地看見編號的位置，如圖12所示。

2.3.2 識別分析

在集裝箱編號識別階段，本文采用改進的模板匹配算法，解決了集裝箱字符斷裂、部分缺失等因素對編號識別的影響，提高了識別的準確率。本文識別算法與模板匹配法、特征匹配算法、BP神經(jīng)網(wǎng)絡、SVM算法[11]的比較結果見表2。雖然數(shù)據(jù)集不同，但都包含各種條件下截取的集裝箱編號圖像。

由表2可知，本文識別算法的識別準確率達到了96.1%，比原始模板匹配算法、特征匹配算法、BP神經(jīng)網(wǎng)絡以及SVM算法的準確率都要高。但識別速度沒有特征匹配算法快，還有待改進。

3 結束語

本文針對集裝箱采集環(huán)境以及集裝箱自身特點，研究了集裝箱編號識別的關鍵技術，并最終采用YOLOv4對集裝箱編號區(qū)域進行定位，解決了集裝箱編號圖像光照不均、背景復雜等問題，達到精準定位，接著對圖像進行預處理，最后采用改進的模板匹配算法對集裝箱編號進行字符識別，解決了相似字符的干擾性。實驗測試結果表明，本文提出的基于深度學習的集裝箱編號識別算法準確率高，魯棒性好，具有較好的實用價值。

參考文獻

[1]中國港口協(xié)會集裝箱分會. 中國主要港口集裝箱碼頭吞吐量快報（2020年1月）[J]. 集裝箱化， 2020，32（3）：2-25.

[2]王炎，賀俊吉. 基于數(shù)學形態(tài)學的集裝箱箱號快速定位算法[J].計算機工程與設計，2015，36（8）：2162-2166.

[3]WENG Maonan， LIU Qing， GUO Jianming. MSER and connected domain analysis based algorithm for container code locating process[C]// 2017 International Conference on Industrial Informatics - Computing Technology， Intelligent Technology， Industrial Information Integration （ICIICII）. Wuhan， China：IEEE， 2018.

[4]KOO K M ， CHA E Y . A novel container ISO-code recognition method using texture clustering with a spatial structure window[J]. International Journal of Software Engineering & Its Applications， 2013， 7（3）：51-62.

[5]丁小虎. 基于深度學習的集裝箱立體識別與定位技術[D]. 廈門：集美大學，2019.

[6]WANG Zhiming， WANG Wuxi， XING Yuxiang. Automatic container code recognition via faster-RCNN[C]//2019 5th International Conference on Control， Automation and Robotics （ICCAR）. Beijing， China：IEEE， 2019： 870-874.

[7]WANG Zhenpeng， WANG Yongli. FRCA： High-efficiency container number detection and recognition algorithm with enhanced attention[C]// Eleventh International Conference on Graphics and Image Processing. Hangzhou China：SPIE，2020：1137306.

[8]BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： Optimal speed and accuracy of object detection[J]. arXiv preprint arXiv：2004.10934，2020.

[9]李豐林，畢訓銀. 基于BP神經(jīng)網(wǎng)絡的集裝箱箱號識別[J].淮海工學院學報（自然科學版），2010，19（1）：24-27.

[10]唐曉東. 基于BP神經(jīng)網(wǎng)絡的集裝箱箱號識別研究[D]. 武漢：武漢理工大學，2007.

[11]安博文， 李丹， 龐然. 基于SVM分類器的集裝箱箱號識別法[J]. 上海海事大學學報， 2011， 32 （1） ：25-29.

[12]黃深廣，翁茂楠，史俞，等. 基于計算機視覺的集裝箱箱號識別[J]. 港口裝卸，2018（1）：1-4.

[13]曹林根，宓超. 集裝箱箱號字符識別算法研究[J/OL]. 計算機工程與應用：1-11[2021-08-25].http：//kns.cnki.net/kcms/detail/11.2127.TP.20200805.1034.004.html.

[14]沈寒蕾， 徐婕， 鄒斌. 基于MSER的集裝箱號低秩矯正研究[J]. 工程數(shù)學學報， 2018，35 （2） ：123-136.

[15]崔循，景文博，于洪洋，等. 基于改進Faster R-CNN的集裝箱箱號定位算法[J]. 長春理工大學學報（自然科學版），2020，43（1）：45-50.

[16]谷秋頔. 基于模板匹配的車牌字符識別及其判別函數(shù)的研究[D]. 太原：中北大學， 2012.

[17]張金鳳. 基于MATLAB的車牌識別系統(tǒng)設計[J]. 信息與電腦（理論版），2021，33（2）：153-155.

[18]MUOZ-GEA J P， MANZANARES-LOPEZ P， MALGOSA J，et al. Design and implementation of a P2P communication infrastructure for WSN-based vehicular traffic control applications[J]. Journal of Systems Architecture， 2013， 59（10）： 923-930.

[19]CHEN Honglong， MA Guolei， WANG Zhibo， et al. Probabilistic detection of missing tags for anonymous multi-Category RFID systems[J]. IEEE Transactions on Vehicular Technology， 2017，66（12）：11295-11305.

作者簡介： 姚 礪（1967-），男，博士，副教授，主要研究方向：圖像處理; 李莉莉（1996-），女，碩士研究生，主要研究方向：圖像處理; 萬 燕（1970-），女，博士，教授， 主要研究方向：圖像處理。

通訊作者： 李莉莉Email：18790465812@163.com

收稿日期： 2021-04-27