復雜環(huán)境下基于邊緣擴張的條形碼定位方法

艾 達，馬宇豪，劉 穎+，郭建林，周光軍

1.西安郵電大學電子信息現(xiàn)場勘驗應用技術公安部重點實驗室，西安 710121

2.深圳市有方科技股份有限公司，廣東深圳 518109

條形碼是把不同寬度的黑白條紋按照一定規(guī)則進行排列組成的標識符，用來表達一定的信息[1]，通過光電掃描設備，實現(xiàn)機器自動讀取信息的功能，廣泛應用于工業(yè)生產(chǎn)與日常生活當中。近年來，隨著智能終端設備和無線通信技術的快速發(fā)展，影像式條形碼識別技術利用智能終端內(nèi)置攝像頭與應用程序相結(jié)合，通過對拍攝的條碼圖像進行處理，實現(xiàn)條形碼的定位、識別和譯碼，具有成本低、易維護、擴展性強的優(yōu)點，得到廣泛應用。其中，在解碼前通過一系列圖像預處理[2-4]運算對條形碼自動定位，減少條形碼的解析運算，能夠有效提高條形碼識別速度，對于優(yōu)化條形碼識別有重要的意義。

通過對近年來條形碼定位識別技術的研究成果總結(jié)，現(xiàn)有的條形碼定位方法主要分為三類：基于頻域和形態(tài)學濾波的方法、基于機器學習的方法、基于邊緣特征的方法。

頻域和形態(tài)學濾波方法：通過使用離散余弦變換[5]、小波變換[6-7]等運算將圖像從空間域轉(zhuǎn)化為頻域，提取條形碼紋理的高頻信息并濾除干擾信息完成條形碼定位。優(yōu)點在于能準確地將條形碼從圖案背景中分離出來，但當條形碼圖像周圍背景存在大量其他紋理圖案時，很難精確定位到每條條紋，影響最終識別的結(jié)果；利用條形碼的形狀特性[8-10]，使用形態(tài)學濾波將條形碼區(qū)域從背景中分離出來，同樣也容易受到復雜背景的影響，一旦遇到較復雜的背景，就會增大條形碼區(qū)域的定位難度。

基于機器學習的方法：通過提取局部二值模式（local binary pattern，LBP）特征[11]，送入支持向量機分類器判斷所屬類別[12-13]，將連通子塊合并得到條碼區(qū)域；使用語義分割方法構(gòu)造一種基于雙金字塔結(jié)構(gòu)的分割網(wǎng)絡BarcodeNet[14]，對復雜環(huán)境中條形碼區(qū)域分割和定位；采用深度學習網(wǎng)絡，如YOLO（you only look once）[15-16]，可以對條形碼區(qū)域快速檢測，取得了較好的檢測效果。機器學習方法識別效率高，性能還可以進一步提高，但從應用角度來看，需要大量數(shù)據(jù)集訓練，對設備運算性能要求高。

基于邊緣特征的方法：主要有應用Hough 變換查找條形碼的直線算法[17]、對條形碼區(qū)域所有黑白條紋進行檢測[18]、基于投影曲線的定位方法[19]等。利用條形碼區(qū)域垂直投影的特性確定條形碼位置，當圖像背景出現(xiàn)過多平行線或平行圖案時識別效果會受到影響，抗干擾能力弱；結(jié)合條形碼的邊緣特征與形狀特征[20-21]，定位條形碼運算量小，識別率較高，是一類較為經(jīng)典的定位方法，但是結(jié)果仍然易受背景的文字與圖案輪廓的干擾，導致定位不準確；在此基礎上利用條形碼區(qū)域的邊緣密集、邊緣長度相似、邊緣斜率相同等特點[22]，按照邊緣線的長度值與傾角將條形碼區(qū)域與背景文字進行區(qū)分，在保證實時性的前提下，提高了識別準確率。

上述方法通常會組合使用，能夠解決部分復雜環(huán)境中條碼的識別問題。但從實際應用效果看，條形碼區(qū)域的定位常受到光照、對焦、背景復雜等因素的影響，如圖1 所示：（a）光照不均；（b）光照弱，使條形碼區(qū)域昏暗與背景難以區(qū)分；（c）鏡頭對焦不準，導致條形碼條紋邊界不清晰；（d）圖像背景復雜，如大量文字、復雜圖案等影響條形碼位置識別。

Fig.1 Barcode image under complicated environment圖1 復雜環(huán)境下條形碼圖像

除上述問題外，在實際應用過程中還要綜合考慮定位方法的復雜度，對CPU 和內(nèi)存等系統(tǒng)資源占用，在各類嵌入式平臺上的通用性等問題。

針對現(xiàn)有影像式條碼掃描設備存在的上述問題，提出了一種基于邊緣擴張（edge-based expansion，EBE）條形碼定位方法，可以有效適應復雜光照環(huán)境、背景區(qū)紋理復雜、鏡頭焦模糊等復雜應用場景，通過應用實驗證明，該方法能優(yōu)化原條形碼識別系統(tǒng)的識別耗時，且識別率高，具有良好的魯棒性。

1 方法描述

1.1 方法流程

提出方法總體流程如圖2 所示：（a）首先拍攝采集含有條形碼的圖像并進行灰度化處理；（b）邊緣檢測生成邊緣圖像并二值化；（c）利用條形碼區(qū)域邊緣線密集的特性，對圖像中的邊緣進行區(qū)域擴張?zhí)幚恚唬╠）形態(tài)學濾波使密集的邊緣線成為連通區(qū)域，并將擴展區(qū)域作為一個整體；（e）判別條形碼區(qū)域并矯正傾斜度，最終在圖像中定位條形碼區(qū)域（f）。

Fig.2 Barcode locating process圖2 條形碼定位過程

1.2 邊緣區(qū)域擴張

光照不均勻使圖像中同性質(zhì)區(qū)域被錯誤分割，一些邊緣信息無法被正確提取。通過二值化與邊緣檢測可以有效去除由于光照不均對條形碼位置識別過程的影響。

常見的邊緣檢測算子有Roberts 算子、Sobel 算子、Laplacian 算子等。其中Sobel 邊緣檢測算子具有運算簡單，抗噪能力良好的優(yōu)點。Sobel 邊緣檢測采用垂直與水平兩個方向的模板，能檢測出這兩方向上的邊緣，但是如果遇到傾斜的圖像邊緣，可能會出現(xiàn)偏差。使用改進的Sobel 算子[23]，在水平方向與垂直方向的基礎上添加傾斜45°與135°兩個方向的邊緣檢測。

設原始含條形碼的圖像經(jīng)過灰度化處理后，其灰度圖像為I(x,y)。邊緣檢測方法如下：

式中，Dx、Dy、D45°、D135°分別為水平、垂直、45°、135°方向上的梯度算子與灰度圖I(x,y)卷積的結(jié)果；Isobel(x,y)為灰度圖像的邊緣圖像。

使用大津法[24]對邊緣圖像Isobel(x,y)進行二值分割：

其中，T為圖像自適應二值化的閾值；S(x,y)為經(jīng)過大律法二值化處理后的邊緣圖像，效果如圖2（b）所示。

現(xiàn)實生活中的條形碼圖像普遍會受到圖像背景、周邊文字的干擾，邊緣輪廓無法正確標識條碼區(qū)域。提出的基于邊緣擴張方法能對邊緣密集區(qū)域進行填充，形成連通區(qū)域，同時對孤立的邊緣線條進行濾除，計算步驟如下：

（1）遍歷二值化后的邊緣圖像，若存在Isobel(p,q)≠0 時，按下式求得圖像中像素點鄰域內(nèi)的像素均值：

式中，p、q為有限正整數(shù)；C(p,q)表示以像素點(p,q)為中心的3×3 鄰域內(nèi)像素點的像素均值，(i,j)表示該鄰域內(nèi)的像素點坐標。

（2）對邊緣區(qū)域周圍按下式進行擴展：

式中，A″表示經(jīng)過邊緣擴張后的圖像像素矩陣。效果如圖2（c）所示。

（3）對A″采用中值濾波，得到A′見式（9）：

其中，q，p∈W，W為中值濾波的濾波窗口；對A′形態(tài)學濾波，完成像素連通的區(qū)域二次擴張，得到擴張后的圖像像素矩陣A：

其中，?為開啟算子；Θ 為腐蝕運算符；⊕為膨脹運算符；X為結(jié)構(gòu)元素，即為具有特定形狀特征的濾波窗口。應用區(qū)域擴張算法后，邊緣密集的條形碼區(qū)域會形成更大的連通區(qū)域，其他孤立輪廓線條將會被濾除，效果如圖2（d）所示。

1.3 條形碼區(qū)域判別

由于條形碼區(qū)域邊緣密集度比圖案背景、周邊文字區(qū)域高，經(jīng)過區(qū)域擴張后條形碼區(qū)域所占的像素點個數(shù)比文字或圖案輪廓所形成的連通區(qū)域大很多。據(jù)此特性可將條形碼區(qū)域與其他區(qū)域區(qū)分出來，步驟如下：

（1）對區(qū)域擴張后圖像矩陣A中各個連通區(qū)域的所占像素點個數(shù)進行計數(shù)，分別記為S1′,S2′,…,Sc′，其中c為有限的正整數(shù)，表示連通區(qū)域的個數(shù)。

（2）Sc′表示該連通區(qū)域內(nèi)的像素點個數(shù)；在區(qū)間內(nèi)按等間隔分為n份，按下式確定間隔δ以及每個間隔中心Dk：

其中，Smin′為連通區(qū)域最小值；Smax′為連通區(qū)域最大值，k=1,2,…,n。

（3）根據(jù)實驗效果，取經(jīng)驗值n=5，只保留連通區(qū)域像素個數(shù)大于D1的區(qū)域，記為S1,S2,…,Sm,其中m為有限正整數(shù)，且m

（4）分別計算步驟（3）得到條形碼區(qū)域的位置信息。根據(jù)非零像素點區(qū)域起始坐標確定條形碼所在位置，完成定位，效果如圖2（e）所示。

以帶有復雜背景的圖2（a）為例，經(jīng)過邊緣擴張和判別后，背景干擾被有效濾除。

一維灰度投影圖[19]可以清楚地反映濾波效果，如圖3 所示，x軸為該圖像水平或垂直方向的像素列/行，y軸坐標為該列/行所有像素灰度值之和。

文獻[22]方法是一種新型條形碼實時定位方法，圖3（a）為應用其方法得到的水平投影圖，圖3（b）為其垂直投影圖，可以看出投影曲線波動頻繁，并且在非條形碼區(qū)域存在背景干擾，這將影響條形碼定位的準確率。圖3（c）、圖3（d）分別為本文EBE方法水平投影圖和垂直投影圖。可以看出，本文方法投影曲線集中在一個區(qū)域，并且波動比較平緩，無驟增或驟減，可有效濾除背景干擾，明顯區(qū)分出條形碼區(qū)域。

Fig.3 Comparison of projection graph results圖3 投影圖結(jié)果對比

1.4 條形碼區(qū)域校正

條形碼需要按照一定方向進行解析才能被識別，因此需要對傾斜的條形碼進行水平校正。利用條形碼區(qū)域中存在大量平行的直線的特點，采用抗噪性較好的Radon 變換對直線進行檢測，確定條形碼的傾斜角度以便校正。

采用Radon 變換時，若圖像中含有直線，則沿著此直線所有灰度值累加值最大，而其他非直線方向累加值較小，以此檢測直線位置，將原圖像轉(zhuǎn)為Radon 平面計算式如下：

其中，θ表示直線傾斜的角度，I(x,y)表示灰度圖像。

對于傾斜的圖像，Radon 變換可以檢測圖像中的直線的傾角已達到校正的目的。選擇Radon 變換空間亮度最高的點即為圖像的峰值點(s,θ)，其中θ表示原傾斜圖像的傾斜直線的傾斜角，按照此角度對圖像進行校正。

圖4 為條形碼經(jīng)Radon 變換后的三維視圖，選擇積分最大值點對應的θ角度值對傾斜條形碼進行校正。實驗結(jié)果顯示，0°到180°的傾斜均可以水平校正，校正效果如圖5 所示。

Fig.4 Barcode Radon transform 3D view圖4 條形碼Radon 變換三維視圖

Fig.5 Barcode horizontal corrections with Radon transform圖5 Radon 變換對條形碼水平校正

2 實驗與應用效果

從定位準確率和解碼平均耗時兩方面開展對比實驗，驗證提出方法的性能。

2.1 定位準確率實驗

實驗使用了條形碼公開數(shù)據(jù)集ArTe-Lab[22]與WWU Menster[25]以及自建條形碼數(shù)據(jù)集驗證定位方法的準確性。三個數(shù)據(jù)集均包含背景復雜、光照環(huán)境惡劣、對焦不準的場景采樣。其中ArTe-Lab 數(shù)據(jù)庫分為自動對焦（記作ArTe-Lab-AF）與未自動對焦（記作ArTe-Lab-NF）的兩類條形碼圖像各215 張。WWU Menster 數(shù)據(jù)庫是由N95 手機拍攝的EAN、UPC-A 制式的條形碼圖像，共計1 055 張，本文選用其中的675 張進行實驗。此外，自建數(shù)據(jù)庫是采集自日常生活中不同拍攝環(huán)境564 張條形碼圖像，用于驗證本文方法在實際生活場景中的條形碼區(qū)域定位能力。

文獻[22]是通過條形碼圖像的邊緣快速定位條形碼區(qū)域，文獻[25]是基于有監(jiān)督機器學習的條形碼區(qū)域檢測方法。以上兩種方法均使用ArTe-Lab 與WWU Menster 數(shù)據(jù)集驗證其方法準確性，因此本文通過計算機仿真實現(xiàn)上述兩種方法并與本文EBE 方法進行對比，結(jié)果如表1 所示。

Table 1 Comparison of results among different barcode localization algorithms表1 不同條形碼區(qū)域定位方法對比

在ArTe-Lab-AF組對比中，EBE準確率為95.35%，比邊緣快速定位法提高6.05 個百分點，較機器學習方法提高13.96 個百分點；在ArTe-Lab-NF 組對比中，由于圖像拍攝時沒有自動對焦，導致部分條碼圖像模糊不清，EBE 準確率為91.63%，比文獻[22]高34.89 個百分點，較文獻[25]方法提高21.87 個百分點，表明EBE方法識別對焦不清晰的條碼效果更好；在使用WWU Menster 數(shù)據(jù)對比中，EBE 方法識別率為97.77%，優(yōu)于機器學習法的89.62%，略好于邊緣快速定位法的96.29%；在自建數(shù)據(jù)庫對比實驗中，EBE 方法識別率比文獻[22]高3.55 個百分點，比文獻[25]高5.86 個百分點。綜上所述，三種方法對日常生活場景中條碼識別率都較高，而EBE 方法更好。針對未自動對焦條形碼圖像，EBE 方法具有良好的識別效果。

針對各種復雜應用場景的干擾，應用EBE 方法獲取條形碼定位坐標，在原圖畫出虛框線，效果如圖6所示。

Fig.6 Locating results of barcode under complex conditions圖6 復雜條件下條形碼定位效果

2.2 實驗結(jié)果分析

文獻[22]利用條形碼線條密集、傾斜角度相近的特點定位條形碼，在處理過程中難免有邊緣線缺失的情況，從而導致定位不準確。文獻[25]通過結(jié)合有監(jiān)督機器學習與二維Hough 變換檢測條形碼直線區(qū)域，但在機器學習處理過程中需要手動設置特征與規(guī)則，抗干擾能力較差容易導致定位不準確，且通過Hough 檢測條形碼計算量較大，耗時較長。本文EBE方法將圖像中條形碼區(qū)域看作一個整體進行提取，利用條形碼的黑白條紋邊緣線密集特點，將該區(qū)域擴張成為一個整體連通區(qū)域，保證了條形碼區(qū)域的完整性，不易丟失數(shù)據(jù)，因而有更好的定位準確率，尤其在對焦不清的場景中效果更為明顯。

分析本文EBE 定位失效的實驗結(jié)果，發(fā)現(xiàn)以下兩類情況導致識別錯誤或識別不全的問題：（1）拍攝距離太近，條形碼占據(jù)全部畫面，導致條紋間隔過大；（2）拍攝圖像過于模糊，人眼也無法區(qū)別。此兩種問題都比較極端，只能通過重新拍照解決。

2.3 應用測試

在智能手機系統(tǒng)上開展條形碼圖像從拍攝到完成信息解讀的解碼時間測試，以評估提出EBE 方法的實際應用效果。

系統(tǒng)測試環(huán)境為高通MSM8909 CPU（四核ARM Cortex A7），最高主頻1.1 GHz，運行內(nèi)存為2 GB，Android5.1 系統(tǒng)，500 萬像素攝像頭。設置條碼圖像拍攝分辨率為640×480 像素。

在原系統(tǒng)條碼識別程序中加入EBE 方法選項開關，對比采用EBE 方法前后的條形碼圖像解碼時間。采集10 組條形碼圖像數(shù)據(jù)，每組數(shù)據(jù)為一張條形碼解析50 次后用時的均值，在原系統(tǒng)條碼識別程序中加入EBE 方法選項開關，對比采用EBE 方法前后的條形碼圖像解碼時間。具體情況如圖7 所示。

Fig.7 Average parsing time of barcode圖7 條形碼解析平均時間

原條形碼10 組數(shù)據(jù)的平均解碼時間為149 ms；使用EBE 方法后，解碼器可以快速定位圖像中的條形碼區(qū)域，平均解碼時間降為110 ms，總體解碼時間平均減少26.1%，解碼速度顯著提升。

3 結(jié)束語

本文提出的基于邊緣區(qū)域擴張的條形碼處理和判別的定位方法，適用于基于影像的嵌入式條碼識別系統(tǒng)。實驗和應用結(jié)果表明，該方法較好地解決了存在光照、對焦、背景等干擾的復雜環(huán)境下條形碼定位問題，具有良好定位準確率、識別速度和使用成本優(yōu)勢。可應用于復雜的拍照場景，能滿足日常生活與工作生產(chǎn)的需求，為條形碼識別設備的設計、優(yōu)化和研發(fā)提供了參考依據(jù)。