基于形態學處理算法的條煙復核技術

翁 迅，孫壯志

1．北京郵電大學自動化學院，北京市海淀區西土城路10號 100876

2．北京煙草物流中心，北京市通州區九棵樹西路198號 101121

基于形態學處理算法的條煙復核技術

翁 迅1，孫壯志2

1．北京郵電大學自動化學院，北京市海淀區西土城路10號 100876

2．北京煙草物流中心，北京市通州區九棵樹西路198號 101121

為解決傳統人工條煙復核方法與現有高速自動卷煙分揀系統不匹配等問題，基于形態學處理算法，利用條煙條碼唯一性，提出了一種條煙圖像自動識別方法。采用正方形自適應結構元素形態學算法處理二值化圖像，減少條碼內部條空區域對連通域的干擾，得到多個候選子連通域；采用子區域篩選方法定位條碼區域，通過投影法定位可識別的字符并分割數字，完成條煙信息識別。以不同姿態不同品種的條煙圖片在Matlab中進行仿真實驗，測試條碼定位分割算法的魯棒性。結果表明：①該方法能夠有效避免條煙表面字符、圖形信息及光照噪聲帶來的干擾。②投影法可將供人識別字符與條空區域快速分割開，實現數字的有效定位，對于條碼傾斜、低像素圖像的數字分割效果良好。③加權模板匹配法結合模糊判別準則的數字識別算法，對于低品質數字以及易混淆數字均具有較好的識別效果。④在現場測試條件下，系統識別效率可達2 686次/h，準確率達95．2%。在滿足系統要求下，采用該方法能夠大幅提升條煙圖像識別效率和準確性。

條煙識別；條碼；形態學處理；子區域篩選；投影法

Keywords：Cigarette carton recognition;Bar code;Morphological processing;Subrange filtering; Projection method

隨著我國卷煙物流中心自動化水平的不斷提升，目前主流的卷煙高速自動分揀線的分揀效率可以達到1.5萬條/h或2萬條/h［1-2］。條煙復核是檢驗卷煙分揀系統正確性的重要環節之一，現有的人工復核方式效率低、工作量大，導致條煙復核環節已成為整個條煙分揀自動化系統的瓶頸。隨著模式識別技術的飛速發展，利用圖像處理技術解決煙草行業的實際問題是當前的研究熱點之一。馮春等［3］利用獲取的圖像特征建立圖像特征數據庫，通過圖像最小特征距離準則進行圖像識別；趙維一等［4］利用CCD（Charge-coupled Device）數字圖像處理測量葉絲的寬度，通過圖像分割、去噪、二值化、矩陣翻轉等完成葉絲寬度測量；魏澤鼎等［5］利用CCD圖像傳感器檢測片煙的面積，通過統計各個面積段的片煙比例，為打葉工序工藝參數的調整提供了依據；李飛等［6］采用基于機器視覺的方法研制了卷煙紙羅紋深度測量儀，具有較好的測量效果和較高的穩定性。孫東等［7］利用能量特征對條煙的種類進行識別。曾弈［8］采用主元素分析法與Fisher線性判別相結合的方法提取條煙圖像特征。劉鎮等［9］提出了一種基于HALCON（德國MV Tec Software公司開發的一套標準的機器視覺算法包）與SURF（SpeedUp Robust Feature）的多特征融合條煙識別方法，利用新的條煙圖像特征描述法，將條煙的長度、顏色、紋理（復雜度）、模板等特征進行了組合。

由于條煙品種的多樣性，在實際應用中需要調用龐大的模板庫進行特征匹配，因此難以提高圖像特征的提取效率及準確性。此外，傳統的特征匹配圖像方式每次都需要定制化開發，無法滿足條煙包裝及品種不斷更新的需求。目前也有學者針對二維條碼的快速識別進行研究，利用二維條碼的編碼和快速定位技術實現對大量目標的識別，并采用關鍵幀和預估第4對匹配點的方法實現對場景的快速跟蹤［10］。但在卷煙銷售環節，二維條碼目前尚未得到推廣，對其識別暫時不具備代表性。由于條煙所采用的一維條碼具有唯一性和通用性，通過識別條碼數字可獲取條煙品牌、產地、生產商等信息，且條碼識別方式不會受卷煙產品更新換代的影響，與其他將條煙圖像轉換到HSV（Hue，Saturation，Value）顏色空間方法相比更具備實用性。為此，利用條煙條碼的唯一性，通過提取一維條碼的數字特征自動識別條煙種類，以期有效提高條煙圖像特征匹配效率和準確性。

1 總體技術路線

基于一維條碼的條煙復核技術主要包括兩個方面：條碼區域的提取以及對條碼中數字的分割與識別，見圖1。其中：①條碼區域的提取先通過彩色圖像灰度化、自適應雙峰法閾值分割，對輸入的條煙圖像進行預處理；再利用自適應形態學處理得到連通的候選子區域，通過填充子區域并進行子區域篩選，最終提取出條碼區域。②條碼中數字分割與識別則先用自適應閾值法對條碼區域灰度圖像進行閾值分割，得到二值化圖像；再通過投影法對其中的數字部分進行定位與分割，利用加權模板匹配與模糊判別準則相結合的方法實現數字識別。

圖1 基于一維條碼的條煙復核技術路線圖

本研究中對傳統的條碼區域定位算法及條碼數字分割算法進行了改進，主要包括：①條碼區域定位算法采用正方形自適應結構元素的形態學算法來處理二值化的條煙圖像，通過減少條碼內部條空區域對連通域的干擾，得到多個候選子連通域，并利用設置面積和長寬比閾值篩選出條碼區域。②條碼數字分割算法首先在二值化的條碼圖像中定位前置碼，利用前置碼的上下邊界定位數字的上下邊界，從而分割出供人識別的字符部分；根據其投影極小值定位各數字，并利用數字間固定間隔對數字位置進行校驗，最終實現條碼數字的精確定位和分割。

2 形態學處理算法的實現

在常規的數字圖像的形態學處理中，往往將數字形態學作為工具從圖像中提取對于表達和描繪區域形狀有用的圖像分量，例如將形態學用于彩色圖像的邊緣檢測和圖像提取［11-13］。本文中則重點研究了形態學處理二值化圖像的算法在條煙一維條碼識別中的應用。

2.1 基于自適應形態學處理及子區域篩選的條碼定位算法

條煙圖像拍攝條件：攝像頭固定，條煙與攝像頭距離一定。通過對拍攝到的條煙樣本圖像進行分析，得出條碼區域特點：底色為白色，條碼部分為黑色（部分情況底色為紅色，條碼部分為黑色）；各個條碼區域面積相差不大，均在同一數量級；形狀為矩形，長寬比近似為13∶7。根據這些特點并結合圖像二值化和形態學處理方法，可實現條碼定位并將其從背景中提取出來。

2.1.1 基于正方形自適應結構元素的形態學處理與子區域篩選定位條碼

在實際卷煙自動分揀線上，拍攝時不可避免地存在光照變化、條煙傾斜等干擾，而這些干擾因素對形態學處理的結構元素影響較大。文獻［14］利用線性自適應結構元素對車牌進行形態學處理以實現車牌定位。但在條煙條碼定位過程中，條空區域包含的大量線段無法被線性元素過濾出，因此本研究中采用基于正方形自適應結構元素的條碼定位算法，將條碼區域從背景中分割出來。處理過程為：首先將原始的彩色圖像灰度化，然后對灰度圖像采用自適應雙峰法進行閾值分割［15］，效果見圖2。

圖2 采用自適應雙峰法閾值定位條碼區域效果圖

分析圖2可知，雖然實現了條碼區域與背景分割，但仍保留了少量條煙表面的字符、圖形信息以及光照不勻產生的噪聲，這些噪聲都會對條碼區域的定位造成干擾。因此，采用形態學處理圖像后，還需通過子區域篩選方式去除無效區域，最終保留條碼區域。

圖3 采用自適應形態學結構元素處理定位條碼區域算法流程圖

選取正方形（square）作為結構元素的形狀（shape），從小到大變換正方形的長度作為結構元素的參數（parameters），對二值化圖像進行形態學閉運算操作，見圖3。采用圖形分析函數得到區域屬性結構體變量“STATS”，其中Area表示各個子區域面積，BoundingBox表示相應區域的最小矩形，BoundingBox以［x_w idth，y_w idth］形式給出矩形長寬。對標記的BoundingBox進行面積篩選，檢測其長寬比，若長寬比近似為13∶7則認為已找到條碼區域。

由于條煙的二值化圖像中存在一些條煙表面的字符、漢字及圖形等噪聲干擾，其面積與條碼區域面積并不在一個數量級上，因此可根據面積篩選方式進行剔除。而光照產生的噪聲反映在二值化圖像中通常為圓形、橢圓形或長條形，采用長寬比篩選方式可有效剔除。利用自適應形態學處理與子區域篩選進行條碼區域定位效果見圖4。

圖4 采用自適應形態學處理與子區域篩選定位條碼區域效果圖

2.1.2 與線性自適應結構元素形態學算法的定位效果對比

采用線性和正方形兩種形態學自適應結構元素處理方法進行條碼定位，結果對比見圖5。可見，本文中方法能有效保留條碼區域，去除條煙表面信息及光照的干擾。根據條碼定位圖像即可從原灰度圖像中提取出條碼部分，進行條碼數字定位及分割。

圖5 兩種形態學結構元素的條碼定位效果對比

2.2 基于投影法的條碼數字定位及分割

一般情況下，條煙條碼均為EAN-13碼，包括條空區域以及供人識別的數字字符。傳統方法對于圖像有傾斜及圖像分辨率不高的條碼識別效果不佳。本文中采用識別條煙條碼中供人識別的數字字符方法，即對條碼中供人識別的數字字符進行定位，分割出每個數字并進行數字識別。提取出的條碼圖像上方為條空區域，這些信息在投影中會產生較大干擾，因此如何將數字部分與條空區域分割開是本方法的關鍵。通過對條碼結構和二值化圖像投影進行研究，確定對供人識別字符部分的定位與分割步驟，見圖6。

（1）對條碼定位后的條碼圖像進行標準自適應閾值的二值化處理，得到二值化圖像BW。水平掃描二值化圖像BW，剔除條碼左右邊緣空白部分，得到有效部分起止位置橫坐標ms，md；同理，垂直掃描得到有效部分起止位置縱坐標ns，nd。分割出有效部分B Wv。

（2）根據垂直投影定位前置碼的縱坐標，分割出前置碼部分BWf。水平掃描前置碼部分BWf，定位出前置碼的起止橫坐標（即供人識別字符的起止橫坐標）m_rs，m_rd，由此從條碼圖片中分割出供人識別字符圖像BWr。

（3）研究BWr的垂直投影可知，每個數字區域集中了大量的白色像素點，其中也包含了一部分條碼分隔符。根據垂直投影圖上極小值的位置將BWr分割成單個字符，得到字符集BWr_seg，其條碼分隔符的像素點集中在條碼圖像上方。因此，通過檢驗各個字符水平投影可以去除條碼分隔符的干擾，得到單個數字圖像集合BWr_seg*=｛PIN0，PIN1，…，PIN12｝，計算PINk的個數K，如果不是13，則表示數字分割失敗。

圖6 采用投影法進行數字定位與分割

（4）考慮到拍攝距離與角度不同，所拍攝的條碼圖片大小尺寸不等，所以進行投影分割后的PINi大小也不同。為了提高數字的識別率，將分割的數字圖像大小歸一化為分辨率為26 Pixel×16 Pixel的圖像，便于后續與10個0～9數字模板匹配，有利于實現數字識別。

3 條煙識別實驗結果與分析

3.1 實驗設計

為了測試加入形態學濾波及子區域篩選后條碼定位分割算法的魯棒性，在北京煙草物流中心的裝箱復核現場，通過攝像頭采集不同姿態、不同品種的條煙圖片，在Matlab中進行識別準確性和識別效率的測試實驗。目前卷煙物流中心采用2萬條/h條煙高速分揀線，每條分揀系統需要配置2臺裝箱機，在“一號工程”打碼完畢后，對每5條進行疊煙部分批處理，因此每臺裝箱機識別批次數不少于2 000次/h。傾斜及低品質圖像的識別效果見圖7，條煙識別系統不同步驟的準確率及平均耗時見表1。

表1 條煙識別結果統計

3.2 結果分析

實驗結果表明，投影法對于條碼傾斜不大、低像素圖像的數字分割適應性良好，見圖7a。加權模板匹配法結合模糊判別準則的數字識別算法，對于有連接、斷裂等情況的低品質數字以及易混淆數字（圖7a中的3和8，1和7）均具有較好的識別效果。由表1可知，系統單次識別整體條碼的耗時1.34 s/次，系統識別效率達3 600（s·h-1）/1.34（s·次-1）=2 686（次·h-1），正確率達95.2%。單個疊煙機構能夠識別的效率折合5條煙的識別效率為13 430條/h，可以滿足實際使用要求。

圖7 特殊圖像條碼識別效果

為提高系統的運行效率，有學者在識別階段采取行掃描和列掃描的方法對識別區域進行快速粗定位，并通過Hough變換對需要識別的圖像進行校正處理等方法，以提高處理速度［16-17］。也有研究采用將條煙圖像轉換到HSV顏色空間識別條煙漢字字符方法，識別效率可達到300ms/次（折合12 000條/h），但其準確性僅為70%～75%［9］。可見，在滿足系統要求情況下，采用本方法能夠大幅提升條煙識別效率和準確性。

4 結語

基于形態學處理算法設計了一種條煙復核系統，利用自適應形態學結構元素和子區域篩選進行條碼區域定位與提取，能夠有效剔除條煙表面字符、圖形信息、光照噪聲帶來的干擾。通過投影法實現條碼數字定位及分割，可以將供人識別字符與條空區域快速分割開，實現數字的有效定位。實驗結果表明，整個系統識別效率可達2 686次/h，正確率達95.2%，明顯優于HSV顏色空間識別條煙漢字字符和Hough變換等方法。但是對于條碼區域與背景區域顏色相近情況，條碼區域分割效果不夠理想，影響了條碼區域定位的準確性。因此，還需進一步對魯棒性更強的特征提取方法進行探索和研究。

［1］冉文學，宋志蘭，劉森，等.超高速卷煙分揀設備及技術［J］.物流技術與應用，2009（10）：109-111.

［2］孫壯志，張雨佳.訂單結構對卷煙自動分揀線分揀效率的影響［J］.計算機應用，2010，30（z1）：315-316，336.

［3］馮春，陳柏.半自動分揀線上運動條煙的在線識別［J］.煙草科技，2015，48（1）：90-95.

［4］趙維一，溫若愚，曾建，等.基于線陣CCD數字圖像處理技術的葉絲寬度測量裝置［J］.煙草科技，2013（10）：12-16.

［5］魏澤鼎，王儒慧.基于CCD的片煙規格測量裝置的設計應用［J］.煙草科技，2008（12）：19-21.

［6］李飛，董浩，張龍，等.基于機器視覺的卷煙紙羅紋深度測量儀的設計［J］.煙草科技，2013（10）：27-30.

［7］孫東，明軍，臧小溪.利用能量特征進行條煙識別［J］.計算機技術與發展，2006（4）：131-134.

［8］曾弈.條煙圖像識別系統的設計與實現［D］.北京：北京郵電大學.2010.

［9］劉鎮，張敏.基于HALCON與SURF的多特征融合條煙識別系統［J］.電子設計工程，2015，2（23）：44-47.

［10］桂振文，王涌天，劉越幻，等.二維碼在移動增強現實中的應用研究［J］.計算機輔助設計與圖形學學報，2014，1（26）：34-39.

［11］劉艷莉，桂志國.基于形態學的可變權值匹配自適應圖像增強算法［J］.電子與信息學報，2014，36（6）：1285-1291.

［12］朱曉臨，陳嫚，李雪艷，等.結合形態學變形蟲和復合顏色空間的彩色圖像邊緣檢測模型［J］.計算機輔助設計與圖形學學報，2014，26（7）：1060-1066.

［13］陳嫚，朱曉臨，李雪艷，等.改進的模糊形態學彩色圖像邊緣檢測算法［J］.合肥工業大學學報：自然科學版，2014，37（8）：922-927.

［14］方興林.一種基于自適應形態學結構元素的車牌定位算法［J］.計算機工程與應用，2013（23）：149-152.

［15］王磊，段會川.Otsu方法在多閾值圖像分割中的應用［J］.計算機工程與設計，2008，29（11）：2844-2845，2872.

［16］陳若珠，宋承云.基于網絡的人臉識別系統的設計［J］.工業儀表與自動化裝置，2013（6）：43-45.

［17］張海寧，李彬，陳超波，等.基于OpenCV的車牌識別系統研究［J］.工業儀表與自動化裝置，2012（6）：78-80，85.

責任編輯 曹娟

Cigarette Carton Check System Based on Morphological Processing A lgorithm

WENG Xun1and SUN Zhuangzhi2
1.School of Automation,Beijing University of Posts and Telecommunications,Beijing 100876,China
2.Beijing Tobacco Logistics Center,Beijing 101121,China

To match a carton check system with the throughput of the high-speed automatic cigarette sorting system,an automatic carton image recognizing method based on morphological processing algorithm was proposed onthe basis of unique carton bar code.The binarized images were processed by the square self-adaptive structure element morphological algorithm to m inim ize the interference of b lank zones in a barcode on connected domain and obtain several candidate connected subdomains.By subrange filtering method to position barcode range,by projection method to positionthe discernible characters, segment figures and complete the recognition of carton information,the simulation experiment was conducted with pictures of cigarette cartons of different brands and random ly placed in Matlab to test the robustness o f barcode positioning and segmentation algorithm.The resu lts showed that：1)The method effectively avoided the interferences brought about by character,image information and illum inating noises from carton surface.2)Projection method segmented visible characters from blank zones in barcode quick ly,imp lemented effective figure positioning and performed well in figure segmentation for ob lique barcode,lowpixel image.3)Lowquality or indistinguishable figures were well recognized by weighted matching algorithm combined with fuzzy criterion number recognition algorithm.4)On-site testing showed that the recognition efficiency of the system reached 2 686 times per hour with the accuracy of 95.2%.

TP315

B

1002-0861（2015）09-0088-06

10.16135/j.issn1002-0861.20150915

2015-02-09

2015-06-09

翁迅（1979—），博士，講師，主要從事物流技術與裝備、物流系統工程研究。E-mail：wengxun@bupt.edu.cn

翁迅，孫壯志.基于形態學處理算法的條煙復核技術［J］.煙草科技，2015，48（9）：88-93.

WENG Xun,SUN Zhuangzhi.Cigarette carton check system based on morphological processing algorithm［J］. Tobacco Science&Technology，2015，48（9）：88-93.