應用卷積神經網絡的細紗斷紗錠位識別

王雯雯， 高 暢， 劉基宏

(生態紡織教育部重點實驗室(江南大學), 江蘇 無錫 214122)

細紗斷頭檢測是紡紗生產管理中的一個重要環節，斷頭檢測裝置有單錠式和巡回式檢測2種形式：單錠式在每個錠位分別安裝探頭，通過光電或渦流檢測方式判斷紗線是否斷頭；巡回式有紅外感應和視覺感應2種，可將檢測探頭安裝在可以來回運動的移動裝置上，通過移動裝置在細紗機前移動檢測細紗[1-2]。由于巡回式與單錠式相比具有探頭少的特點，從而可制成質量高、成本低、維護方便、適用于移動設備現場檢測的產品。然而每臺細紗機上有約480個錠位，斷紗時移動裝置難以準確判斷斷紗位置。針對這一難題，本文設計了針對巡回式斷紗檢測的細紗斷紗定位系統，對錠位標識后，通過巡回式小車上的圖像采集裝置采集標識的圖像，并利用圖像處理識別錠位號。

1 實驗部分

1.1 實驗裝置構建

在TH558型細紗機生產9.7 tex精梳純棉紗，錠速為11 000 r/min，捻系數為329。錠位標識粘貼在細紗機的大梁上，每隔3個錠位粘貼1個錠位標識。在車間正常燈光下，通過DC80型工業相機用80萬像素采集紡紗段圖像，采集到的圖像分為普通情況、紗線遮擋標識的情況和多個錠位標識的情況，如圖1所示。工業相機通過USB接口與電腦相連固定在移動小車上，小車邊緣與細紗機底部距離為400 mm，相機高度與細紗機葉子板保持一致，鏡頭正對葉子板且平行于葉子板，相機鏡頭與導紗鉤間的距離為660 mm，通過USB接口與電腦相連。

圖1 原始錠位標識Fig.1 Original position mark.(a) Ordinary situation;(b) Yarn block;(c) Multiple marks interference

原始標識圖像中，噪聲較多，正在運行的細紗可能會對標識產生遮擋，由于小車運行過程中的穩定性較差，可能拍攝到的標識是傾斜的，這都對標識識別造成一定的干擾。為準確讀取標識信息，對原始標識圖像進行形態學預處理后，分割字符并識別，處理過程以圖1(a)為范例進行解釋。

1.2 錠位標識分割

錠位標識的分割是標識識別的第1步，標識分割的好壞直接關系到后續的字符分割及識別率的高低。錠位標識分割是將錠位標識從整個圖像中單獨分割出來，先對原始標識圖像進行剪裁及灰度化，通過邊緣檢測提取標識邊緣，形態學處理進行初步定位，對水平和垂直方向的像素灰度值投影，根據投影結果對標識進行分割。

工業相機采集到的錠位標識圖，其有效區域為大梁區域，為提高檢測準確度，先對圖像[0,200,1 020,400]區域進行剪裁，保留有效區域。為方便后續的形態學分析，將圖像進行灰度化處理，結果如圖2所示。

圖2 錠位標識剪裁及灰度化Fig.2 Position mark cut and grayscale

由圖2可見，標識在圖像中呈橫向，紗線對標識具有一定的干擾性，在邊緣檢測中為排除紗線干擾選用prewitt算子，檢測方向設定為水平，圖3(a)示出邊緣檢測后的圖像。邊緣檢測提取的標識邊緣很明顯，但是標識邊緣并不連續，無法根據其特征作進一步判斷，因此，需要對其進行形態學處理，使其成為一個連續的整體，完成后續的標識定位。

圖3 形態學處理Fig.3 Morphological treatment.(a) Edge detect;(b) Inflate and retain maximal connected domain

進行形態學處理時，首先使用55像素×55像素的矩形對標識邊緣檢測圖進行膨脹處理，使標識區域連接成整體，與周圍的干擾區域分離，成為一個獨立的區域，但由于膨脹運算使圖像中其他部分細節也被凸顯了出來，可能造成定位錯誤，所以初步提取標識，去除偽標識。對標識區域的提取可通過regionprops函數，標記圖像中各個區域，然后計算出每個區域的像素點，保留最大像素點的區域，如圖 3(b)所示，圖中只保留了標識區域，其余區域像素變為0。

在標識初步定位之后，得到了標識區域圖像，采用投影法對標識進行精確定位。通過圖3(b)可發現，二值化的標識區域圖像在水平方向和垂直方向上都具有明顯的跳變，會出現峰值。對水平和垂直方向的像素點個數進行統計，結果如圖4所示。

圖4 行、列方向像素累計圖Fig.4 Row (a) and column (b) direction pixel cumulative graph

用max函數找出像素點最多的一行，設定閾值為5個像素，分別向上下2個方向計算像素點，當像素點超過閾值時，行數增加；同理，對列數進行篩選。最終剪裁出彩色的錠位標識圖，如圖5所示。

圖5 錠位標識圖Fig.5 Position mark image

1.3 字符分割

在錠位標識準確定位分割后，需要對標識中單個字符進行分割。標識分割出的圖像為RGB圖像，直接用來分割字符運算量大，所以先將RGB圖像轉換為二值圖像。與RGB圖像相比，二值圖像只有0和1這2個像素值，圖像信息更簡單明確，信息量大大減少，運算快。圖6示出二值化的錠位標識圖。

圖6 二值化錠位標識圖Fig.6 Binarized position mark image

進行字符分割時，先將字符外邊界切割掉，通過遞歸算法，由左向右，逐列識別是否存在像素值為255的點，當出現像素值全為0時，進行切割，從而分割出第1個字符，以此類推，切割出第2個第3個和第4個字符。切割出的字符大小不一，為方便后續的字符識別，將其大小歸一為20像素×40像素，如圖7所示。

圖7 字符分割圖Fig.7 Character segmentation graph

1.4 字符識別

目前已有的字符識別方法有模板匹配法、統計特征匹配法、神經網絡算法和支持向量機模式識別算法。在這4種方法中，模板匹配法是最早使用的字符識別算法，神經網絡算法是目前比較流行的算法[3-5]。本文采用卷積神經網絡(CNN)進行字符識別。

一般CNN的基本結構包括2層：1)特征提取層，每個神經元的輸入與前一層的局部接受域相連，并提取該局部的特征；2)特征映射層，特征映射結構采用影響函數核小的sigmoid函數作為卷積網絡的激活函數，使得特征映射具有位移不變性[6-7]。同時，映射面上的神經元共享權值，減少了網絡自由參數的個數。

CNN包含卷積層和亞采樣層2個特殊的網絡[8-9]。卷積層由多個特征平面組成，每個特征平面都代表著上一層的某些特征，卷積層后緊跟著亞采樣層。亞采樣層將卷積層的數據進行重構，對數據進行降維，防止出現過度擬合和維數災難[10-11]。卷積層的形式如下式所示：

式中：n為層數；k為卷積核；Mj為輸入特征圖的一個選擇；b為每個輸出特征映射添加的偏置；a為輸入特征映射個數；f為卷積層神經元所用的激活函數，其中最常用的為sigmoid函數。亞采樣層表示為：

式中：ins(·)為亞采樣所用的函數；B和b均為輸出特征的偏置。

設計的CNN包含2個卷積層，2個亞采樣層和1個全連接層，卷積層的卷積核為5像素×5像素。神經網絡分為訓練和測試2部分，其中預處理將訓練樣本和測試樣本歸一化為40像素×40像素的圖像。卷積層采用sigmoid函數作為激活函數，亞采樣層無激活函數，采用均值池化。

神經網絡結構如圖8所示，輸入為40像素×40像素的圖像，經過第1個卷積層C1后，得到4個特征映射，卷積核的大小為5像素×5像素，每一個特征映射大小為36像素×36像素，經過亞采樣層S1池化作用后，池化矩陣大小為2像素×2像素，得到4個18像素×18像素的特征映射。用同樣的方式，經過C2卷積之后得到8個特征映射，每一個特征映射大小為14像素×14像素，經過采樣層S2池化作用后，共有8個特征映射，每一個特征映射大小為 7像素×7像素。

圖8 卷積神經網絡結構圖Fig.8 Convolution neural network structure

實驗是在MatLab R2013a下完成的，操作系統為Windows 7,內存為2 GB，主頻為2.10 GHz。實驗所用訓練樣本為400張20像素×40像素的0～9的圖像，測試樣本為100張20像素×40像素的0～9的圖像，格式為BMP。將神經網絡的迭代次數設置為300，得到訓練時間為506.57 s，準確率為97%。

1.5 錠位號輸出

字符分割出的字符大小為20像素×40像素，由于神經網絡的訓練樣本為40像素×40像素的圖像，所以將字符分割出的字符歸一化為40像素×40像素的大小。通過加載已經訓練好的CNN神經網絡對字符識別，并將斷紗錠位號顯示在對話框中。輸入100張圖像進行錠位識別并輸出錠位號，統計程序運行100次的時間為115.20 s，錠位識別程序識別一張圖像所需時間為1.152 s。

2 參數討論

2.1 不同網絡結構

不同網絡結構的參數設定如表1所示。迭代次數都設置為300，實驗結果如圖9所示。由圖可知：1)在一定范圍內，隨著C1層特征映射數量的增大，神經網絡識別的準確率逐漸上升，當C1層特征映射數量超出一定范圍后，神經網絡識別的準確率反而下降；2)特征映射數量與運行時間成正比；3)亞采樣層池化矩陣的選擇對識別的準確率影響較大，若池化矩陣過小，池化作用不明顯，識別的準確率較低；4)池化矩陣過小，數據充分降維，運算量大，運行時間較長。

表1 不同的神經網絡結構Tab.1 Different neural network structures

圖9 不同特征映射在不同池化矩陣下的準確率和運行時間Fig.9 Correct rate (a) and run time (b) of different feature mapping under different pooling matrices

2.2 迭代次數

神經網絡通過迭代運算優化權值，得到理想參數。表2示出迭代次數與準確率和運行時間的關系。可發現，在迭代次數較少的情況下，網絡沒有進行充分的學習，所以準確率較低。隨著迭代次數的增加，準確率緩慢升高，參數不斷被優化，但是準確率的升高速率趨于緩慢。當準確率趨于穩定，不再隨著迭代次數的增加而增加時，說明網絡呈收斂性，性能已達到最優。同時，迭代次數與運行時間成正比例關系。

表2 不同迭代次數下的準確率和運行時間Tab.2 Correct rate and run time of different iterations

2.3 標識遮擋

相機在移動過程中采集的標識圖像有可能出現紗線遮擋標識的情況(見圖1(b))，標識受到紗線的干擾，但是紗線干擾的情況對標識的定位分割沒有影響，標識可準確地從原始圖像中分割出來。然而進行字符分割時，遮擋的紗線分割出的字符圖像如圖10(a)所示。由于紗線的干擾，導致后續的字符識別錯誤率升高。為排除這一干擾，對圖像進行腐蝕，腐蝕后的字符圖像如圖10(b)所示。對比后可發現，紗線基本被腐蝕掉，同時字符信息被保留，結構清晰。

圖10 腐蝕前后的分割字符Fig.10 Split character before(a) and after(b) corrosion

細紗生產過程中出現斷紗的情況，當斷紗位置發生在標識前時，標識前不存在紗線；當斷紗位置發生在其他位置時，標識前存在紗線。這2種情況都不會影響標識的錠位分割及字符的分割識別。

2.4 多個標識

相機移動過程中采集錠位圖像，圖像中可能出現不止一個標識圖像(見圖1(c))，當一個標識完全出現時，上一個標識還沒有完全消失在相機中，這樣才能保證相機采集到的圖像中每一幅都包含標識圖。當圖像中出現2個標識時，不完整的標識圖會對標識分割及識別產生干擾，分割出的字符如圖11所示。

圖11 多標識字符分割圖
Fig.11 Character segmentation graph with multiple marks

針對這種情況，對錠位二值圖像的各個連通域進行標記并計算面積，只保留最大連通域，如圖12所示。通過保留最大連通域的方式，可有效地排除其他標識的影響，準確提取標識，錠位識別準確率也大大提高。

圖12 保留單一標識Fig.12 One single mark

3 結 論

基于卷積神經網絡，提出一種細紗斷紗定位系統。對細紗錠位粘貼標識，通過巡回的工業相機采集紡紗段圖像，對斷紗圖像進行錠位標識分割、標識字符分割，對卷積神經網絡進行訓練并用于標識字符識別，最終將識別出的斷紗錠位號輸出。從網絡結構參數設置和迭代次數2個方面研究了對神經網絡識別準確率及運行時間的影響，實驗網絡由2個卷積層、2個亞采樣層和1個全連接層構成，迭代次數為300，網絡識別準確率達到了97%。但是本文設計的系統也存在一些不足：標識字符由數字組成，字母與數字的組合可擴大適用范圍；工業相機巡回速度較慢，后期有待提高小車的巡回速度；僅對卷積神經網絡的傳統算法進行研究，采用了均值池化算法，其他池化算法還有待研究。

參考文獻：

[1] 宋曉亮, 劉建立, 徐陽, 等. 光電式環錠斷紗在線檢測系統[J]. 紡織學報, 2014, 35(8): 98-103.

SONG Xiaoliang, LIU Jianli, XU Yang, et al.On-line detecting system based on optoelectronic technology for ring spun-yarn breakage[J]. Journal of Textile Research, 2014, 35(8): 98-103.

[2] 李強, 楊藝, 劉基宏, 等. 賽絡紡粗紗斷紗在線檢測[J]. 紡織學報, 2016, 37(10): 120-124.

LI Qiang, YANG Yi, LIU Jihong, et al. Online detection of roving strand broken in siro-spinning[J]. Journal of Textile Research, 2016, 37(10): 120-124.

[3] 賈世杰, 楊東坡, 劉金環. 基于卷積神經網絡的商品圖像精細分類[J]. 山東科技大學學報(自然科學版), 2014, 33(6): 91-96.

JIA Shijie, YANG Dongpo, LIU Jinhuan. Product image fine-grained classification based on convolutional neural network[J]. Journal of Shandong University of Science and Technology(Natural Science Edition), 2014, 33(6): 91-96.

[4] 謝永祥, 董蘭芳. 復雜背景下基于HSV空間和模板匹配的車牌識別方法研究[J]. 圖學學報, 2014, 35(4): 585-589.

XIE Yongxiang, DONG Lanfang. License plate recognition in complex background base on HSV space and template matching[J]. Journal of Graphics, 2014, 35(4): 585-589.

[5] 陳明華. 印刷體數字識別算法研究[D]. 武漢：華中科技大學, 2012: 1-10.

CHEN Minghua. The study of printed numeral recognition[D]. Wuhan：Huazhong University of Science and Technology, 2012: 1-10.

[6] 丁偉. 改進神經網絡算法在車牌識別中的應用[J]. 計算機仿真, 2011, 28(8): 359-362，366.

DING Wei. Application of license plate recognition based on improved neural network[J]. Computer Simulation, 2011, 28(8): 359-362，366.

[7] 趙志宏, 楊紹普, 馬增強. 基于卷積神經網絡 LeNet-5的車牌字符識別研究[J]. 系統仿真學報, 2010, 22(3): 638-641.

ZHAO Zhihong, YANG Shaopu, MA Zengqiang. License plate character recognition based on convolutional neural network LeNet-5[J]. Journal of System Simulation, 2010, 22(3): 638-641.

[8] 王璐. 基于MatLab的車牌識別系統研究[D]. 上海：上海交通大學, 2009: 1-10.

WANG Lu. Research of plate license recognization system based on MatLab[D]. Shanghai：Shanghai Jiao Tong University, 2009: 1-10.

[9] 金立生, 王榮本, 儲江偉, 等. 視覺導航自動車輛用BP神經網絡數字識別方法的研究[J]. 計算機工程與應用, 2004(14): 18-21.

JIN Lisheng, WANG Rongben, CHU Jiangwei, et al. Study on numerical recognition method of vision navigate AGV based on BP neural network[J]. Computer Engineering and Applications, 2004(14): 18-21.

[10] 杜選, 高明峰. 人工神經網絡在數字識別中的應用[J]. 計算機系統應用, 2007(2): 21-22，27.

DU Xuan, GAO Mingfeng. The application of identifying numbers on artificial neural network[J]. Computer Systems Applications, 2007(2): 21-22，27.

[11] 雙小川, 張克. 基于統計和結構特征的手寫數字識別研究[J]. 計算機工程與設計, 2012, 33(4): 1533-1537.

SHUANG Xiaochuan, ZHANG Ke. Research of handwritten numeral recognition based on statistical and structure characteristics[J]. Computer Engineering and Design,2012, 33(4): 1533-1537.