基于自適應神經模糊推理系統的紙病二次辨識

王亞波 周 強,* 王偉剛 王 瑩

(1.陜西科技大學電氣與信息工程學院，陜西西安，710021;2.陜西科技大學材料科學與工程學院，陜西西安，710021)

·紙病二次辯識·

基于自適應神經模糊推理系統的紙病二次辨識

王亞波1周 強1,*王偉剛1王 瑩2

(1.陜西科技大學電氣與信息工程學院，陜西西安，710021;2.陜西科技大學材料科學與工程學院，陜西西安，710021)

針對造紙生產線上寬幅高速紙機紙病檢測系統快速性和精確性的挑戰，提出“工業相機+FPGA(Field-Programmable Gate Array)+計算機”模式下的基于自適應神經模糊推理系統的紙病二次辨識方法。使用CCD相機采集紙張圖像，通過FPGA完成圖像預處理和一次辨識(粗辨識+過辨識)；計算機通過自適應神經模糊推理系統(ANFIS)對疑似紙病區域二次辨識(精確辨識)，判斷出紙病和種類。實驗表明，該方法能夠準確地辨識各種紙病。

機器視覺；FPGA；紙病二次辨識；自適應神經模糊推理系統(ANFIS)

隨著造紙生產自動化的不斷提升，當前紙機幅寬可達11 m，最高車速可達2000 m/min，加之造紙纖維、工藝流程、機械設備等不確定因素存在，使得紙張抄造過程中會面臨缺陷(常見外觀紙病)的風險，外觀紙病嚴重影響紙張外觀、降低成紙質量，給企業造成直接或間接的損失。傳統的以人工肉眼完成紙病檢測的方法因其檢測效率差、精度低、實時性較低及檢測標準不一等缺點早已不能滿足生產需要；新興的基于機器視覺的紙病在線檢測技術被應用于造紙工業中[1]，該技術通過對紙張圖像處理和辨識，能夠辨識出褶皺、黑斑、孔洞、光斑、邊緣裂縫等常見紙病，其分辨率可以達0.5 mm，是紙病在線檢測技術的發展方向。

目前，基于機器視覺的紙病在線檢測系統一般采用“工業相機+計算機”的結構模式和一次辨識的工作方式[2]，即(線陣)工業相機拍攝紙張表面，由相機的采集卡形成紙張表面的整幅圖像并傳遞給計算機，由計算機對圖像進行處理，通過圖像預處理、紙病特征提取和紙病辨識等環節判斷出有無紙病以及紙病的種類[3]。但是，由于作為檢測系統核心的計算機數據處理能力的限制，檢測系統越來越難以實時處理寬幅、高速紙機帶來的大量圖像數據。以10 m 寬紙幅、1500 m/min車速的造紙生產線為例，要達到0.5 mm紙病分辨率，每秒要處理的圖像數據將達到1G以上，這是以串行數據處理方式為主的計算機運算能力無法達到的，使得紙病檢測系統的快速性和精確性難以持續提升。

圖1 紙病在線檢測系統硬件框圖

圖2 FPGA系統配置

為了解決基于機器視覺的紙病檢測系統數據處理能力不足的問題，本課題在“工業相機+FPGA+計算機”的檢測系統結構模式下，提出一種紙病“二次辨識”的處理方法。由FPGA承擔紙病一次辨識，一次辨識的內容包括：①紙張圖像預處理；②紙病粗判(僅判斷紙病可能存在否，不判斷紙病的種類)；③提取疑似紙病區域；④將疑似紙病區域發送給計算機。由計算機對疑似紙病區域進行精確的二次辨識，二次辨識內容包括：①多特征量的提取；②基于自適應神經模糊推理系統(ANFIS)的紙病精確辨識。

該方法的特點是利用分布式的硬件系統，分解紙病檢測的快速性問題和精確性問題。利用FPGA的并行數據處理能力對海量紙張表面圖像數據進行預處理和粗辨識，根據“過辨識”原則將疑似紙病區域判斷出來并傳送給計算機；由于疑似紙病部分的數據僅占總數據量0.1%以下，計算機的運算負擔大大減輕，可以利用計算機編程的靈活性，實現復雜的算法以精確辨識紙病類型。

實驗表明，“工業相機+FPGA+計算機”模式下基于自適應神經模糊推理的紙病在線檢測系統運行穩定，檢測速度快、精度高，滿足造紙現場紙病檢測實時高效的應用需求。

1 紙病檢測系統結構和工作方式

本課題按照“工業相機+FPGA+計算機”結構模式，構建一種分布式的紙病檢測硬件系統，該系統按照二次辨識的工作方式檢測紙病。

1.1 “工業相機+FPGA+計算機”的紙病檢測硬件系統結構

與傳統“工業相機+計算機”的紙病檢測系統結構不同，本課題構建的是“工業相機+FPGA+計算機”的具有分布式結構的紙病檢測系統，該系統由線性光源系統、CCD工業相機、FPGA、計算機、輔助設備(含報警器和投標器(當系統檢測到缺陷時即輸出信號控制投標器在產品邊沿打上標記))等組成，系統結構見圖1。

(1)光源系統搭建。由于光源的選擇及其照射方式會嚴重影響相機成像灰度、圖像均勻性及缺陷對比度等。綜合考慮各種因素，本系統選擇線型LED前光源和線型LED背光源，同時為線陣CCD工業相機所拍攝的線型區域進行照明，且每個LED點光源的亮度可調，以確保被測紙張照明區域亮度的均勻性。

(2)CCD相機的選擇。根據對紙病檢測系統0.5 mm 的分辨率要求，以及紙機車速400 m/min和幅寬3 m等工況條件，選擇3臺DALSA的Spyder2系列線陣CCD相機。

(3)FPGA系統配置。為了解決檢測系統的快速性問題，承擔紙張圖像采集、預處理、紙病一次辨識和疑似紙病分割與傳輸等功能的FPGA系統，其配置如圖2所示[4]，按模塊分為：Camera Link接口模塊、視頻圖像控制采集模塊、用戶自定義邏輯模塊(圖像處理)、以太網控制模塊、存儲模塊、Nios II軟核處理器和按鍵等[5]。

1.2 二次辨識的工作方式

現有的紙病檢測系統都是采用一次辨識的工作方式，即將紙病圖像預處理、特征量提取和紙病分類等工作，由計算機單獨完成。這種工作方式給計算機帶來了巨大的運算量，造成計算機卡頓、死機等現象頻發。為此本課題提出了一種二次辨識的工作方式，工作過程見圖3。

(1)FPGA一次辨識

利用FPGA的數據并行處理能力，每個FPGA負責對一臺CCD相機的紙張表面圖像進行預處理，按照“過辨識”的原則對紙病進行“粗”辨識，判斷出疑似紙病，分割出疑似紙病區域并將該區域傳送至計算機。由于FPGA承擔了98%以上的數據處理任務，從而解決了系統的快速性問題。

圖3 紙病檢測二次辨識的工作示意圖

(2)計算機二次辨識

利用計算機中運行的高級語言平臺(本課題采用VS2010)的強大編程能力，通過特征提取環節和分類環節，對疑似紙病進行二次辨識，確定紙病的存在并精確判斷出紙病的種類[6-7]。該工作解決了紙病檢測的精確性問題。

2 基于FPGA的紙病一次辨識

FPGA接收到工業相機通過Camera Link通信線傳送過來的線陣數據后，進行以紙病一次辨識為核心的紙張表面圖像處理，具體過程如下。

(1)圖像預處理

首先，對CCD線陣相機拍攝到的線陣數據進行暫存和整合，構成一幀完整的紙張表面圖像數據，即每一幅1024 mm×480 mm紙張表面圖像形成一個2048×480的8位二進制灰度矩陣F：

(1)

其中，2048≥c≥1 480≥d≥1。

其次，對矩陣F進行中值濾波處理，消除其噪聲成分，獲得矩陣F′。

(2)紙病一次辨識

首先，使用5×5的Sobel算子對F′進行處理，獲得一個2048×480的矩陣S：

(2)

其次，設定一個上限閾值smax和一個下限閾值smin，對S中的每一個元素進行二值化處理。

(3)

其中，2048≥a≥1，480≥b≥1，S中為1的元素就是可能存在紙病的對應區域，為了不漏掉任何紙病，本課題制定了“過辨識”的原則，將[smin，smax]的范圍設定的較窄，這樣就將一些不能確定是否存在紙病的區域也劃入到疑似紙病區域，由計算機進行二次辨識。

(3)疑似紙病區域分割

根據矩陣S中元素“1”組成的區域即一次辨識得到的疑似紙病區域，將這類區域投影到矩陣F中，使用最小外接矩形將這些疑似紙病區域Wi(i=1，2，…)提取出來。

(4)疑似紙病圖像傳輸

統計表明，疑似紙病區域Wi的數據量總和僅僅占矩陣F數據量的0.01‰～1‰，以本系統400 m/min車速紙機，每個線陣相機掃描寬度為1 m，辨識分辨率0.5 mm為例，每個FPGA要處理的圖像數據為26.7 M/min，FPGA處理后得到的疑似紙病區域的數據量小于27 K/min，因此本課題采用以太網將數據由FPGA傳送給計算機[8]。

FPGA一次辨識的具體模塊實現如圖4所示。

圖4 FPGA的一次辨識模塊設計

3 基于ANFIS的紙病檢測二次辨識

為了確定疑似紙病并分辨出紙病類型，計算機進行紙病的二次辨識，該過程包括特征量提取和紙病確定與分類兩個步驟。

3.1 紙病二次辨識的特征量選取

按照完備性和獨立性的原則選擇能夠反映紙病及類型的特征量。最常用的灰度特征，如灰度均值，能夠反映黑斑、孔洞和亮斑等紙病的存在，另外由于紙病檢測系統背光源的使用，使得紙張圖像灰度的均勻性變化突出，灰度標準差這個特征量能夠反映紙張表面質量，而且能夠辨識隱藏于紙張內部的缺陷，但無論是灰度均值還是標準差對于褶皺、劃痕、紙張邊緣裂紋等灰度特征差異較小的紙病則無明顯變化；紋理特征(如灰度共生矩陣)能夠反映褶皺、劃痕等紙病的存在；而幾何特征(如周長面積比)能夠反映紙張邊緣裂紋等形狀特殊的紙病存在。因此本課題選擇的紙病二次辨識的特征量為：灰度特征包括灰度均值和灰度標準差；幾何特征包括紙病區域的周長面積比；紋理特征包括灰度共生矩陣的自相關和灰度共生矩陣的熵。

(1)灰度均值

(4)

式中，g(x，y)表示濾波后圖像在(x,y)處的灰度值，∑{}表示對紙病圖像S內像素點灰度值求和，M為紙病區域內像素點的個數。

(2)灰度標準差

(5)

灰度標準差用以描述紙病區域內灰度值相對灰度均值的偏離程度。

(3)周長面積比

Ratio=P/A

(6)

式中，周長P=∑{F(x，y)=1|x，y∈L}，∑{}表示統計紙病區域L上的像素點灰度值F(x，y)=1的個數；紙病區域S上的面積表示為A=∑{F(x，y)=1|x，y∈S}。F(x，y)為二值化紙病圖像灰度值，∑{}表示統計紙病區域S上的像素點灰度值F(x，y)=1的個數。

(4)灰度共生矩陣的自相關

(7)

自相關用來度量圖像的灰度級在行或列方向上的相似程度，因此，相關值得大小反應了局部灰度相關性。

(5)灰度共生矩陣的熵

(8)

熵被用來度量圖像紋理的隨機性。當共生矩陣中所有值均相等或者像素值表現出最大的隨機性時，熵最大，即圖像越復雜，熵值越大。

計算出以上5個特征量后，需要在分類辨識器中對其進行信息融合，從而實現紙病的二次辨識。

3.2 基于ANFIS的紙病分類辨識器

自適應神經模糊推理系統(Adaptive Neural-Fuzzy Inference System，ANFIS)是一種將模糊推理系統的模糊語言表達能力和神經網絡的自學習能力有機地結合起來的技術[9]。它利用神經網絡的自學習機制來確定和優化模糊邏輯規則及隸屬度函數參數，以使模糊系統具有以任意精度逼近非線性函數的能力，從而使ANFIS運用于非線性系統的精確辨識成為可能[10]。因此本課題采用ANFIS技術構建紙病分類辨識器，該辨識器結構圖如圖5所示。

3.2.1ANFIS紙病分類辨識器的構建

(1)輸入量和輸出量

構建的ANFIS具有5個輸入量、6個輸出量以及4個前向神經網絡層，具體見圖5。5個輸入量分別是灰度均值Mean、灰度標準差Std、周長面積比Ratio、自相關Corr、灰度熵ENT；6個輸出量s1、s2、…、s6，其二值化的輸出量1或-1，分別代表ANFIS的判斷出黑斑、亮斑、孔洞、褶皺、劃痕、裂紋等6種紙病的結果。

(2)四層ANFIS的結構

第一層網絡(紙病特征量模糊化層)，由15個高斯函數組成，它們是對灰度均值、標準差等5個特征量按照L(大)、M(中)、S(小)3種模糊語言進行模糊化計算，函數的輸出量是某一特征量在某一模糊語言下的隸屬度，計算見式(9)。

(9)

式中，i=1，2，…，15；j=1，2，…，5；X1，X2，…，X5分別為Mean，Std，Ratio，Corr，ENT等輸入量。

圖5 ANFIS紙病分類辨識器結構圖

第二層網絡(紙病發生概率模糊規則層)，由6個神經元組成，其輸出分別代表黑斑、亮斑、孔洞、褶皺、劃痕、裂紋等6種紙病的發生概率，神經元的激勵函數計算見式(10)。

(10)

式中，k=1，2，…，6；wik是第一、二層間網絡權值，其物理意義是某一特征量(模糊語言)與某種紙病的關聯關系，紙病多特征量的信息融合就發生在該層。

第三層網絡(紙病發生概率歸一化層)由6個神經元組成，該層的神經元激勵函數計算見式(11)。

(11)

第四層網絡(二值化判斷層)由6個神經元組成，激勵函數采用為二值函數表示，見式(12)。

(12)

函數輸出1代表有紙病或-1代表無紙病。

該ANFIS中有一些參數需要通過訓練來確定，包括：第一層激勵函數的參數ai、bi(i=1，2，…，15)，第四層激勵函數的參數ck(k=1，2，…，6)，以及第一、二層間網絡權值wik(i=1，2，…，15；k=1，2，…，6)。

3.2.2ANFIS紙病分類辨識器的訓練

將{xi′，sk′|i=1，2，…，5；k=i=1，2，…，6}訓練樣本的xi′和sk′分別從輸入端和反饋輸入端輸入，根據ANFIS擬合偏差，利用BP算法沿著由輸出端到輸入端的反方向依次對ANFIS的ck、wik，ai和bi等126個參數進行訓練，并使用部分未使用過的訓練樣本檢驗ANFIS的泛化能力。完成訓練的ANFIS就可以作為紙病分類辨識器工作。

4 實 驗

為了檢驗提出的紙病在線檢測系統效果，本課題選取邊緣裂縫、黑斑、孔洞、亮斑、褶皺、劃痕等6種常見紙病，分別選取每種紙病圖像200幅，其中140張圖像用于訓練基于ANFIS的紙病分類辨識器，60幅圖像用于預測分類辨識結果。

4.1 實驗過程

(1) 一次辨識

對所采集到的6種常見紙病圖像在FPGA上硬件實現所編寫的算法模塊，實現模塊如上圖4所示，完成紙病的一次辨識和疑似紙病區域分割，由于篇幅限制，僅給出孔洞及邊緣裂縫的處理結果見表1。

表1 FPGA一次辨識結果

通過邊緣檢測可以獲得紙張圖像的紙病區域，對不規則類型紙病求取其最小外接矩形對該區域進行分割，以降低數據的傳輸量和計算機處理的數據量。

表2 紙病特征量的提取

(2)二次辨識

通過對紙病圖像的灰度特征、幾何特征及紋理特征的常見特征量的實驗仿真和分析，根據特征量選取的原則，最終確定以下特征量，實驗數據如表2所示。

不同的紙病其特征向量也表現不同，通過選擇不同的特征量構成的紙病特征向量與紙病成一一對應關系。從表2可以看出，黑斑的灰度均值最小，而亮斑的灰度均值最大；孔洞的灰度標準差最大；周長面積比可以明顯地區分劃痕、裂縫和褶皺等線形紙病與黑斑、孔洞和亮斑等弧形紙病；褶皺的熵略低于邊緣裂縫，但其自相關卻高于邊緣裂縫；劃痕的自相關低于亮斑，但普遍高于其他紙病。可見，通過上述特征量可以明顯且精確地辨識紙病種類，從而避免紙病誤判的風險。

計算機端利用VS2010編程平臺采用C++編程語言編程的靈活性，編寫上位機實現對一次辨識后所傳輸紙病圖像的特征量提取、輸入Mean、Std、Ratio、Corr、ENT等特征量訓練ANFIS分類器，ANFIS根據式(9)～式(11)進行前向推理運算，使用LMS算法根據輸出誤差e修改網絡權值，從而實現紙病的二次辨識。

4.2 實驗結果和實驗分析

通過每類紙病各160幅對ANFIS分類辨識器訓練，之后輸入每類紙病各60幅驗證分類器的辨識精度，實現對FPGA上傳的疑似紙病區域的二次辨識。其辨識結果如表3所示。

表3 紙病辨識結果

表3中分別給出了6種紙病的辨識結果，其中，辨識率為正確辨識出紙病的比值；誤檢率為檢測為紙病但分類出錯所占比值；漏檢率表示未能辨識出紙病所占比值。由表3可以看出，孔洞的辨識正確率最高，而劃痕的辨識正確率最低，究其原因主要在于劃痕的目標灰度和背景灰度區別較小，根據灰度難以檢測到劃痕，導致劃痕的漏檢率較高(考慮到二次辨識的時效性，若對彩色圖像處理，無疑會增加處理的數據量和算法的復雜性)。總體而言，基于本課題提出的辨識方法，不僅具有較高的辨識正確率，而且具有一定的魯棒性。

將FPGA硬件平臺和計算機上算法實現的算法時間進行統計，結果見表4。

從表4中可以看出，利用FPGA的并行運算可以快速完成圖像的一次辨識并大大減小圖像的傳輸量，從而極大地提高了計算機對圖像進行二次辨識的速度，這將使紙病標記及產品復卷剔除更為精準。

表4 FPGA與PC算法時間統計

5 結 論

本課題在分析當前基于機器視覺的紙病在線檢測系統的模式及其制約的基礎上，提出了“工業相機+FPGA+計算機”的檢測系統結構模式下紙病二次辨識的處理方法。利用FPGA的并行運算實現紙病一次辨識的硬件加速，同時有效減少傳輸至計算機端的數據量；在計算機上利用復雜算法編程的靈活性提取紙病多個特征量訓練基于ANFIS的紙病分類器，從而實現紙病的實時精確地辨識。實驗表明，該方法檢測速度快、檢測精度高，該方法對實際生產具有一定的指導意義。

[1] GUAN Jian-hua. Web Inspection Technology and Application in Paper Making[J]. China Pulp & Paper, 2000, 19(6): 32．

關健華. 全幅紙病檢測技術及在造紙中的應用[J]. 中國造紙, 2000, 19(6): 32．

[2] YANG Bo, ZHOU Qiang, ZHANG Gang-qiang. Study on Algorithm of Paper Defect Detection Based on Geometric and Gray Feature[J]. China Pulp & Paper, 2011, 30(9): 50．

楊 波, 周 強, 張剛強. 基于幾何及灰度特征的紙病檢測算法研究[J]. 中國造紙, 2011, 30(9): 50．

[3] ZHOU Qiang, CHEN Ying, SHEN Tian-yu, et al. Review on Development of Paper Defect Detection System Based on Machine Vision Technology[J]. China Pulp & Paper, 2016, 35(5): 72.

周 強, 陳 穎, 沈天宇, 等. 基于機器視覺的紙病檢測系統發展綜述[J]. 中國造紙, 2016, 35(5): 72．

[4] LIU Yong, ZHOU Qiang, LIU Tao, et al. Paper Defect Pretreatment System Based on FPGA[J]. China Pulp & Paper, 2013, 32(8): 46．

劉 勇, 周 強, 劉 濤, 等. 基于FPGA的紙病檢測預處理系統研制[J]. 中國造紙, 2013, 32(8): 46．

[5] Tang Wei, Wang Xiantong, Wang Feng, et al. Design and Implementation of Web Inspection System Based on FPGA and CCD Camera[J]. Transactions of China Pulp and Paper, 2016, 31(1): 57.

湯 偉, 王先通, 王 鋒, 等. 基于FPGA和CCD相機的紙病檢測系統的設計與實現[J]. 中國造紙學報, 2016, 31(1): 57．

[6] WANG Yong-jun, CHEN Wen-kai, XIONG Zhi-xin, et al. Web Inspection Based on Hough Transform[J]. China Pulp & Paper, 2010, 29(3): 59.

王勇軍, 陳文凱, 熊智新, 等. 基于Hough變換的紙病檢測分析[J]. 中國造紙, 2010, 29(3): 59．

[7] Ren Peng. Detection System of Paper Defects Based on Machine Vision and Implimentation with C/C++[D]. Xi’an: Shaanxi University of Science & Technology, 2013.

任 鵬. 基于機器視覺C/C++實現的紙病檢測系統研制[D]. 西安: 陜西科技大學, 2013．

[8] Ma Wenchao, Zhang Tao. Ethernet High-speed Transmission Platform Based on FPGA[J]. Computer Engineering, 2012, 38(1): 242．

馬文超, 張 濤. 一種基于FPGA的以太網高速傳輸平臺[J]. 計算機工程, 2012, 38(1): 242．

[9] Wang Tao, Liu Yuan, Xie Zhenping. Video Smoke Detection Based on Adaptive Neturo-fuzzy Inference System[J]. Computer Engineering, 2011, 37(23): 186．

王 濤, 劉 淵, 謝振平. 基于自適應神經模糊推理系統的視頻煙霧檢測[J]. 計算機工程, 2011, 37(23): 186．

[10] Liu Qian, Han Pu, Wang Dongfeng. Soft-Sensing of Oxygen Content in Flue Gas Based on ANFIS Model[J]. Computer Simulation, 2014, 31(10): 437．

TheSecondaryIdentificationofPaperDefectsBasedonAdaptiveNeural-fuzzyInferenceSystem

WANG Ya-bo1ZHOU Qiang1,*WANG Wei-gang1WANG Ying2

(1.CollegeofElectricalandInformationEngineering,ShaanxiUniversityofScience&Technology,Xi’an,ShaanxiProvince, 710021;2.MaterialScienceandEngineeringInstitute,ShaanxiUniversityofScience&Technology,Xi’an,ShaanxiProvince, 710021)

In order to ensure the contradiction between the speed and accuracy in paper defects detection on the wide and high speed paper machine, a method of paper defects secondary identification was put forward based on adaptive neural-fuzzy inference system (ANFIS) on the mode of “FPGA+computer”. The paper images collected by CCD cameras were completed image preprocessing and the first identification through FPGA; by using the ANFIS, the computer was able to complete the second identification of the suspected paper defects area to determine whether the paper defects existed and its type. Experiments showed that the method could accurately identify various paper defects.

machine vision; FPGA; secondary identification of paper disease; adaptive neural-fuzzy inference system (ANFIS)

王亞波先生，在讀碩士研究生；主要研究方向：機器視覺。

TS736

A

10.11980/j.issn.0254- 508X.2017.12.010

2017- 07-19(修改稿)

陜西省教育廳專項科技項目(16JK1105)；陜西省科技攻關項目(2016GY- 005)。

*通信作者：周 強，博士，教授；主要研究領域為智能信息處理技術。

(*E-mail: zhouqiang@sust.edu.cn)

馬 忻)