基于Faster RCNN的布匹瑕疵識別系統①

蔡兆信,李瑞新,戴逸丹,潘家輝

(華南師范大學 軟件學院,佛山 528225)

1 引言

1.1 研究背景

經歷了新中國成立后70 多年的社會主義建設,我國的紡織業取得了飛躍的發展,目前已經形成了種類齊全、生產布局合理、原料充足的生產局面.但步入信息化時代,紡織業產品質量檢測仍停留在依靠人眼、經驗的基礎之上,容易因工作人員操作失誤、工廠設備的老化故障或環境溫度的變化等原因造成漏檢、檢錯等情況[1].

少數紡織企業能通過智能驗布系統解決其瑕疵檢出率低、人員成本高等問題,但其技術仍需不斷優化.通過自動化的布匹瑕疵檢測,促使我國紡織工業邁向智能科技創新水平,推動紡織工業行業的科技進步,滿足中國紡織工業領域的發展需求仍然任重而道遠[2].

1.2 研究現狀

國內外學者已提出許多布匹瑕疵檢測算法,如Kandaswarmy 等研究彩色紋理圖像在不同光照下的特征分析技術,選擇合適特征對其進行紋理有效性圖像檢測[3],Shukla 等提出基于DSP 的視覺檢測系統方法,實時性強[4].

目前目標檢測算法主要分為3 種類別:(1)基于區域建議的目標檢測與識別算法,如RCNN,Fast RCNN和Faster RCNN;(2)基于回歸的目標檢測與識別算法,如YOLO 和SSD;(3)基于搜索的目標檢測與識別算法,如基于視覺注意的AttentionNet,基于強化學習的算法,其中目前最常用的目標檢測算法為Faster RCNN,YOLO和SSD[5].YOLO 和SSD 算法主要針對大物體,且速度方面相對比Faster RCNN 快,但對于小物體目標檢測其表現結果卻不太理想.

本研究基于Faster RCNN 算法開發一款紡織布匹表面瑕疵識別系統.該系統通過采集高速相機拍攝的來自坯布、面料、服裝的帶有瑕疵的產品的影像數據,完成對布匹圖像上瑕疵的檢測,對布匹上的各種疵點精準檢出,并準確定位瑕疵坐標位置.

2 數據擴展

2.1 大規模學習算法的難點

大多數優秀的神經網絡都需要設置大量的參數,以深度學習領域最常見的圖像識別來看,其中一種常用的特征提取模型為VGG16,用于初步提取圖像的特征值,然后再做后續的處理,如分類、邊框提取.要讓這些優秀的神經網絡模型正常工作我們通常需要大量的數據,然而實際環境下我們并沒有如此龐大的數據集[6].幾種模型對比如表1所示.

除此之外,數據集里各類別的數據量比例懸殊也會影響模型的訓練效果.因此在數據不均衡時,為了獲得較高的準確率,一般需要更多且更均勻的數據.

2.2 圖像數據增強

克服數據量供不應求和數據類別參差不齊的一種常用的做法就是數據增強[7].一般神經網絡在剛開始或欠訓練的時候,并不能區分出相似的數據.將一張含有某物體的圖片進行放大縮小加噪降噪的操作,早期的網絡也會認為是同一個物體.數據增強主要有兩個好處:(1)增加訓練的數據量,提高模型的泛化能力;(2)增加數據噪聲量,提高模型的魯棒性.

表1 VGG、DeepVideo 和GNMT 模型對比

3 布匹瑕疵檢測與識別

3.1 目標檢測與識別算法

本研究的數據集中,缺陷區域面積占比不到1%的布匹樣本超過了82%,因此我們選擇檢測速度較低但對小物體較敏感的Faster RCNN 網絡(對比圖如圖1).

圖1 Faster RCNN 和SSD 在VGG16 模型上對小物體的檢測mAP 對比圖

Faster RCNN是2016年提出的一種新型神經網絡[8],是從RCNN、Fast RCNN 進一步改進而來,其拋棄了Selective Search[9]做法直接利用RPN網絡來計算候選框,使得目標檢測速度大幅度提高.

另外,我們針對布匹瑕疵目標小的特點,調整RPN網絡的anchor 大小和數量,以及學習率等參數,提高了檢測的準確率.

3.2 Faster RCNN 原理

Faster RCNN 主要由區域生成網絡(RPN)和Fast RCNN 構成(圖2),在經過基礎的卷積神經網絡(本實驗采用VGG16)初步提取特征值后,其中RPN 主要用于生成可能存在目標的候選區域(proposal),Fast RCNN用于對候選區域內的目標進行識別并分類,同時進行邊界回歸[10]調整候選區域邊框的大小和位置使其更精準地標識瑕疵目標.Faster RCNN 相比前代的RCNN 和Fast RCNN 最大的改進是將卷積結果共享與RPN 和Fast RCNN 網絡,在提高準確率的同時提高了檢測速度.

圖2 Faster RCNN 網絡結構圖

RPN 網絡是一個全卷積網絡,采用一個n×n的滑動窗口在上一層共享卷積網絡的輸出特征圖上進行滑窗選擇,對每一個點同時預測k個被稱為錨(anchor)的初始候選區域.對于一張大小為w×h的卷積特征圖,則可得到w×h×k個錨.接著將每個點映射到一個低維向量,用作后續的邊框分類和邊框回歸.邊框分類中,通過Softmax 分類anchor 得到對應的前景(foreground)和背景(background),最終初步提取出foreground anchors作為目標候選區域.而邊框回歸則用于回歸修正出錨的邊界框,獲得精確的proposals.因此要準確分類和回歸邊框需要對RPN 網絡進行訓練以得到正確的回歸參數.在訓練RPN 的過程中采用端到端(end to end)的方式,損失函數通過平衡因子將分類損失和回歸損失相結合.訓練好后的RPN 得到的候選區域,再在后續Fast RCNN 再做進一步的檢測和糾正.

Fast RCNN 網絡通過ROI 池化后,輸出結果為固定長度的特征向量.將特征向量經過全連接層后分別輸入到Softmax 分類器和邊框回歸網絡(bounding box regression)分別獲得邊框區域內對應的類別和邊框偏移量,回歸得到更加精確的目標檢測框.

3.3 調整RPN 網絡

RPN 的輸入是卷積層后的特征映射(feature maps),通過在特征圖中運用anchor 機制和box regression,單獨判斷和定位瑕疵位置的網絡.Anchor 以每一個錨點為中心生成大小不同的k個框,致力于使目標對象能出現在某個框中.

統計顯示,本研究的數據集里瑕疵缺陷區域面積占比不到1%的布匹樣本超過了82%,因此,針對小目標的問題,我們通過調整Faster RCNN 中的RPN 網絡的候選框的大小和數量來提高檢測率.以圖3、圖4為例,原始的RPN 網絡中每個點擁有9 個矩形,共有3 種形狀,長寬比大約為0.5,1.0 和2.0,scale 為8,16,32.在本實驗中,選擇k=36,即每個點擁有36 個anchor,針對布匹瑕疵目標小的特點,scale 為4,8,16,設置候選框的長寬比為0.1,0.5,1,2,5,scale 為4,8,16.通過移動anchor,利用Softmax 函數判斷是否為瑕疵區域,即判定positive 與negative,實現二分類,初步提取了檢測目標候選區域box.當得到positive 的區域后,對瑕疵邊框進行坐標回歸運算,獲取瑕疵區域更加精準的proposals,同時剔除太小和超出邊界的proposals.

圖3 候選框調整前

圖4 候選框調整后

3.4 區域推薦網絡(RPN)損失函數

RPN 網絡層負責候選窗口的分類和回歸,本文中PRN 網絡的損失函數為分類交叉熵損失和回歸SmoothL1損失的總和,定義如下:

3.4.1 分類交叉熵損失

分類交叉熵公式定義為:

RPN 網絡中的分類器將候選框分為前景(foreground)和背景(background),分別標為1 和0,并在訓練過程中選擇256 個候選框.式(2)中,Ncls代表候選框數量,本實驗中候選框數量為256.pi為框內預測目標的概率,為實際目標的概率,定義為:

Lcls(pi,p?i)代表pi和p?i的對數損失,定義為:

3.4.2 回歸SmoothL1損失

回歸SmoothL1公式定義為:

式中,ti為候選框相對于目標所在的真實框的預測的偏移量,為候選框相對于目標所在的真實框的實際的偏移量.ti>和的定義如下:

其中,

Lreg為回歸損失,R為SmoothL1函數,兩者的定義分別為:

4 實驗與結果

本實驗使用的布匹數據集取自2018年太湖新城與阿里云聯合舉辦的“2018 雪浪制造AI 挑戰”天池大賽.實驗中分別進行數據增強化和調整模型的參數,采用9:1 的方式隨機選擇訓練數據集和測試數據集,訓練共迭代45 000 次.

4.1 實驗環境與系統架構

本實驗的在MAC 系統上進行,采用PyCharm 開發工具和MySQL 數據庫,同時利用深度學習框架Tensorflow 1.14.0 和Keras 2.2.4 來搭建并訓練模型,布匹瑕疵檢測系統前端和后臺開發分別采用Bootstrap 和Flask框架.布匹瑕疵檢測系統可運行在瀏覽器(推薦Chrome和Firefox 瀏覽器)上,系統的功能主要由布匹瑕疵識別和瑕疵數據分析組成.在第三方硬件支持上,我們利用Google Colab 來對模型進行訓練.

4.2 實驗過程

4.2.1 數據增強

本文中原始布匹數據集里共有37 種瑕疵類別,但每種類別所包含的數據量不均勻,如圖5,甚至個別數據異常懸殊,如邊擦洞種類有12 張圖片,而粗紗種類僅有2 張,總體而言正常樣本與某些缺陷類的比例超過了10:1.這對后期的訓練工作帶來極大不便,易對原本數據量大的瑕疵檢測出來的準確率比數據量小的要大,甚至模型只會檢測出數據量大的類別,拋棄小數據類別.

研究首先對原始圖像數據進行增強,主要方法有翻轉、亮度變化、加入噪聲、裁剪以及固定角度的旋轉等(圖6),同時還對數據量偏小的類別偏袒,提高類別數量的均衡度.數據增強后,共有4668 張布匹圖片數據.

4.2.2 模型訓練過程和主要參數設置

研究對原始的Faster RCNN 網絡進行調整,對RPN網絡的候選框(或稱錨)進行調整.檢測過程分為5 步:

(1)增強后的布匹數據為4668 張圖片,實驗首先根據4668 張圖片轉化為VOC2007 數據集格式,然后按照20:1 的比例劃分訓練集和測試集;

(2)將測試數據集放入VGG16 模型的初步提取圖像特征值,該層由基礎的卷積層(Conv)、激活層(ReLU)和池化層(Pooling)構成,提取出圖片的特征映射,用于后續的RPN 層和ROI 層,;

(3)用訓練好的RPN 網絡生成候選檢測框,也就是proposal;

(4)收集VGG16 網絡輸出的特征映射和RPN 網絡輸出的proposals,結合起來進一步提取出proposal feature maps,送入后續全連接層判定目標類別;

(5)最后進行分類,利用Softmax 分類器和proposal feature maps 來判斷出檢測框內的布匹瑕疵類別,并再做一個回歸(regression)獲得更為準確的檢測框位置.

訓練過程如圖7所示.主要參數調整如下:

(1)總迭代次數為4.5 萬次;

(2)學習率為0.001;

(3)一次訓練所選取的樣本數(batch size)為256;

(4)候選框的尺度為4,8,16;

(5)候選框的長寬比(ratios)為0.1,0.2,0.5,1,2,5.

4.2.3 實驗結果與分析

實驗對4 種檢測方法(如表2所示)進行對比,4 種方法分別為Fast RCNN (原始網絡+原始數據)、Faster RCNN (原始網絡+原始數據)、Faster RCNN (原始網絡+增強數據)、Faster RCNN (調整網絡參數+增強數據),其中最后一種方法為本研究采用的方法.

圖7 布匹瑕疵檢測流程圖

對比分析4 種檢測方法的結果,Faster RCNN 平均訓練時間總體比Fast RCNN 較長,在調整網絡和增強數據后更為如此,主要由于每個點的候選框(anchor)數量和訓練集的數據量增大導致,但最終平均檢測準確率顯著提升,平均每張圖片的檢測速度的變化幅度也在可接受范圍之內,因此這種檢測方法是可行的.

本研究測試采用的設備性能偏低,但在實際的檢測環境中,若采用性能較好的設備,單張圖片的檢測速度會進一步提升,且準確率也是較為可觀.

對測試數據集進行測試得到的部分結果如圖8所示.在圖中紅色檢測框區域代表布匹瑕疵存在的位置,上方為對于該檢測框區域目標的分類類別以及該類別的置信率.檢測結果如圖8所示,以圖8(d)為例,模型可以同時在一張圖檢測出3 處瑕疵,并分別標識出對應類別的置信率.總體準確率為79.3%.

表2 4 種檢測方法結果對比

圖8 布匹瑕疵檢測結果圖

5 討論與總結

本研究針對原始布匹數據集中各類瑕疵的數據量不均勻以及瑕疵目標小的特點,分別對原始數據進行了增強,并選用對小目標更為敏感的Faster RCNN 網絡,并調整其中RPN 網絡中原始的anchors 大小和數量,提高瑕疵識別的準確率.因此在數據處理和識別算法上有一定的創新,與傳統的使用卷積神經網絡進行檢測和識別有較大的不同.另外研究基于Faster RCNN模型開發了一款基于Web 技術的布匹瑕疵檢測系統,可在布匹生產線和市場等場合用于布匹質量檢測,提前感知生產上的不足和減低布匹買賣的損失.同時該系統使用到目前較為先進的前端開發技術,使系統在用戶交互上更加智能化,操作簡單,互動性強.

本文將增強后的數據放入Faster RCNN 模型中進行訓練,通過4.5 萬次迭代訓練,在檢測設備性能限制下,最終使得每張布匹的檢測時間保持在10 s 以內,測試準確率為79.3%.

盡管相比于其他利用Faster RCNN 檢測布匹瑕疵的研究中90%以上的準確率[11],本文的準確率比較低,但本文是基于數據量少且類別不均勻的基礎上對進行數據增強,且多數布匹瑕疵目標特征不明顯,并針對目標的特點調整Faster RCNN 網絡,同時分類出37 種類別,因此在總體性能上比該研究高.

綜上所述,本研究在數據量不足、各類別的數據量不均勻和目標小的情況下,對現有的技術進行改進并實踐,在布匹生產質量檢測領域中做出了實質性的嘗試.