基于改進的Faster RCNN碳纖維編織物缺陷檢測

趙麟坤 陳玉潔 張玉井 張 豪

（東華大學，上海， 201620）

碳纖維復合材料具有高強度、高模量比、摩擦因數小等優良性能［1］。對碳纖維復合材料進行編織，形成三維結構的碳纖維立體編織物，具有制造成本較低、力學性能優異等優點，已被廣泛應用于航空航天、建筑、能源、醫療等領域［2-3］。但是碳纖維紗線在編織過程中會產生起毛和斷裂，導致碳纖維編織物表面存在結構缺陷，造成人力消耗、經濟損失［4］。因此，碳纖維立體編織物表面質量檢測具有重大意義。

機器視覺檢測憑借高準確度、高可靠性等優勢，在織物缺陷檢測上已經有了長足的發展。ABOUELELA A等［5］采用基于紋理結構檢測的方法，完成織物基本紋理提取和缺陷識別。WONG W K等［6］將基于小波變換的改進閾值方法與反向傳播神經網絡相結合，實現了對于5類織物縫合缺陷的識別。這些識別算法的核心都是針對待檢測物體的特性，設計對應的缺陷特征識別方法，一定程度提高了檢測的速度與精度。

隨著深度學習的發展，基于深度學習的織物缺陷檢測算法得到了廣泛研究。深度學習檢測技術通過搭建圖像特征提取和識別網絡，實現對織物缺陷的特征識別與分類。景軍鋒等［7］利用微調卷積神經網絡模型AlexNet［8］，對織物疵點圖像進行特征提取，實現了對兩類織物95%以上的分類準確率，在檢測精度上優于傳統算法，但檢測速度有待提升。趙志勇等［9］以Faster RCNN網絡結構為基礎，提出基于Inception-ResNet-v2網絡的織物缺陷判決算法，實現了織物缺陷檢測。謝景洋等［10］提出了使用輕量化的MobileNets、多細粒度多尺度特征的Res2Net，修改YOLOv3主干網絡，實現了織物疵點快速檢測。這些識別算法能有效識別具有明顯特征的稀疏缺陷，但對于重復小缺陷的檢測存在不足。

本研究參考深度學習在織物缺陷識別中的應用，結合碳纖維編織物表面存在重復性小缺陷的特點，對Faster RCNN［11］網絡結構進行改進，采用改進的非極大值抑制算法（Soft-NMS）［12］，選取對小特征識別性能更高的感興趣區域校準算法（RoI Align）［13］，完成了對碳纖維編織物表面缺陷的檢測識別。

1 圖像采集與分析

1.1 缺陷圖像分類

通過對碳纖維編織物表面缺陷圖像的采集、整理與分析，得出織物表面缺陷的3種主要類型為稀疏、纖維環、毛刺，3種缺陷的原始圖像如圖1所示。

圖1 3種缺陷原始圖像

稀疏主要表現為稀疏松散的碳纖維經緯編織束，或因編織缺陷出現的稀疏編織結構。纖維環主要表現為碳纖維束脫離經緯編織結構，貼附在碳纖維編織物表面，或形成較為明顯的環狀缺陷。毛刺主要表現為片狀聚集分布的纖維毛刺，或因纖維束部分斷裂形成的外溢的長條狀纖維束。

1.2 缺陷圖像分析

通過對工廠實際生產的碳纖維編織物缺陷圖像采集，共獲取了原始缺陷圖像3 640張。為了加深對缺陷類型分布的了解，以設計更加適合缺陷圖像的深度檢測網絡，本研究對3種主要缺陷類型進行了統計，實際缺陷類型占比為稀疏27.9%、纖維環14.5%、毛刺56.2%、其他1.4%。毛刺等小缺陷特征占總缺陷類型的56.2%，存在重復率高等現象。這就要求缺陷檢測算法對于小目標的識別能力更強、準確度更高。

2 改進Faster RCNN結構

2.1 Faster RCNN應用分析

Faster RCNN模型是在Fast RCNN模型［14］上進行了一系列的改進優化，逐步發展而來的。Faster RCNN可以看作是Fast RCNN + RPN的組合，采用共享卷積層對輸入圖像進行特征提取，再將RPN生成的感興趣區域與CNN網絡（如ZFNET［15］、VGG16［16］、ResNet［17］等）提 取 的 特 征圖像，同時輸入到Fast RCNN中，進行感興趣區域池化，最終實現檢測目標的分類與位置回歸。Faster RCNN基本的網絡結構如圖2所示。其主要由主干特征提取網絡、區域建議網絡（RPN）、感興趣區域池化（RoI Pooling）、檢測目標分類與回歸組成。

圖2 Faster RCNN網絡結構

通過對采集到的碳纖維編織物缺陷圖像分析可得，毛刺等小缺陷在圖像中重復率較高，當Faster RCNN實際應用于織物圖像檢測時，存在以下兩方面不足。一是織物圖像經過Faster RCNN深層網絡反復卷積和池化后，小缺陷特征圖像將被不斷切割，產生失真現象。當對特征圖像的目標框進行NMS操作時，網絡會將分值相近的目標框檢測分數強制歸零，以去除重復檢測框。此過程會將相似的小缺陷特征圖像刪除，從而導致漏檢的產生。二是RoI Pooling層會將輸入的不同尺寸的感興趣區域圖像，粗糙地池化為相同尺寸的特征圖。此過程將會產生兩次量化誤差，導致缺陷特征圖的感興趣區域在回歸原始圖像時，產生較大的位置偏差，這一誤差對于毛刺等小缺陷特征圖位置檢測的影響是巨大的。

2.2 主干特征提取網絡

主干特征提取網絡是Faster RCNN的基礎，網絡層數直接影響樣本特征提取能力，但是深層網絡存在退化問題，當網絡深度達到飽和后，模型對于缺陷圖像的識別精準性會下降。因此，本研究采用ResNet50作為主干特征提取網絡。ResNet50由1個卷積層、1個全連接層和4組殘差模塊搭建而成，每組分別有3，4，6，3個塊（block），每個塊（block）有3個卷積層（layer）。ResNet50網絡的基礎是殘差神經網絡，殘差模塊結構如圖3所示。

圖3 殘差模塊結構

假定神經網絡輸入為x，網絡期望輸出為H（x），則殘差網絡的學習目標函數為F（x）=H（x）-x。殘差網絡可以通過殘差單元的跳層連接，使得梯度能夠繞過若干層到達輸出層。

2.3 改進的非極大值抑制算法（Soft-NMS）

Faster RCNN網絡中原始的NMS算法實現原理為：預先選定感興趣區域中置信度最高的檢測框，遍歷其余所有檢測框與該檢測框的重合度，去除具有高重合度的檢測框，從而實現減少重復檢測框的目的。交并比IoU是一種定位精度的評估計算方式，它定義了兩個檢測框（A和B）的重疊程度。IoU計算公式如式（1）所示。

傳統NMS算法的處理方式可以通過式（2）的分數重置函數進行直觀表達。

式中：si表示第i個檢測框得分；A表示感興趣區域中置信度最高的檢測框；Bi代表第i個檢測框；IoU(A，Bi)表示第i個檢測框與A的重合度；Nt表示標定的重合度閾值。

通過上述描述可以看出，NMS算法在抑制檢測框重復性上的操作上比較嚴苛。當實際應用于碳纖維編織物缺陷檢測時，當缺陷特征圖B的邊界框與置信度最高的A的邊界框相交，并且兩邊界框的IoU高于標定的閾值Nt時，B的檢測框將被強制刪除，這樣導致無法檢測到缺陷B圖像，造成漏檢現象。檢測框交并比示意圖如圖4所示。

圖4 檢測框交并比示意圖

針對傳統的NMS算法在碳纖維編織物缺陷檢測上存在的不足，本研究采用Soft-NMS算法代替傳統的NMS算法。Soft-NMS算法的核心是在NMS算法基礎上，當待檢測框的IoU值高于標定閾值Nt時，用稍微低一點的分數替換原有的得分，從而解決了檢測框被誤刪的問題。Soft-NMS算法可以用如式（3）所示的分數重置函數直觀表達。

通過上述改進，實際檢測碳纖維編織物缺陷圖像過程中，當缺陷特征圖檢測框B與A的IoU高于標定閾值Nt時，檢測框B的得分將會衰減為與A重合度的線性函數，從而避免誤刪。但此分數重置函數并不是一個連續函數，將會導致待測檢測框的得分出現斷層。因此，本研究在最后引入高斯函數重置函數，最終改進的函數如式（4）所示。

式中：σ為超參數；D為檢測框的集合；IoU(A，Bi)表示第i個檢測框與A的重合度。

通過對NMS算法的改進，可以降低傳統NMS算法對于檢測框的誤刪現象，提高了Faster RCNN網絡對于缺陷檢測框的泛化能力。

2.4 感興趣區域校準（RoI Align）

原始Faster RCNN網絡利用感興趣區域池化（RoI Pooling）層，將主干特征網絡提取到的不同尺寸的碳纖維編織物缺陷圖像，粗糙地池化為統一尺寸的特征圖，并輸出到后續網絡中，用于檢測目標分類與回歸，RoI Pooling操作流程如圖5所示。

圖5 RoI Pooling操作

RoI Pooling層算法特征提取量化取整主要包括兩步。第一步，將主干特征提取網絡獲取的特征圖，映射到原圖像的對應位置。對于映射后先驗框的浮點坐標，采用向下取整的方式量化取整。第二步，將映射后獲取的感興趣區域特征圖，平均劃分為K×K（7×7）的網格單元，對每個網格的浮點坐標進行量化取整，并對每個網格采取最大池化。圖6所示為兩次量化取整操作。

圖6 兩次量化取整操作

經過兩次量化取整，Faster RCNN網絡對于特征圖的定位將會出現不可避免的誤差，這種誤差對于毛刺等小缺陷圖像的位置定位影響較大。

針對兩次量化取整操作帶來的誤差，本研究采用RoI Align層來代替RoI Pooling層，以準確匹配特征圖位置區域。RoI Align層設計的核心思想是雙線性插值算法，通過線性操作的方法代替量化操作，保證特征圖中點的連續性，提升定位精度。算法操作方法：遍歷所有感興趣區域，將特征圖映射到圖像的準確位置，保持特征圖邊界精確浮點位置信息；將映射后獲取的感興趣區域特征圖，平均劃分為k×k（7×7）的網格單元，保持單元格位置精度；在每個單元格中固定計算作為4個采樣點坐標，采用雙線性插值計算4個采樣點位置，并進行最大池化操作，如圖7所示。

圖7 RoI Align操作

以碳纖維編織物缺陷圖像為例，假定輸入的缺陷特征圖為338 pixel×338 pixel，由于網絡骨架中的下采樣率featstride為16，特征圖在經過池化網絡后每張特征圖變為（330/16）×（330/16）=20.625 pixel×20.625 pixel；RoI Align層將特征圖平均劃分為7×7的網格，每一塊網格的大小為2.857 pixel×2.857 pixel；對于每個網格設置4個采樣點，并采用雙線性插值法計算出每個小網格的中心位置像素值；最后，取4個中心點像素值的最大值作為這個小區域的像素值，通過遍歷7×7的小區域得到每個區域的像素值，最終組成所需的7×7大小的特征圖。

采用RoI Align層代替RoI Pooling層，可以降低RoI Pooling層在特征圖回歸框定位上的位置偏差，提升了后續缺陷目標分類與回歸的檢測精度。

3 試驗與結果分析

3.1 缺陷數據集制作

在深度學習訓練中，訓練數據的缺少會導致訓練模型實際檢測精度較低。工廠獲取的3 640張碳纖維編織物缺陷圖像對于實際訓練是不夠的。本研究采用旋轉、翻轉、模糊、增加噪聲等數據增強技術，將缺陷圖像數目擴增為7 280張。通過labelImg圖像標注工具，對數據增強后的7 280張圖像進行標注，并按照PASCAL VOC2007數據集格式制作數據集。然后將標注后的數據集按照8∶1∶1的比例，隨機生成缺陷圖像的訓練集、測試集、驗證集，用以輸入深度學習網絡進行訓練。

3.2 試驗環境與超參數

本試驗的硬件環境為AMD Ryzen 7 5800H@3.2 MHz 8核處理器，NVIDIA GeForce RTX 3090顯卡；軟件環境為Ubuntu 18.04.5操作系統，CUDA 8.0.5版本，Python 3.8.10版本，MMCV 1.3.9版本，PyTorch 1.9.0版本，MMDetection 2.14.0版本，以及Pycharm集成開發環境。

經過對超參數的反復優化測試，最終優化器為隨機梯度下降算法（adam優化器），初始學習率為0.001，權值衰減系數（weight_decay）為0.000 1，訓練的max_epochs值為80，每5個epoch之后進行一次學習率衰減，batch_sizes設置為50。

3.3 試驗訓練

改進的Faster RCNN網絡模型的損失函數，由分類交叉熵函數和位置回歸函數組成，整體的函數模型如式（6）所示。

式中：pi為第i個感興趣區域的目標概率和分別表示真實標注框概率標簽和位置參數；當第i個先驗框為正樣本時的值為1，如果第i個先驗框為負樣本，值為表示為框選區域的4個參數化坐標的向量；表示的是目標與非目標的對數損失，函數表達式如式（7）所示。為位置回歸SmoothL1函數，函數表達式如式（8）所示。

改進后的Faster RCNN網絡經歷預訓練后，在制作好的PASCAL VOC2007訓練集上進行80個epochs的訓練。隨著訓練次數的迭代，碳纖維編織物缺陷檢測網絡的總體損失函數逐步下降，檢測網絡模型逐漸達到收斂，最終生成穩定的檢測模型，該模型的訓練時間12 735 s，權重文件大小322.6 MB。

3.4 試驗結果分析

本研究綜合選定所有檢測種類的平均精度均值（Mean Average Precision，mAP）作為碳纖維編織物表面質量檢測的實際評價指標，函數表達式如式（9）所示。

式中：N為檢測種類數；APi為第i類缺陷的平均檢測精度值，其函數表達式如式（10）所示。

式中：P為當前缺陷類型檢測精度；R為召回率，兩者計算公式分別如式（11）、式（12）所示。

式中：TP為檢測網絡將正樣本預測為正的數目；FP為將負樣本檢測為正的數目；FN為將正樣本檢測為負的數目。

本研究在相同試驗環境下，采用改進前后的Faster RCNN網絡，分別對包含728張圖片的測試集進行驗證，最終得到AP值、mAP值和模型實際檢測速度，結果如表1所示。

表1 Faster RCNN網絡模型改進前后的檢測結果

由表1可知，改進的Faster RCNN網絡模型的mAP值達到了92.7%，比改進前提高了3.8個百分點。其中，改進的Faster RCNN網絡對于碳纖維編織物毛刺識別率提高了5.6個百分點。改進的Faster RCNN網絡在圖像檢測時間上稍有所增加，但不影響實際檢測速度。對比改進前的Faster RCNN網絡，改進后的Faster RCNN網絡在應用于碳纖維編織物的缺陷檢測中，精度有所提升。改進后的Faster RCNN網絡實際檢測結果如圖8所示。

圖8 實際檢測結果

采用改進的Faster RCNN網絡訓練模型對缺陷圖像進行驗證發現，在實際檢測過程中仍存在缺檢、漏檢現象。對訓練驗證文件分析發現，在碳纖維織物毛刺等小缺陷檢測中，重疊臨近的缺陷區域容易被算法略去，從而產生漏檢，但通過Soft-NMS算法改進后已經有所提升。同時，與原始的Faster RCNN訓練過程對比，改進的Faster RCNN網絡，對于毛刺缺陷圖像的AP值，在第10次～第30次迭代的過程中，具有明顯的提升，證明Soft-NMS算法和RoI Align算法在毛刺等小缺陷檢測中有效提升了檢測精度。

4 結論

本研究根據碳纖維編織物缺陷特點，提出了一種改進的Faster RCNN算法，以ResNet50作為主干特征提取網絡，采用改進的Soft-NMS算法，減少了缺陷圖像的誤刪現象，采用RoI Align層取代RoI Pooling層，減少了特征圖回歸框定位的位置偏差。通過搭建試驗環境，改進的Faster RCNN網絡在與原網絡結構檢測速度差別不大的基礎上，mAP值由88.9%提升到了92.7%。對比原始Faster RCNN網絡，改進的Faster RCNN網絡在碳纖維編織物缺陷檢測，尤其是毛刺等小缺陷，檢測精度明顯提升。在后續研究中我們將對改進的Faster RCNN網絡進行檢測速度方面的優化。