基于遷移學習的高鐵線纜扣件裝配檢測

冒文彥，顧寄南，黎良臣

（江蘇大學機械工程學院，江蘇 鎮江212000）

1 引言

隨著高速鐵路的快速發展，對高鐵線纜扣件的需求也在不斷增加。然而，在目前的工業生產中，對于扣件的裝配與檢測主要依賴于人工的完成，重復的勞動易導致工人的工作效率低下，裝配準確率降低等問題。

為了保證高鐵線纜扣環的裝配效率，企業研發了一套自動化裝置，完成扣件的裝配和檢測。這里主要針對高鐵線纜扣環的裝配檢測開展研究。近年來，國內外對工業零件的智能裝配檢測已經成為主流趨勢，主要依賴機器視覺對圖像進行處理。文獻［1］通過BP-神經網絡對墊片的裝配進行檢測，以零件表面紋理系數作為訓練元素，即在目標區域內通過紋理的特征及系數作為樣本，來訓練BP-神經網絡。文獻［2］基于機器視覺對電機轉子的換向器和轉子端蓋進行裝配檢測，通過采集裝配后的圖像并進行特征的提取和匹配，最后以像素面積分布、圖像對比、距離測量等方式綜合判斷轉子的裝配質量。然而這些方法在提高檢測精度的同時無法兼顧網絡的學習效率。

總之，傳統的機器視覺檢測方法一般包括圖像預處理、圖像分割、特征提取、特征分類等步驟，繁冗的過程使檢測的精度以及速度大打折扣。而卷積神經網絡通過自主學習，對輸入的原始圖像直接進行特征的提取。另外，通過多個卷積核和卷積層可以提取出圖像的深層次特征，能夠充分表達目標圖像的特點，提升了檢測的準確性。目前，國內外對高鐵線纜扣件裝配的檢測研究較少，這里將基于遷移學習，通過卷積神經網絡對高鐵線纜扣環進行裝配檢測。

2 目標檢測算法

卷積神經網絡是深度學習重要分支之一，是專門用于圖像識別的深度神經網絡。典型的卷積神經網絡主要由卷池化層、全連接層組成。通過卷積核實現對圖像的特征提取，并利用卷積的權值共享及池化降低參數的數量級，最后實現分類。

2014年Ross Girshick提出R-CNN（區域卷積神經網絡），開辟了深度學習在目標檢測中的應用。R-CNN采用Selective Search算法對輸入的圖像提取ROI區域，并使用標準CNN對各區域進行分類。R-CNN需要針對每幅圖像的每個候選區域向前傳遞2000次，且分別訓練CNN生成圖像特征、分類器及回歸模型，直接導致了目標檢測效率低下。

為了有效的解決R-CNN模型訓練耗時的問題，文獻［3］又提出了Fast R-CNN訓練模型。Fast R-CNN基于R-CNN新添了一層ROI Pooling層，它能夠將特征圖上的每一個候選區域進行池化得到固定維度的特征向量，然后直接通過softmax進行識別分類。在分類回歸的過程中，bbox regression融入網絡內部與區域分類合并成一個multi-task模型，共享卷積特征，保證準確率和速度的同步提升。

文獻［4］在后者的結構上加入了RPN網絡，結構如圖1所示。RPN網絡的作用是將輸入的一張任意尺寸圖像，輸出一批矩形候選框，代替Fast R-CNN中的Selective Search的步驟。RPN網絡通過滑窗判斷目標是否存在于特征圖上，但由于目標的大小和長寬比例不一，需要多個尺度的滑窗，采用Anchor機制通過給出的固定基準窗大小，按照倍數及長寬比例得到多種不同的滑窗，有效地解決了這一問題。

在對RPN的訓練過程中，必須考慮Ground Truth和Loss Function的問題。為了判斷Ground Truth，采用0/1表示，IOU表示預測框與真實框的重疊率，其值為兩框的交集除以兩框的并集。對于訓練過程中的Loss Function，主要包括目標與否的損失誤差及bbox的回歸誤差。在定義Faster R-CNN的損失函數時，仍遵循multi-task loss的定義，最小化目標函數。

由于在工業生產環境中，只會存在光照、灰塵等噪聲的影響，環境相對比較穩定，無需采集大量的圖像并制作成標簽化數據集。為保證檢測的準確性，引入遷移學習［5］的方法，針對少量數據集情況，通過已有的預訓練網絡與相應的目標檢測算法相結合，微調網絡中已有的權值與偏差，訓練出相應的檢測模型。

3 基于遷移學習的檢測模型構建

3.1 遷移學習

在具體的高鐵線纜扣環的裝配檢測應用中，收集和標注充足的訓練樣本對網絡從頭開始訓練，需要耗費巨大的人力及時間。因此，采用遷移學習的方法，將已訓練好的成熟的網絡即base network的前n層替代target network的前n層，并對目標網絡的全連接層神經元數目進行隨機初始，從而得到最終的學習模型。在避免過度擬合的同時，有效的加快了模型的學習效率。

常見的深度學習網絡主要有AlexNet網絡、VGG-16、GoolgeNet、以及ResNet等，隨著網絡層數的不斷加深，這些網絡對多類別的識別檢測越精準。根據這里研究對象的數據集大小以及檢測要求，采用AlexNet網絡作為特征提取網絡，將其遷移至Faster R-CNN目標檢測算法的框架中形成完整的訓練模型。

3.2 檢測模型的構建

AlexNet網絡由五個卷積層及三個全連接層組成。RELU作為激活函數的引入有效解決了常規函數Sigmoid導致的梯度彌散問題；在最后的連接層中，采用Dropout隨機去除部分神經元，以避免過擬合的產生。

在具體的模型構建過程中，復制AlexNet網絡的前22層（包含隱藏層）作為Faster R-CNN目標網絡的通用特征提取器，并依據扣件的檢測要求修改全連接層的神經元數目的輸出。

4 實驗

采用的方法主要分為三個步驟：（1）數據集的建立：對高鐵線纜扣環進行圖像采集，分別建立訓練集和測試集；（2）模型訓練及測試：導入已建立的數據集，并不斷調整模型參數，對輸入圖像進行檢測；（3）實驗數據分析：根據訓練的結果，通過與傳統的機器學習的檢測結果進行對比分析，并通過召回率-精確率評估曲線得出結論。

4.1 數據集建立

在深度學習訓練的過程中，足量的樣本可以提高模型準確率和泛化能力。在圖像采集的過程中，考慮不同光照以及不同角度的情況下進行拍照采集用于訓練，并對圖像進行邊界框的標注，并生成統一的標簽化數據集。將標注好的數據集按3：1分為訓練集和測試集。總共1200張圖片，最初圖像尺寸為2592*1944像素，為了節省檢測的時間，在保證準確率的情況下，將圖片尺縮為648*486像素大小。

4.2 模型訓練及測試

利用Matlab R2018b軟件平臺基于Alexnet網絡對Faster RCNN目標檢測算法進行遷移學習，并根據工件的實際情況，在訓練過程過程中不斷調整模型的參數，以保證精度的同時，能夠得到更快的訓練速度。在訓練的過程中迭代5輪；初始的學習速率為0.001。為了保證訓練的最優效果，將正樣本與預測框的重疊比例設置為［0.55 1］，負樣本則設置為［0 0.3］，即當IOU＞0.55時為正樣本，IOU＜0.3為負樣本。

4.3 實驗數據分析

通過訓練好的目標檢測模型，能夠有效的得到高鐵線纜扣環的各個零件的名稱以及置信度，從而判斷扣件是否完整、正確的裝配，并有效的提高了檢測的速度。為了驗證此方法的有效性，將基于遷移學習的Faster R-CNN的檢測算法與模板匹配的實驗結果進行對比，選取在三種不同的光照下拍攝的300張圖像用于檢測。識別結果對比，如表1所示。根據表格對比的結果，傳統的模板匹配對檢測環境的噪聲比較敏感，而基于遷移學習的Faster R-CNN算法在經過一定量樣本的訓練后，檢測的效果遠遠優于傳統的對象識別方法。

表1 識別準確率Tab.1 The Accuracy of Recognition

為了更好的表達此種方法的檢測結果，這里采用平均精確度評估檢測效果，并通過繪制召回率-精確率曲線［6］直觀的驗證，可直觀了解五種零件各自的檢測結果。結果表明，螺母、螺柱、半環的平均檢測精度達到1.000（保留四位有效數字），而墊片由于零件較小，特征較少，平均檢測精度可達0.9814，檢測效果較好。如圖2～圖7所示。

圖2 Faster R-CNN檢測結果示例Fig.2 Example of Faster R-CNN Detection Results

圖3 螺柱檢測召回率-精確率曲線Fig.3 Detection Results of Stud in PR Cruve

圖7 墊片檢測召回率-精確率曲線Fig.7 Detection Results of Gasket in PR Cruve

5 結語

深度學習在工業生產中的應用越來越廣泛，這里將基于遷移學習的卷積神經網絡［7］應用到高鐵線纜扣環的裝配檢測當中，進一步推動了在高鐵裝備零部件制造領域的應用，促進了卷積神經網絡及深度學習應用的進一步發展。經過對實驗結果的分析，該方法對五種零件的平均檢測準確率最低高達到98.14%。但由于樣本數量不充足等問題，使得訓練的精度仍有很大的上升空間，下一步將繼續通過研究加深CNN網絡層數，在保證檢測速度的同時改善檢測的精確度。

圖4 螺母檢測召回率-精確率曲線Fig.4 Detection esults of nut in PR cruve

·圖5半環A檢測召回率-精確率曲線Fig.5 Detection Results of Semi-ring A in PR Cruve

圖6 半環B檢測召回率-精確率曲線Fig.6 Detection Results of Semi-ring B in PR Cruve