基于遷移學習的零件識別方法研究

陳 緒，陳志瀾,2

（1.上海海洋大學 工程學院，上海 201306；2.上海建橋學院 機電學院，上海 201306）

0 引言

隨著計算機技術的發展，計算機視覺作為人工智能的一個重要分支，已經被廣泛應用于各行各業，其中基于視覺的零件識別方法已成為智能制造的研究熱點之一，基于以上背景，本文深入研究了基于遷移學習的零部件識別方法，拓寬了遷移學習的應用領域。

在零件識別領域中，傳統方法基本采用特征提取的方法來處理圖像信息，即設計者針對要識別的工程零件問題進行人工特征提取（例如邊緣特征、顏色特征等、圓特征、形狀特征等）[1,2]，但該方法常受到目標物體的形狀、大小、角度變化、外部光照等因素的影響，因而所提取特征的泛化能力不強，魯棒性能較差。

深度學習的概念由Hinton等人于2006年首先提出[3]，直到Krizhevsky等人使用深度學習的方法[4]在2012年的 ImageNet比賽中取得突破性成績后，深度學習呈現出了爆發式發展。近幾年深度學習不但被廣泛的應用于語音識別、圖像識別、機器翻譯等領域，而且在工程、醫藥、物流、檢索等工程項目上成功應用。深度學習在其機理上是模仿生物神經元的運作機制，在其處理圖像、文本等信息時，通過一層層的網絡，將原始信息一層層的進行由簡單到復雜，低階到高階的描述。相較傳統的人工提取特征的方法，深度學習的優勢在于特征提取環節不需要使用者預先選定提取何種特征，而是采用一種通用的學習過程使模型從大規模數據中學習進而學得目標具備的特征[5,6]。遷移學習是以深度卷積神經網絡為基礎，通過修改一個已經經過完整訓練的深度卷積神經網絡模型的最后幾層連接層，再使用針對特定問題而建立的小數據集進行訓練，以使其能夠適用于一個新問題。

本文針對產品裝配過程中經常使用的標準件，即螺母、螺栓、螺釘和墊片四種零件的識別。在建立螺母、螺栓、螺釘和墊片數據集基礎上，分別構建遷移學習深度卷積神經網絡識別模型和普通深度卷積神經網絡識別模型，并使用螺母、螺栓、螺釘和墊片數據集對兩種模型進行訓練，最后將兩種識別模型的訓練過程和結果進行比較與分析。

1 零件識別模型的建立

1.1 零件識別模型整體框架

本文設計的螺母、螺栓、螺釘和墊片四種零件的識別模型整體框架如圖1所示，四種零件通過圖片預處理的方式在輸入層進行圖片預處理，經過預處理的四種零件圖片數據集放入到深度卷積神經網經網絡識別模型中。四種零件的圖片經過深度卷積神經網絡模型的每一層的網絡時，先是通過低層特征的組合，經由簡單的描述（邊緣信息、顏色信息、亮度信息等）然后再將低層特征轉為更加抽象的高層特征，直至復雜抽象的描述，最終完成特征值的提取。

圖1 零件識別模型整體框架

零件識別模型整體框架由輸入層、卷積層、池化層、全連接層組成以及最后的Softmax層組成。在本文實驗的兩類識別模型中，進入輸入層的螺母、螺栓、螺釘和墊片四種零件的圖片大小經過預處理，轉化為299×299×3的像素矩陣。卷積層是卷積神經網絡中最為重要的部分，卷積層中每一個節點的輸入只是上一層神經網絡的一小塊，稱為卷積核。本文實驗的兩種識別模型，其卷積核的大小均為3×3、5×5和1×3，卷積層的目的是試圖將上一層螺母、螺栓、螺釘和墊片四種零件圖片的處理結果（原始圖片或已經過特征提?。┓譃槊恳恍K進行更加深入的分析而得到抽象程度更高的特征。本文實驗的兩種識別模型均采用3×3的最大池化層，其可以通俗理解為將高分辨率零件圖片轉化為低分辨率，且不喪失過多的特征信息。全連接層采用的是傳統全連接神經網絡，在整個卷積神經網絡的最后一般都會有1到2個全連接層與Softmax層給出最后的分類結果，在本文實驗的兩種識別模型均為兩層，最后以4096個神經元與Softmax層相連。Softmax層主要用于分類問題，通過Softmax層，可以得到當前測試零件圖片屬于不同種類的概率分布情況。假設Softmax層上一層輸出為y1，y2，y3，…，yn，經過Softmax回歸處理之后的輸出為：

式(1)表示上層神經網絡的輸出被用作置信度來生成新的輸出，新的輸出滿足概率分布的所有要求，因此成為一個概率分布，因此推導出一張零件圖片為不同類別的概率分別有多大，從而完成最終的分類。

1.2 Inception V3遷移學習模型

作為遷移學習的代表Inception V3模型是GoogLeNet[7]模型的第三代改進模型，Inception V3模型的特點與傳統的非GoogLeNet模型相比，它不是簡單的采用卷積層的層層疊加方式，而是采用Inception模塊進行層層疊加，如圖2所示，Inception模塊可以同時將螺母、螺栓、螺釘和墊片四種零件圖片所提取的特征值進行邊卷積和邊池化，一個模塊內可以進行多次的卷積和池化，可以說每一模塊將卷積神經網絡多個模塊的特征結合起來，不僅使零件識別模型的精度大大提高，而且減少了大量的復雜計算工作量，從而提高運算效率[8]。

圖2 Inception v3的Inception模塊

與傳統網絡使用SGD（Stochastic Gradient Descent）反向傳播算法不同的是Inception V3模型在訓練過程中使用基于Adam（adaptive moment estimation）反向傳播算法來基于訓練數據迭代更新神經網絡權重。此外，用于評判訓練誤差的損失函數使用的是交叉熵（cross entropy）：

式(2)是通過概率分布q來表達概率分布p的困難程度，兩個概率分布的距離，其值越小，兩個概率分布越接近。當使用交叉熵作為神經網絡的損失函數時，p代表的是正確答案，q代表的是預測值，這兩個概率分布距離越短說明預測值越靠近正確答案。

遷移學習是將一個問題上訓練好的模型通過簡單的調整使其適用于一個新的問題，可以保留訓練好的Inception V3模型中所有卷積層的參數，只需要建立一個或幾個全連接層將最后的全連接層替換[9]。一個新的圖片通過使用大數據集訓練好的卷積神經網絡直到瓶頸層（全連接層之前的網絡層稱之為瓶頸層（bottleneck））的過程可以看成是對圖像進行特征提取的過程。由于在訓練好的Inception V3模型上，瓶頸層的輸出在通過全連接層神經網絡可以很好的區分原先數據集上1000種類別的圖像，所以有理由認為瓶頸層輸出的節點向量可以被視為任何圖像的一個更加精簡且表達能力更強的特征向量[10]。所以在本文自建的數據集上可以直接利用這個訓練好的神經網絡模型對圖像進行特征提取，然后再將提取到的特征向量作為輸入來訓練一個新的單層全連接神經網絡處理四種零件的分類問題。一般來說遷移學習不如完全重新訓練，但所需的時間和訓練樣本遠小于訓練完整的模型。所以考慮對本文的問題和現有條件，使用遷移學習解決四種零件分類問題將是一個很好的選擇。

2 實驗概述

2.1 實驗模型內部處理次數

本文提出了一種基于深度卷積神經網絡模型對零件進行分類的方法，采用的是一種由多層卷積層和全連接層以及一些用于優化網絡的層或方法組成的卷積神經網絡結構，使用遷移學習的方法訓練模型，其主要次數 包括：

1）預訓練好模型并用自建零件數據集進一步微調：使用的是在ImageNet數據集上預訓練完成的網絡模型，這里使用的是在以上數據集上得到訓練的Inception V3模型，再使用自建的零件數據集進行微調。

2）建立零件圖像的特征庫：一般在卷積神經網絡內部進行的，可以理解為每一步卷積乘之后所得到的權重與偏差都是特征提取的一部分，整個網絡輸出可以理解為正在建立零件圖像的特征庫。

3）輸入所需查詢的零件圖像進行圖像識別：每次輸入圖像進行識別時都是在使用此網絡調用訓練過程所保留的權重和偏差進行一次前向傳播計算，以得到識別結果。

在相同迭代次數條件下，使用同樣的螺母、螺栓、螺釘和墊片四種零件數據集進行訓練，本文所使用的遷移學習深度卷積神經網絡模型與普通深度卷積神經網絡模型，對訓練過程和訓練結果進行對比。

2.2 實驗條件及數據集建立

本文實驗電腦配置為Intel Core i5 CPU，裝載Windows10系統，通過Python調用由谷歌開發的一種完全開源的深度學習庫Tensorflow進行訓練，分別訓練本文所構建的遷移學習深度卷積神經網絡模型和普通深度卷積神經網絡模型。最后使用Python編寫螺母、螺栓、螺釘和墊片專用測試程序，對上述兩類模型的訓練結果進行實驗測試。

本文以螺母、螺栓、螺釘和墊片四種零件作為識別對象和訓練對象，實驗數據集的自建原始圖片通過手工拍攝或網上圖片庫搜集完成。四類零件的各種圖片共計1474張，其中螺栓207張、螺母261張、螺釘507張、墊片499張，四類零件的部分自建數據集圖片如圖3所示。

3 實驗結果及分析

3.1 兩類模型訓練過程對比與分析

訓練過程中的數據集按所規定的比例，分別建成訓練集（train set）和驗證集（validation set）。兩類模型在完成上述訓練過程后，為定量確定兩類模型的最終識別精度，本文還建立了螺母、螺栓、螺釘和墊片的測試集（test set）。

圖3 自建數據集圖片

訓練集：以學習樣本數據集作為訓練模型。

驗證集：每個迭代步數完成后用來測試當前模型的準確率。

測試集：測試訓練好的模型分辨能力和精確度。

以四類零件總圖片1474張的80%圖片作為訓練集的數據采集，驗證集為四類零件總圖片1474張的20%圖片作為驗證數據采集，測試集為四類零件總圖片1474張以外的120張圖片作為測試數據采集。圖4、圖5和圖6分別為兩類模型訓練過程的訓練精度對比、驗證精度對比和損失函數值對比圖，其中橫坐標X軸為迭代步數，圖4(a)、圖4(b)、圖5(a)、圖5(b)的縱坐標Y軸為精度值（%），圖6(a)、圖6(b)的縱坐標Y軸為損失函數值。

圖4(a)表示普通模型的訓練精度，在迭代500次數時，其訓練精度達到74%。迭代1800步時，訓練精度已達到82%。當迭代次數繼續增加時，訓練精度與迭代次數的變化已呈現收斂趨勢，其訓練精度基本維持在90%左右，在迭代4000終止次數時，其訓練精度仍保持在94%。圖4(b)為遷移學習模型的訓練精度，在迭代200次數時，其訓練精度達到95%。迭代500步時，訓練精度已達到96%。當迭代次數繼續增加時，訓練精度與迭代次數的變化同樣出現收斂趨勢，其訓練精度基本維持在99%左右，在迭代4000終止次數時，其訓練精度仍保持在99%。由圖4(a)和圖4(b)對比可知，其一，在達到同樣訓練精度時，遷移學習模型的迭代次數要比普通模型的迭代次數少得多，這表明遷移學習模型的訓練效率較高。其二，普通模型在迭代1800次數時進入收斂趨勢，訓練精度為90%，遷移學習模型在迭代500次數時就進入收斂趨勢，訓練精度為96%。訓練精度在同樣收斂迭代次數時，遷移學習模型的訓練精度值遠比普通模型的訓練精度高10%。

圖4 兩類模型的訓練精度對比

圖5 兩類模型的驗證精度對比

圖5(a)表示普通模型的驗證精度，在迭代500次數時，其訓練驗證精度只有60%。迭代1800步時，訓練驗證精度已達到71%。當迭代次數繼續增加時，訓練驗證精度與迭代次數的變化已呈現收斂趨勢，其訓練驗證精度基本維持在70%左右，在迭代4000終止次數時，其驗證精度仍保持在75%。圖5(b)為遷移學習模型的訓練精度，在迭代50次數時，其訓練驗證精度已達到90%。迭代500步時，訓練驗證精度達到92%。當迭代次數繼續增加時，訓練驗證精度與迭代次數的變化同樣出現收斂趨勢，其訓練驗證精度基本維持在92%左右，在迭代4000終止次數時，其訓練驗證精度仍保持在94%。由圖5(a)和圖5(b)對比可知，其一在達到同樣訓練驗證精度時，遷移學習模型的迭代次數要比普通模型的迭代次數少得多，這表明遷移學習模型的訓練效率高于普通模型的訓練。其二普通模型在迭代1800次數時進入收斂趨勢，訓練驗證精度為71%，遷移學習模型在迭代500次數時就進入收斂趨勢，訓練驗證精度為92%。表明遷移學習模型比普通模型更快進入收斂趨勢。其三普通模型在迭代4000步驗證精度為75%，遷移學習模型在第4000步驗證精度為94%，這表明訓練驗證精度在同樣收斂迭代次數后，遷移學習模型的訓練驗證精度值遠比普通模型的訓練驗證精度高19%。

圖6 兩類模型的損失函數值對比

損失函數采用的是交叉熵函數方法所獲得的，具體見式(2)所述。圖6(a)表示普通模型的損失函數值，在迭代1000次時，其訓練的損失函數值為0.33。迭代次數為2000步時，損失函數值為0.23。當迭代次數繼續增加時，損失函數值與迭代次數的變化已呈現收斂趨勢，其損失函數值基本維持在0.18左右，在迭代4000終止次數時，其損失函數值仍保持在0.2047。圖5(b)為遷移學習模型的損失函數值，在迭代250次時，其損失函數值下降到0.27。迭代1000步時，損失函數值保持在0.14左右。當迭代次數繼續增加時，損失函數值與迭代次數的變化同樣出現收斂趨勢，其損失函數值基本維持在0.05左右，在迭代4000終止次數時，其損失函數值仍保持在0.0475。由圖5(a)和圖5(b)對比可知，其一在達到同樣損失函數值時，遷移學習模型的迭代次數要比普通模型的迭代次數少得多，這表明使用遷移學習模型具有較少迭代次數即可達到迅速收斂的效果，普通模型卻需要花費較長時間的迭代次數才能達到收斂趨勢。其二普通模型在迭代2000次數時進入收斂趨勢，損失函數值為0.23。遷移學習模型在迭代1000次數時就進入收斂趨勢，損失函數值保持在0.14左右。這表明損失函數值在同樣收斂迭代次數時，遷移學習模型的損失函數值遠比普通模型的損失函數值要低得多，即預測值也更加接近真實值。

3.2 識別精度與訓練迭代次數關系

表1為遷移學習模型的訓練精度和驗證精度所構成的識別精度與迭代次數的關系，由表1所獲取的數據來看，隨著迭代次數增加，訓練樣本與測試樣本的識別精度均呈現增加的趨勢。但當訓練的迭代次數達到500次左右，模型的識別精度已加入收斂階段，此時訓練精度已達到96%、驗證精度也達到92%，其識別精度基本與迭代次數的增幅沒有太大關系。由此可知，當迭代次數達到收斂階段后，繼續通過增加訓練次數來提高識別精度是不現實的。另外，遷移學習模型在迭代500次收斂之后，其訓練精度和驗證精度依然分別在96%和92%有少許波動和微量幅度變化，由此推論該遷移學習模型在訓練過程中并未出現過擬合現象。

表1 識別精度與迭代次數關系

3.3 兩種模型測試結果對比

本文建立了包含螺母、螺栓、螺釘和墊片圖片每類30張共計120張所組成的測試集，分別對遷移學習模型和普通模型進行測試。

圖7和圖8分別是遷移學習模型測試結果和普通模型測試結果，圖7和圖8中的每張圖片標號解釋如下：圖中第一行NO.為圖片在測試集中第幾張的編號，圖中的第二行至第五行分別為螺母、螺栓、螺釘和墊片的拼音標注，score表示判斷為螺母、螺栓、螺釘和墊片的具體概率值，第六行分別為螺母、螺栓、螺釘、墊片的最終判定結果。

圖7 遷移學習模型測試結果

圖8 普通模型測試結果

由圖7和圖8為兩類模型的NO.3墊片測試結果，遷移學習模型判定墊片的概率非常大，其概率達到99.639%，普通模型判定墊片的概率僅為33.333%。NO.5為螺釘測試結果，遷移學習模型判定螺釘的概率為93.663%，普通模型判定螺釘的概率為99.062%。NO.9為螺母測試結果，遷移學習模型判定螺母的概率為99.992%，普通模型判定螺母的概率為0%。NO.12為螺栓測試結果，遷移學習模型判定螺栓的概率為68.205%，普通模型判定螺栓的概率為0.01%。兩種模型對于螺釘的判定概率基本相同，其概率統計值接近100%。但對于螺栓和螺母，遷移學習模型的實際判定結果遠遠高于普通模型判定結果，遷移學習模型判定分別為68.205%和99.992%，普通模型幾乎無法判定準確。

此外，為更深入研究模型識別錯誤的原因，本文還建立了遷移學習模型測試結果的混淆矩陣，如圖9所示，墊片、螺釘、螺母和螺栓的recall值（召回率：TP/（TP+FN））分別為93.3%、96.7%、86.7%和83.3%。對于墊片和螺母而言，墊片僅有的兩次錯判被錯判別為螺母，螺母有四次錯判中有三次錯判為墊片；對于螺釘和螺栓而言，螺釘僅有的一次錯判被錯判為螺栓，而螺栓的五次錯判都是錯判為螺釘；分析原因如下：從這四種零件形態上看，墊片與螺母具有很高的相似性，螺釘與螺栓也具有極高的相似性，因此模型判別錯誤原因有一定的程度的可解釋性。

圖9 遷移學習模型混淆矩陣

表2 遷移學習模型與普通模型對比表

3.4 兩種模型的綜合性能參數對比

表2構建了兩類模型的迭代次數、訓練精度、驗證精度和訓練時長等比較值，同時建立了包含螺母、螺栓、螺釘和墊片圖片各類30張共計120張所構建的測試集，分別對遷移學習模型和普通模型進行測試，測試精度如表2最后一欄所示。

由表2可知，訓練精度上大數據模型的遷移學習精度較高于小數據模型的完整訓練；訓練過程驗證精度和測試過程測試精度上遷移學習遠遠高于普通模型；且由這兩種模型的訓練時間可知，遷移學習模型遠遠快于一個完整訓練的普通模型。由此可見，使用遷移學習將會以較小的代價達到較高的目標。

4 結語

針對機械產品裝配過程中，大量使用典型標準件螺母、螺栓、螺釘和墊片的識別問題，研究了遷移學習深度卷積神經網絡模型和普通深度卷積神經網絡模型的零部件識別方法。

1）通過實驗對兩類模型在訓練精度、驗證精度和損失函數值三個方面與迭代次數的比較，驗證了采用較小樣本量，使用遷移學習模型在訓練時間上所花費的時間僅為普通模型的八分之一。

2）與普通模型相比，遷移學習模型在訓練精度、驗證精度和損失函數值均使用較少的迭代次數即可進入收斂階段，但當迭代次數達到收斂階段時，再提高模型的識別精度較為困難。

3）遷移學習模型在整體方面的識別精度值遠遠高于普通模型的識別精度值，并能有效防止過擬合現象。