基于機器學習的鉚接質量數字化檢測系統

郝博,閆俊偉,王杰,郭嵩,尹興超

(1.東北大學機械工程與自動化學院,遼寧沈陽 110819；2.東北大學航空動力裝備振動及控制教育部重點實驗室,遼寧沈陽 110819)

0 前言

隨著機器視覺、模式識別、深度學習等技術的發展以及計算機技術與傳統制造業的結合，機械制造業迎來了新的發展機遇。中國全面推進實施制造強國戰略，要求機械制造業智能化發展。如何實現機械裝配質量診斷更高效、準確，對工業生產的經濟性、安全性和可靠性具有十分重要的意義。機器學習算法與機器視覺技術在質量檢測領域擁有廣闊前景。利用CCD相機采集圖像，經圖像預處理、相關性搜索、特征邊緣提取等操作可以很好地應用于質量檢測領域。除此之外，機器學習中的-近鄰(-NN)算法、決策樹(Decision Tree)算法、樸素貝葉斯(Naive Bayes)算法、支持向量機(SVM)算法、隨機森林(Random Forest)算法等都可以用于機械設備故障診斷，其中支持向量機算法的診斷效果較好。

鉚接工藝在航空制造業領域應用廣泛，飛機裝配過程中大量使用鉚接連接。飛機在飛行過程中一旦鉚接部位出現質量問題，很可能導致飛機故障甚至解體，造成巨大的經濟損失和人員傷亡。在實際檢測中，鉚接質量檢測大多采用傳統人工檢測，檢測效率低、對工人經驗要求高、質量信息難追溯。近年來，很多研究者對鉚接質量檢測進行了研究。胥俊敏、楊賓峰等對遠場渦流傳感器進行優化設計，并將它應用于鉚接檢測。蔣滔等人將改進遺傳算法與OSTU方法相結合，對飛機蒙皮圖像進行分割，采用視覺檢測方法檢測鉚接質量。黃華斌等采用聲發射參數濾波和空間濾波的方法，在強噪聲環境下獲取有效聲發射信號,通過對信號的特征參數進行趨勢分析、空間定位分析和組合濾波分析,檢測鉚接壁板上裂紋的萌生和擴展情況。MUELLER等通過扭矩傳感器、激光傳感器等實時監控鉚接過程，利用人工智能算法執行檢測任務。上述檢測方法對機器學習技術的應用，大多是采用機器視覺對信息進行采集、整理，應用機器學習算法進行檢測的研究較少，在質量追溯方面也涉及較少。

本文作者針對目前傳統鉚接檢測效率低、工人勞動強度大等問題，提出基于機器學習的鉚接質量檢測方法。在應用機器視覺的基礎上，采用IPSO-LSSVM算法進行質量檢測，使用專家系統進行質量追溯和缺陷分析。在沈陽飛機工業集團某型號飛機裝配車間對原型系統進行驗證，該系統可以為鉚接質量數字化檢測提供技術支持。

1 鉚接工藝及鉚接常見缺陷

測試使用的鉚釘為抽芯鉚釘，使用氣動鉚槍進行鉚接，如圖1所示。

圖1 鉚接工具及鉚接示意

影響鉚接壽命的工藝參數有拉鉚力、鉚釘尺寸、鉚釘與被鉚接件的材料特性、锪孔的尺寸等。根據檢測經驗，常見鉚接缺陷如表1所示。

表1 常見鉚接缺陷及成因

若鉚釘壓縮不充分，會使釘頭與四周產生縫隙；若鉚釘壓縮過量則會使鐓頭高度過小或刻傷壁板。為防止鉚接失效、保證鉚接壽命，在裝配過程中應選取適當的鉚釘及合理的鉚接參數。

2 鉚接質量檢測系統組成

基于機器學習的鉚接質量檢測系統包含4個部分，即圖像采集部分、圖像處理部分、質量檢測部分、質量追溯部分。

(1)圖像采集部分由CCD攝像機、圖像采集卡、照明系統、控制機構、計算機組成，保證采集的圖像清晰、特征鮮明；

(2)圖像處理部分對圖像進行二值化處理、中值濾波處理、Canny邊緣提取、特征測量等操作；

(3)質量檢測部分通過機器學習算法構建模型，對圖像進行分類，是鉚接檢測系統的核心；

(4)質量追溯部分反饋檢測結果，對不合格鉚接進行分析，得出產生鉚接缺陷的原因。

3 鉚接質量檢測系統工作流程

基于機器學習的鉚接質量檢測系統的工作流程如圖2所示。

圖2 鉚接檢測系統工作流程

3.1 圖像采集及預處理

對采集到的圖像進行二值處理，把鉚接部位從圖像中提取出來。如公式(1)，對于輸入圖像的像素，其閾值與設置的閾值進行比較，賦予輸出圖像白色(255)或黑色(0)的像素。

(1)

傳統灰度處理難以突出圖片特征，因此選擇使用Imadjust函數對圖像進行灰度調整。根據圖像背景,為突出鉚接部分特征，去除0.2×255至0.5×255之間的值，其余部分的值在0～255之間按比例重新映射。如圖3中(a)、(b)所示分別為原圖、Imadjust函數調整的灰度圖。圖4所示為Imadjust函數調整的直方圖。

圖3 調整前后的灰度圖對比

圖4 Imadjust函數調整的灰度直方圖

對調整后的灰度圖進行中值濾波[圖5(a)]，減少脈沖噪聲、椒鹽噪聲對圖像特征的影響，為后續邊緣特征提取做準備。

如公式(2)所示，(,)、(,)分別為原始圖像和輸出圖像，、為圖像三階矩陣區域中位置的對應變量。

(,)=med{(-,-)}

(2)

由于形態學分析會淡化裂紋，導致裂紋難以檢出，中值濾波后的圖像在形態學操作前應優先進行裂紋檢測。對圖像使用Canny邊緣檢測算法，并對圖像中鉚接處裂紋進行識別，邊緣檢測結果如圖5(b)所示。

圖5 中值濾波及邊緣檢測結果

Canny邊緣檢測首先對圖像進行高斯濾波，高斯核如公式(3)所示：

(3)

式中：為平滑度參數，當=1.5時，計算公式如式(4)所示。

(4)

圖像高斯濾波像素如公式(5)，式中為圖像的三階像素矩陣，求得的像素為矩陣的中心點像素。

(5)

使用Sobel算子依次計算每個像素點的梯度，得出邊緣所指方向。此時得到的邊緣比較模糊，需要進行非極大值抑制，確保邊緣只有一個準確響應。采用雙閾值檢測將邊緣像素區分為強邊緣或弱邊緣。強邊緣判定為真實邊緣，弱邊緣通過抑制孤立低閾值點進行判斷，得出邊緣檢測結果圖。

對于邊緣檢測結果圖,使用SSD(Single Shot Multibox Detector)算法對裂紋進行檢測，將檢測出裂紋的部位直接定義為不合格。通過裂紋檢測的圖像進入之后的檢測環節。

使用中值濾波的圖像進行形態學操作，對圖像進行腐蝕、膨脹來消除鉚接部位周圍灰塵、顆粒對圖像的影響，如圖6所示。這種處理使圖像邊緣趨于平滑，且不會明顯改變圖像中其他特征信息。

圖6 形態學操作結果

對經過處理的圖像應用Regionprops函數，得到特征部位的像素點總數、特征部位邊緣像素點數、特征部位在圖像中占比、特征部位圓度。根據上述數據,應用公式(6)求得具體特征參數。

(6)

式中：為圖像面積;為特征部位面積;為特征部位周長。

3.2 機器學習算法在鉚接檢測系統中的應用

3.2.1 粒子群優化算法

PSO算法處理鉚接檢測模型參數可以提升檢測準確率。設在維空間中有個粒子組成粒子群，粒子的位置=(1,2,3,…,)，粒子的飛行速度=(1,2,3,…,)，粒子的最好位置=(1,2,3,…,)，其中=1,2,3,…,，粒子群中所有粒子經歷的最好位置為()。根據上述定義，可以得出粒子群算法的進化方程如公式(7)(8)所示：

(+1)=()+[()-()]+[g()-()]

(7)

(+1)=()+(+1)

(8)

式中：表示粒子；表示維度；表示進化次數；、為加速常數,常取2;、為[0,1]內隨機數。

3.2.2 最小二乘支持向量機算法

為防止檢測結果陷入局部最優，使用回歸擬合能力較強的LSSVM算法構建鉚接檢測模型。

(9)

s.t.[()+]=1-，=1,2,3,…,

式中：為權向量；為擬合誤差，是實際訓練輸出與估計輸出的誤差值；為懲罰參數，用于懲罰超出誤差的樣本；()為非線性函數，把原始空間的輸入向量映射為高維空間向量；為偏差量。為解決上述問題引入拉格朗日函數，如公式(10)所示:

]-1+}

(10)

s.t.≥0=1,2,3,…,

式中：為拉格朗日乘子。根據KKT最優條件，對、、、求偏導數，并令它們等于0，得出公式(11)：

(11)

聯立上述公式消去、，經過整理得出公式(12)：

(12)

式中：=[,,,…,];=[1,1,1,…,1]，=[,,,…,];為×的單位矩陣;=[()()]×。根據上述公式可以得出LSSVM的最優分類函數如公式(13)所示:

(13)

式中：(,)=()()為核函數，它應滿足Mercer定理，文中選用徑向基核函數，如公式(14)所示：

(,)=e-(|-|)/(2)

(14)

3.2.3 算法的改進與應用

傳統PSO算法具有鉚接檢測模型樣本較少、數據集中等特點，需進行改進。在PSO算法中增加慣性權重，前期選擇較小增強搜索精度、減少發散、提高搜索能力，可有效提高檢測準確性。具體改進如公式(15)(16)(17)所示：

(+1)=()+[()-()]+

[g()-()]

(15)

(+1)=()+(+1)

(16)

(17)

其中:、分別為權重的最大、最小值；、分別為當前迭代次數、最大迭代次數。

使用IPSO算法對LSSVM算法構建的模型進行參數優化，初選參數如下：=20，=2，=2，=0.95，=0.4，=100。經過IPSO優化得出=58.536、=5.633。將上述參數代入檢測模型，并使用300張鉚接部位圖像對模型進行訓練，并用60張進行測試，得出測試結果如表2所示。

表2 模型測試結果

3.3 鉚接質量追溯

檢測系統的質量追溯模塊應用智能制造技術。對于不合格的鉚接，檢測系統會將其特征信息保存至數據庫并輸入鉚接質量在線分析系統。該系統會對不合格的鉚接進行推理決策，列出缺陷種類和原因并指導工人對缺陷進行修正。分析系統界面如圖7所示。

圖7 鉚接質量在線分析系統

鉚接質量在線分析系統具有自學習能力，通過人機交互和質量問題決策案例進行自我學習，將技術人員的經驗知識和新捕捉的特征存入知識庫，提高系統決策能力。這些知識也可用于圖像預處理部分，將更多重要特征信息納入需要提取的部分，提高鉚接質量檢測系統的檢測準確率。

4 鉚接質量檢測系統在某飛機裝配車間實踐

提高裝配效率和裝配質量是車間高效生產的基礎，提高裝配質量檢測效率是提高生產效率的重要途經。鉚接質量檢測系統相比傳統人工檢測在效率上有明顯優勢。

為驗證系統有效性，在沈陽飛機工業集團某型號飛機座艙蓋及風擋裝配車間應用鉚接質量數字化檢測系統進行測試。隨機選取50個鉚接部位進行檢測，測試系統實用性和檢測精度。經過圖像采集處理，得出如表3所示的結果。

表3 圖像特征信息提取結果

將特征信息導入鉚接檢測系統進行檢測，結果如圖8所示。

圖8 鉚接檢測結果

對比、分析鉚接質量檢測系統檢測結果與傳統人工檢測結果，結論如表4所示。

表4 鉚接檢測系統結果分析

由表4可知：鉚接檢測系統鉚接質量檢測準確率為96%，基本可以完成檢測任務。將檢測為不合格的鉚接數據輸入專家系統，可分析鉚接缺陷產生原因，方便工人修正。

經過驗證，可以得出鉚接質量檢測系統對提高裝配質量檢測效率、減少人工勞動強度、提高檢測精度具有較好的應用效果。

5 結論

本文作者針對傳統鉚接質量檢測效率低等問題，提出基于機器學習的鉚接質量數字化檢測系統。通過驗證得出以下結論：

(1)借助CCD攝像機采集鉚接部位圖像，應用圖像處理技術可以有效提取鉚接部位特征數據；

(2)利用經過訓練的鉚接質量檢測模型，可以有效判斷鉚接質量，并且準確率較高；

(3)利用鉚接質量在線分析系統可以分析鉚接缺陷的產生原因并給出解決方案。

基于機器學習的鉚接質量數字化檢測系統能夠有效提高鉚接檢測效率、減少工人勞動且具有較高準確率。但是，目前將該系統應用于曲面鉚接檢測仍處于探索階段，還需進一步研究和驗證。