一種基于PPCNN的金屬激光熔化沉積熔池狀態識別方法

馬琳杰

摘要：金屬激光熔化沉積質量與熔池狀態具有密切的關聯，根據熔池視覺特征對加工中的熔池狀態進行識別，進而實現沉積質量的在線預測對金屬激光熔化沉積技術具有重要意義。為構建上述映射關系，本文提出了一種基于金字塔池化卷積神經網絡的金屬激光熔化沉積熔池狀態識別方法。針對所采集的熔池同軸圖像，建立用于訓練和測試的數據集;構建了金字塔池化卷積神經網絡（Pyramid pooling convolutional neural networks，PPCNN），并進行網絡關鍵參數的研究。結果表明：第一層卷積核尺寸為5×5，卷積層和金字塔池化模塊含有64+8×3個卷積核使網絡在識別準確率上達到最佳。所提方法取得了最高96.80%的識別準確率。

Abstract： The quality of metal laser melting deposition is closely related to the state of the molten pool. Recognizing the state of the molten pool in processing according to the visual characteristics of the molten pool， and thus realizing the online prediction of the deposition quality is of great significance to the metal laser melting deposition technology. In order to construct the above mapping relationship， this paper proposes a method for identifying the molten pool state of metal laser melting deposition based on pyramid pooling convolutional neural network. Based on the collected coaxial images of the molten pool， a data set for training and testing was established; a pyramid pooling convolutional neural network（PPCNN） was constructed， and key network parameters were studied. The results show that the size of the first layer of convolution kernels is 5×5， and the convolutional layer and pyramid pooling module contain 64+8×3 convolution kernels to make the network achieve the best recognition accuracy. The proposed method achieved a maximum recognition accuracy of 96.80%.

關鍵詞：增材制造;定向能量沉積;激光熔化沉積;熔池;卷積神經網絡;金字塔池化模塊

Key words： additive manufacturing;directed energy deposition;laser melting deposition;molten pool;convolutional neural network; pyramid pooling module

0 ?引言

定向能量沉積（Directed Energy Deposition，DED）是利用聚焦熱能將材料同步熔化沉積的增材制造工藝[1]。該技術可以在零件的成形過程中實現不同材料的融合，使得制備的零件具有任意方向上的材料和功能梯度。其中金屬激光熔化沉積是采用激光束作為聚焦熱能的定向能量沉積技術。目前，由于金屬激光熔化沉積存在復雜的多物理場耦合作用，使得加工零件的質量可靠性和效果重復性提升困難，這限制了其規?；こ袒瘧谩?/p>

在線診斷識別及反饋控制是提高激光熔化沉積技術質量可靠性與效果重復性的關鍵手段之一。熔池作為激光熔化沉積加工中的重要物理現象及多場耦合的重要載體，其包含著豐富的物理冶金狀態信息，可為工藝穩定性與零件質量的在線診斷識別及反饋控制提供重要的理論與數據支持。因此，針對熔池形態監測的研究引起了學者的廣泛關注。唐梓玨等[2]采用同軸監測方法，對四種不同工藝條件下的熔池動態特征進行監測，揭示熔池關鍵形狀精度的演化行為，并建立新的熔池形狀精度模型。HOFMAN等[3]同樣采用同軸監測方法對熔池寬度進行監測，結果表明熔池寬度影響沉積層的稀釋率和硬度的穩定性。劉新鋒等[4]利用CCD相機拍攝完整的熔池圖像，通過提取熔池的長度、寬度、面積等特征作為神經網絡的輸入，建立預測熔池背面熔寬變化的網絡模型。上述研究雖然已對熔池特征與最終加工質量間的關聯關系展開了研究，并實現了基于特定熔池特征的在線診斷識別，但對于可反映激光熔化沉積熔化—熔融—凝固全過程的熔池而言，依然有大量的過程特征信息沒能很好的進行利用，這阻礙了基于熔池的激光熔化沉積質量在線診斷識別與反饋控制技術的應用。

深度學習（Deep Learning，DL）算法能夠自動創建特征提取器與分類器，其識別分類能力隨著提供新的訓練數據而改進和發展。卷積神經網絡（Convolutional neural networks，CNN）可以直接對圖像進行處理，使直接對熔池圖像進行特征提取成為可能。與傳統方法相比，CNN的顯著優點是利用深層次的網絡結構從圖像中自動提取出更加抽象的特征，而不是依賴于專家知識手動提取。同時，CNN具有局部感知和權值共享的特點[5]，減少了網絡參數的數量，從而減少了訓練的時間。上述優點使其應用范圍也更加廣泛[6-8]。但Zhang等[9]將原始圖像輸入到CNN取得的平均準確率只有92.8%，原因是原始圖像含有噪聲或CNN在傳遞過程中信息丟失，導致沒有取得更高的準確率。因為在金屬激光熔化沉積中，受多物理場耦合、監測光路污染與加工環境變化等因素的影響，熔池特征往往復雜多變，這對CNN性能提出了更高的要求。

為了充分利用金屬激光熔化沉過程熔池圖像的在線信息并抑制熔池信息在深度神經網絡傳遞過程中的損失，本文提出了一種基于金字塔池化模塊的卷積神經網絡熔池狀態識別方法，并結合在懲罰函數中添加L2范數正則項來提高模型的泛化能力，實現了熔池狀態的精確識別。通過本研究為激光熔化沉積質量的反饋控制提供了重要的數據支持。

1 ?試驗材料、設備及方案設計

試驗采用了由六軸機器人（KR30HA，Germany）、半導體激光器（LDF 4000-100 VGP，Germany）、激光頭（YC52，Precitec KG，Gaggenau，Germany）和送粉器（RC-PF-01B-2，Raycham Ltd，Nanjing，China）組成的激光熔化沉積系統，實驗設備如圖1所示。熔池圖像采集系統由同軸工業相機、計算機組成。其中，同軸工業相機可采集632×508像素的圖像，采集幀率最高可達500fps，所采集的熔池圖像為單通道灰度圖像，采集后傳輸到計算機中進行保存。試驗過程中的保護氣和載粉氣均為純度 99.999%的氬氣，送粉量為9.15g/min，載氣流量為600L/h，保護氣流量為900L/h。試驗所用材料為316L基體和316L粉末，粉末的粒徑為45～150μm。

本文所采用的316L基板尺寸為60mm×40mm×8mm。通過改變激光功率（500W、600W、700W、800W、900W、1000W、1100W、1200W）和掃描速度（1mm/s、3mm/s、5mm/s、7mm/s、9mm/s、11mm/s、13mm/s、15mm/s、17mm/s、19mm/s），在80組參數的組合下，利用單道掃描，獲取熔池的灰度圖像。由于在沉積起始處熔池不穩定，此時拍攝的熔池圖像不具有代表性，因此需選擇1s后處于激光熔化沉積穩定狀態時的熔池圖像作為最終的數據集。

2 ?數據集生成

參照前期研究成果[2]的單道單層沉積試驗，本文將沉積狀態分為4類，其對應圖像特征分別如下：①熔池的幾何輪廓為倒梯形，此時沉積層潤濕角過高（接近或大于90°），冶金結合不良，沉積狀態為過度熔融;②熔池的幾何輪廓為近圓形，此時沉積層潤濕角遠小于90°，冶金結合正常，沉積狀態為正常熔融;③熔池的幾何輪廓為不規則形狀，此時沉積層潤濕角正常，但冶金結合不良，沉積狀態為不完全熔融;④當無法形成穩定的熔池和沉積層，沉積狀態為不連續熔融。之后以閾值分割和邊緣檢測算法獲得熔池初步輪廓，并根據熔池初步輪廓的外接矩形a*b，截?。╝+10）*（b+10）矩形范圍作為ROI（Region of Interest）區域。圖2顯示了4類單道的表面質量及對應的熔池ROI圖像。每個沉積狀態下數據的詳細介紹如表1所示。最后將熔池圖像統一壓縮為32×32像素作為模型的輸入。因為CNN是一種有監督的訓練方式，需要對每張圖像建立標簽，該標簽代表熔池圖像對應的沉積狀態。

3 ?PPCNN模型

PPCNN（Pyramid pooling convolutional neural networks，PPCNN）即金字塔池化卷積神經網絡。卷積神經網絡的高層特征有助于類別識別，但連接全連接層的池化層會丟失大部分提取的高層特征，從而影響識別準確率。而金字塔池化模塊[10]融合了不同尺度的特征，提高了獲取全局信息的能力，有效的減少了高層特征的信息丟失問題。因此，本文將金字塔池化模塊與卷積神經網絡相結合，構建了PPCNN模型，模型結構及參數如圖3所示。

本文的金字塔池化模塊融合了三種不同尺度的金字塔池化特征，分別為1×1，2×2，4×4，如圖3中的金字塔池化模塊。其中紅色表示全局池，對整個特征圖進行池化操作。以下金字塔等級將特征圖分割為不同的子區域，對特征圖進行不同位置的池化操作，不同金字塔等級池化操作會產生不同大小的特征圖。金字塔池化操作后采用1×1卷積確定每種尺度所生成的特征圖數量，之后采用雙線性差值擴展到與C5相同的尺寸，最終將金字塔池化模塊生成的三種不同尺度的特征圖與C5特征圖進行融合，從而聚合高層特征，減少信息的丟失，提升整體的識別準確率。

卷積神經網絡的訓練過程分為前向傳播和反向傳播，在前向傳播過程中，輸入數據經過多層卷積層和池化層進行特征提取，經全連接層，輸入分類器進行數據的分類識別。在反向傳播過程中，依據損失函數，通過反向傳播從后往前更新網絡的權重和偏置參數，以達到最優的網絡參數，最終實現最優的網絡模型[11]。為了防止模型的過擬合，提高網絡模型的泛化能力，本文采用添加L2范數作為懲罰項的交叉熵損失函數，則改進后的懲罰函數為：

4 ?PPCCN熔池狀態識別

4.1 PPCNN關鍵參數影響分析

CNN的網絡參數對整體的識別結果有較大的影響。例如，卷積核尺寸、全連接層數量等。通過對上述兩個參數進行研究，確定最適合識別四種沉積狀態的網絡參數。第一層卷積核作用于輸入圖像，其卷積核的尺寸直接決定首次感受野的大小，對初次特征提取至關重要。因此，研究第一層卷積核尺寸從3×3-11×11的變化過程中，識別準確率的變化趨勢如圖4所示。從曲線中可以看出，當卷積核尺寸為5×5時，網絡對熔池狀態的識別率最高。這是由于3×3的尺寸較小，不能有效的提取熔池圖像的特征，而由于輸入圖像只有32×32，過大的卷積核尺寸不能合適的提取熔池圖像的特征，反而會增加網絡訓練的時間。

由于最后一層卷積層卷積核和金字塔池化模塊卷積核數量即融合后卷積核總數共同決定了全連接層輸入的大小，而全連接層中的特征直接決定識別準確率，因此研究融合后卷積核總數對識別效果的影響。由于金字塔池化模塊融合了三種不同金字塔尺度下的特征，再與前一層卷積層進行最終融合，故要確定四層卷積核數量，以使網絡達到最優的識別率。本文采取了6組不同數量的卷積核進行訓練，分別為32+8×3，32+16×3，32+32×3，64+8×3，64+16×3，64+32×3，其中32+8×3表示金字塔池化模塊的前一層卷積層有32個卷積核，金字塔池化模塊每種尺度下有8個卷積核，故四層卷積核總數為56，其他參數的含義與之相同。訓練得到融合后卷積核總數與識別準確率的變化趨勢如圖5所示。從圖5中可以看出，當卷積核總數為88時，準確率最高為96.80%。當前一層卷積層卷積核數量為32時，整體準確率低于前一層卷積層卷積核數量為64的準確率。說明當最后一層卷積層中卷積核數量較少時，不能充分對熔池圖像特征進行提取，導致融合后效果不佳。當最后一層卷積層卷積核數量為64時，隨著卷積核數量的增加，識別準確率下降。說明全連接層參數過多，可能導致過擬合現象，從而影響對測試數據的識別。

因此，通過對第一層卷積核尺寸和融合后卷積核總數的研究，最終確定第一層卷積核尺寸為5×5，融合后卷積核總數為88（64+8×3）時，網絡的識別精度最高。

4.2 準確率對比分析

為了對比論證所提方法的優勢，選擇不添加L2懲罰項的PPCNN、標準CNN進行對比。不添加L2懲罰項的PPCNN也采用圖3的網絡結構與參數，標準CNN的網絡結構和參數與圖3相比，將金字塔池化模塊替換為步幅為2，濾波器為2×2的最大池化層，且只有兩層全連接層，第一層全連接層具有1024個節點，第二層全連接層的節點數為200，其他網絡結構和參數與圖3保持一致。同時為了突出所提方法相對于SAE和傳統方法的優勢，將熔池ROI像素灰度值范圍從0到255分為25個區間，將不同區間中的像素數提取為熔池特征分別輸入SAE、SVM和傳統淺層神經網絡BPNN進行對比。具體實驗方法介紹如表2所示。

本文每種方法共進行4組相同條件的試驗，選擇梯度下降算法對網絡執行350次優化迭代后，每種方法的4組實驗的準確性如表3所示。

從表3可以得到，采用CNN的方法的準確識別率明顯高于SAE和傳統分類方法。采用所提方法（L2-PPCNN）四次識別準確率分別為：96.25%，95.90%，96.40%以及96.10%，平均準確率為96.16%，高于不添加L2懲罰項的PPCNN的95.41%。說明懲罰函數中添加L2范數正則項，提高了模型的泛化能力和識別準確率。而標準CNN由于沒有采用金字塔池化模塊，其平均準確率為93.41%，相比于所提方法，其識別準確率下降了2%。說明金字塔池化模塊融合的不同尺度的特征提高獲取全局信息的能力，從而有效減少高層特征的信息丟失，提升了識別準確率。熔池特征+SAE的平均準確率只有75.40%，這表明CNN提取熔池特征的能力比手動+SAE提取特征的效果更好。熔池特征+SVM和熔池特征+BPNN的平均準確率都低于55%，說明傳統神經網絡在信息豐富的熔池圖像中已經無法獲得較高的識別率。以上結果可以得出，所提方法識別準確率最高，表明從熔池圖像中提取的特征信息更全面。說明所提方法提高了獲取全局信息的能力，有效減少高層特征的信息丟失，同時還提升了模型的泛化能力。即本文提出的方法更適用于金屬激光熔化沉積中熔池狀態的識別。

5 ?結論

本文研究了一種金字塔池化卷積神經網絡的金屬激光熔化沉積熔池狀態識別方法。構建了金字塔池化卷積神經網絡，從而融合了不同尺度的特征，提高了獲取全局信息的能力，提升了識別準確率，從而有效的減少高層特征的信息丟失問題。同時在懲罰函數中添加L2懲罰項用于正則化處理，提高了模型的泛化能力。分析了網絡中兩個重要參數對于識別準確率的影響。研究表明：第一層卷積核尺寸為5×5，卷積層和金字塔池化模塊含有64+8×3個卷積核使網絡在識別準確率上達到最佳。相比于其他方法，在4組平行實驗中，所提方法最高識別準確性達到96.80%。同時該方法也為激光熔化沉積質量的反饋控制提供了重要支持。

參考文獻：

[1]全國增材制造標準化技術委員會.GB/T 35351-2017，增材制造術語[S].北京：中國標準出版社，2017.

[2]唐梓玨，劉偉嵬，顏昭睿，等.基于熔池動態特征的金屬激光熔化沉積形狀精度演化行為研究[J].機械工程學報，2019，55（15）：39-47.

[3]Hofman J T， Pathiraj B， DIJK V J， et al. A camera based feedback control strategy for the laser cladding process[J]. Journal of Materials Processing Technology. 2012， 212（11）： 2455-2462.

[4]劉新鋒，高進強，姜錫瑞，等.連續電流TIG焊熔池圖像的低成本自動化檢測[J].焊接學報，2001（06）：25-28.

[5]李彥冬，郝宗波，雷航.卷積神經網絡研究綜述[J].計算機應用，2016，36（09）：2508-2515.

[6]Wang F T， Deng G， Ma L J， et al. Convolutional Neural Network Based on Spiral Arrangement of Features and Its Application in Bearing Fault Diagnosis[J]. IEEE Access. 2019， 7： 64092-64100.

[7]Jiao J， Zhao M， Lin J， et al. A multivariate encoder information based convolutional neural network for intelligent fault diagnosis of planetary gearboxes[J]. Knowledge-Based Systems. 2018， 160： 237-250.

[8]李海超，劉景風，謝吉兵，等.基于卷積神經網絡的GTAW熔透預測[J].機械工程學報，2019，55（17）：22-28.

[9]Zhang Y， Hong G S， Ye D， et al. Extraction and evaluation of melt pool， plume and spatter information for powder-bed fusion AM process monitoring[J]. Materials & Design. 2018， 156： 458-469.

[10]Zhao H S， Shi J P， Qi X J， et al. Pyramid Scene Parsing Network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， July 21-26， 2017， Honolulu， HI， USA：IEEE， 17355193.

[11]李恒，張氫，秦仙蓉，等.基于短時傅里葉變換和卷積神經網絡的軸承故障診斷方法[J].振動與沖擊，2018，37（19）：124-131.