基于多模態信息融合的分流孔分類方法

周鋼亮， 秦 昊， 林卓勝， 張 昱

（1.五邑大學 智能制造學部， 廣東 江門 529020；2.廣東省科學院智能制造研究所， 廣東 廣州 510075）

0 引 言

在鋁型材擠壓模設計中，分流孔的設計是其重要組成部分及難點所在。根據型材面進行分流孔的設計較為困難，雖然有對應的設計原則，能夠根據擠壓比、型材面特性、擠壓機壓力、擠壓產品數目及其排列位置綜合設計分流孔，但沒有特定的公式可以參考，更多的是憑借以往的設計經驗[1-2]。理論上，一種型材面存在多種可行的分流孔設計方案，可從模具可擠壓性、經濟性等綜合因素判斷較為合理的設計方案，模具設計師需花費大量時間調整設計分流孔，因此分流孔模具設計智能化具有重要的實際工程意義[3]，能夠提升模具設計效率，但這同時對模具設計知識固化提出了挑戰。

目前，J LLORCA-SCHENK 等對分流孔設計進行幾何數據的統計分析，擬合出2 套線性與非線性的模具設計公式，并采用有限元模擬證實其有效性[4]。章弦采用人工智能與數值模擬方法研究擠壓模分流橋結構設計的優化[5]。于利偉歸納平面模與分流組合模的結構設計原則，將模具結構和工藝參數化，利用MenuScript 腳本文件對UG 進行二次開發[6]。M KAZUYA 等提出通用鍛模設計方法GeneDie，結合專家系統改進了知識設計方法以實現模具智能設計[7]。以上學者結合不同方法研究模具設計，提供不同結構的設計方案，但采用機器學習方法與分流孔結構研究較少。

近年來，隨著計算機運算能力的不斷提升和機器學習與神經網絡算法的快速發展，機器學習和深度學習在各行業得到應用。薛陽等采用卷積神經網絡對不同模態數據提取特征并融合，在有噪聲情況下可以較好判斷滾動軸承的狀況[8]。張勝文等構建深度學習零件特征分類器以及將加工零件圖像特征化，能準確分類加工零件的結構[9]。張文廣等提出基于殘差網絡構建遲滯特性圖的檢測方法，判斷執行器的磨損老化狀況，正確地對執行器進行遲滯檢測[10]。C SUMAN 等采用3 種模型（ResNet、VGG、CNN）提取不同模態特征，應用不同的注意力機制融合，輸入全連接層，通過sigmoid 函數最終輸出預測分類[11]。特征選擇算法的數值數據處理能力出眾，其中ReliefF 算法屬于過濾式特征選擇方法，具有易實現、易結合的特點。ZHANG B S 等基于ReliefF 算法提出隨機多子空間的特征選擇方法，在不同分類器下的試驗結果都高于其他特征選擇算法[12]；XUE Y 等提出了一種基于ReliefF 多目標算法的混合特征選擇算法，能夠充分利用過濾式與包裹式方法的優點，在切割大量特征的同時保證了良好的分類性能[13]。

現針對當前機器學習在擠壓模設計領域的缺失，構建分流孔模具設計數據庫，通過數據增強手段，如幾何變換、增加分流孔較少類別樣本、平衡每類樣本的數量。利用卷積神經網絡模型（convolutional neural networks，CNN）對型材面提取圖像特征，使用ReliefF 算法篩選有效數值特征，以多模態融合的方式，構建一個基于多模態信息融合的分流孔分類模型（classification model based on multimodal information fusion，CMMIF），展開分流孔分類方法研究。最后在模具設計數據集上與主流基線模型進行試驗對比，證實CMMIF 在分流孔分類上具有優勢。

1 模型的構建

基于多模態信息融合的分流孔分類模型（CMMIF）的整體架構如圖1 所示，模型主要由3 個主體部分構成，分別是基于卷積神經網絡CNN 的簡單圖像型材截面特征提取、ReliefF 算法選擇分流孔設計相關數值特征和多模態融合與分類方法。

圖1 CMMIF整體架構

1.1 圖片特征抽取

對于圖像模態部分，型材截面由黑色線條構成，屬于簡單圖像，其中有效像素點占比較少，如果采用類似VGG、ResNet 等深度神經網絡，可能會導致無效像素點在特征向量中占比較重，而忽視型材截面圖像。為了避免該問題，卷積神經網絡作為提取特征的主要算法，設計了五層網絡結構的CNN，如圖2 所示。CNN 的輸入是256×256×1 的單通道圖片，經過3個以3×3為卷積核卷積層與3個采用最大池化方法的池化層進行卷積提取圖片特征，生成特征向量，以ReLU 為激活函數[14]，用于保留圖像的重要細節，同時能夠減少參數。CNN 的最后連接2 個全連接層，采用dropout 方法[15]從網絡中隨機刪除節點，減少網絡的過擬合。該CNN 結構簡單，訓練效率高，用于抽取型材截面的特征。

圖2 神經網絡模型結構

1.2 數值特征選擇

分流孔數值屬性多，維度較高，有非連續性數據，為了能夠更好挖掘分流孔數值屬性與分流孔的關系，采用ReliefF 算法對數值數據進行建模，選擇相關性較高的數值屬性。ReliefF 算法是對Relief 算法的一種改進[13]，能夠處理多分類的特征，該算法根據各個不同特征和類別的關聯性計算其權重。分流孔數據庫中提供8種特征值，分別是型材面名稱、模具編號、最小外接圓直徑、面積、周長、擠壓機壓力、型材材料和擠壓比。首先，隨機從分流孔數據庫中挑選一個訓練樣本R，并從樣本R的相同類型的數據中獲取k個近鄰樣本集合H（Near Hits）；其次，從樣本R的不同類型樣本的數據中找出k個最近鄰樣本M（Near Misses）；最后計算R與H和M中樣本的距離，如果類間距大于類內距，增加該屬性特征的權重W，反之則減少權重[16]。不斷迭代更新n次后再將每個屬性的特征權重取均值，根據設定閾值a，篩選出大于閾值的特征[12]。算法流程如圖3所示。

圖3 ReliefF算法流程

1.3 多模態信息融合及分類

CNN 提取的圖片特征與ReliefF 算法選擇的數值特征，采用Concatenate 函數實現特征融合，組成全新的長向量，該方法不僅能提升多模態分類模型的性能，而且方式簡單有效[17]。提取的型材截面特征向量表示為v1，（v1∈R576）和v2，（v2∈R4），將2 個向量于同一階進行組合，得到多模態特征向量如公式（1）所示。

其中，⊕表示拼接操作；580表示融合后多模態特征向量的維度。對于多分類問題，神經網絡輸出層的激活函數選擇SoftMax 函數。模型的損失函數選擇多分類交叉熵損失函數，如公式（2）所示。

其中，n表示分類個數；yi表示實際分類；ai表示模型分類預測值。損失函數用于衡量預測結果和實際標簽之間的差異，通過最小化loss 函數來優化模型參數。

2 試 驗

試驗設計如下：構建分流孔數據集與設計預處理方法；搭建試驗環境，確定使用CNN 與RelifF 算法，調整試驗參數；設置不同模態的對照試驗與不同模型的對照試驗，用精確率、召回率、F1值作為試驗的評價指標，分析試驗結果得出最后結論。

2.1 數據集與數據預處理

試驗數據集來自于企業模具設計部近3年擠壓模設計數據，其中包含模具型材面圖、平面設計圖、三維圖、仿真結果與仿真視頻等，主要使用的數據是型材圖與平面設計圖。型材圖中包含的數據由型材面圖片與型材的周長、最小外截面直徑、擬采用擠壓機壓力、材料等信息。模具平面設計圖記錄分流孔數目、位置、大小等相關信息，具體信息如圖4所示。

圖4 模具設計數據集屬性

數值數據中采用one-hot 將離散型數據處理成連續型，之后用Min-Max 歸一化方法將連續型數值映射到[0,1]區間，簡化計算。數據樣本中分流孔數目類別從一孔至八孔都涵蓋在內，但每類分流孔數目數量分布不均衡，四孔數據居多，二孔、七孔與八孔數據較少，采用數據增強方法，增加較少的類別樣本數量，使每類樣本數量相差不大。增強后的數據集每類樣本數目如圖5 所示。訓練集、驗證集和測試集以數據集7∶2∶1隨機劃分。

2.2 仿真環境及模型參數設置

分流孔分類模型使用Python3.6編寫，在Pytorch搭建深度學習網絡；電腦運行環境：操作系統為Windows10，CPU 為Intel i5-7300HQ，內存為32G，顯卡為NVIDIA RTX1050（2G 顯存）。利用OpenCV 讀取型材面圖片，將調整為256×256 的灰度圖像，使用transforms 函數歸一化處理，作為模型的輸入。隨機梯度下降（stochastic gradient descent，SGD）算法[18]作為權重更新優化方法，初始學習率與動量分別設置為0.01 與0.9。試驗數據batch_size 與訓練輪數epoch 分別設置為20 與30。網絡中隱藏層采用了dropout 策略避免過度擬合，并設置為0.5。為保證結果的可靠性，減少特殊情況，采用10折交叉方法。即通過重復10 次試驗，將得到的指標結果進行平均，作為最終的結果。

2.3 評估指標

分析分流孔分類情況，選擇評價指標有3個：精確率（precision）、召回率（recall）、F1值[19]。每一類分流孔數目的評價指標具體計算方法如公式（3）～（5）所示。

其中，TP表示真陽的數量；FP表示假陽的數量；FN表示假陰的數量。

2.4 試驗結果及分析

2.4.1 CMMIF分類試驗

CMMIF 訓練目標為預測分流孔類別，因此對模型不同模態進行分類試驗對比，比較分流孔分類效果，分析單模態與多模態的分流孔分類情況，分類結果如表1所示。首先，從單模態角度進行對比，圖片特征的分類能力略強于數值特征，分類能力沒有較大的差距，評價指標平均準確率相差3.97%，召回率相差2.89%，F1相差5.71%。2 種單獨模態的分類結果準確率都不高，F1指標得分相對較低，表明單模態數據并不能較好表示分流孔數目的細節信息，仍有較大改進的空間。將單模態與多模態行進對比，結合圖片與數值，多模態分類性能均優于各單模態的分類結果，有較大的提升，平均準確率提升30.39%，召回率提升30.11%，F1提升27.39%。這表明圖片特征與數值特征兩者能夠彌補各自特征的不足，多模態數據能夠更好表示分流孔的特征，幫助模型較為準確分類分流孔數目，同時驗證了卷積神經網絡能夠應用到模具的智能化設計中。

表1 不同模態分流孔分類結果

CMMIF 不足：多模態的特征提取未必是最優的方案，對模型中的參數需要進一步進行調整；收集數據時間成本高，難收集，導致數據樣本量不足；該研究僅考慮2 種模態數據，結合其他模態特征可能會更加準確描述分流孔。由于企業數據資源的限制，目前沒有公開的擠壓模設計數據集能夠進行驗證。

2.4.2 對比模型設計試驗

為了評估模型的分類表現，選擇多種模型進行對比試驗。

（1）VGG19 與ResNet18[11]。這2 種模型是深度神經網絡結構的代表，在視覺任務上有較好的效果，具有驗證深層網絡提取簡單圖形后的分類能力。

（2）SIFT+SVM[20]。圖片特征采用傳統特征提取SIFT 方法，該算法使用廣泛，具有良好的表現，支持向量機作為分類器，驗證傳統圖片特征提取分類方法在簡單圖片上的表現。

（3）無ReliefF數值特征篩選。CMMIF數值數據不使用ReliefF 算法，將全部的數值特征融合圖片特征，驗證ReliefF算法在選擇數值特征時的有效性。

將多模態模型CMMIF 同其他基線模型進行對比，平均評估指標比較結果如表2 所示。從表2 可以看出，由淺層CNN 構造的CMMIF 在各項指標中均值達到最優效果，平均F1值為91.83%。而作為對比由深層CNN 構造的VGG19 模型F1值最低僅為37.12%，說明深度CNN 網絡模型對簡單圖片的分類效果未必最佳；圖像特征采用SIFT 的多模態特征與SVM 分類器組合模型分類結果與單模態圖片類似，比使用SVM 的CMMIF 中F1值下降了13.67%，說明SIFT 提取的圖片特征與數值特征融合后表現分流孔特征能力較弱；對比不同的分類器對分類結果的影響，CMMIF 中全連接層后分別接入SoftMax 與SVM 分類器，SoftMax 分類器F1值比傳統SVM 分類器高13.01%，SoftMax 分類器對多模態數據分類效果更佳；不采用ReliefF 算法選擇數值特征模型比CMMIF 中F1值降低2.86%，表明ReliefF 算法能正確選擇與分流孔相關的數值特征，并提高模型的精度。

表2 CMMIF模型同各基線模型的對比結果

3 結束語

為了實現分流孔設計的智能化，針對當前擠壓模設計中分流孔數目研究不足的問題，提出基于多模態融合的分流孔數目分類模型CMMIF。該模型通過圖像識別、CNN 圖像特征提取、ReliefF 數值特征選擇與特征融合等技術的綜合運用，能夠準確地根據型材面預測最佳分流孔數目。該研究初步探索了神經網絡在模具設計智能化的應用，能為擠壓模行業設計師提供分流孔數目位置和大小的設計思路，為后續分流孔規格檢查，同時為實現分流孔設計的智能化提供支撐。

未來研究中，嘗試采集更多模態數據，優化神經網絡結構提取更佳的數據特征，并能結合其他技術如知識圖譜實現智能化擠壓模設計。