基于數字孿生的航空壁板制孔位置實時監控研究

劉紅軍， 邵泓斌

（沈陽航空航天大學機電工程學院， 遼寧沈陽 110136）

0 前言

在“工業4.0”、 “中國制造2025” 以及新冠疫情等大環境的影響下， 全球制造行業面臨重大變革，由智能制造引領的第四次工業革命已悄然來臨。 相較于傳統制造， 智能制造結合自主分析、 自主優化、 多角度可視化等多種優勢， 打破了物理世界與數字世界的壁壘， 將兩者進行相互交融， 并具備虛實映射、 數據驅動等特點。 而數字孿生技術的出現為實現智能制造開辟了新的途徑［1］。

數字孿生是充分利用物理模型、 傳感器更新、 運行歷史等數據， 集成多學科、 多物理量、 多尺度、 多概率的仿真過程， 在虛擬空間中完成映射， 從而反映對應實體裝備的全生命周期過程［2］。 該技術是在虛擬世界中表示、 模擬仿真、 優化和可視化真實世界的重要手段［3］。 數字孿生系統的本質是將物理實體與虛擬實體模型融合， 二者互聯互通， 形成一個可持續優化的閉環控制系統［4］。 數字孿生理論技術體系可運用到多種場景中， 如工業產品設計及制造、 醫學分析、 工程項目等， 其中， 工程項目的應用目前比較成熟［5］。

數字孿生技術的提出引發了國內外眾多學者的討論與研究。 21 世紀初期， GRIEVES［6］首次提出了數字孿生的概念， 認為數字孿生即為物理模型在虛擬空間中的映射， 此概念對傳統制造業的轉型起到了重要的推動作用。 HAAG 、 ANDERL［7］提到數字孿生是通過模型和數據的交互反映物理實體的實際狀態、 屬性、 行為等， 并以此搭建了彎曲梁實驗平臺的數字孿生模型。 CAI 等［8］為減小數字孿生模型與物理實體之間的誤差， 依據加工信息與采集的傳感器數據建立了數字孿生機床， 使孿生體仿真結果更加接近于物理機床。 陶飛等人［9］首次提出了數字孿生車間的概念， 闡述了數字孿生車間的系統框架、 實現原理以及關鍵技術等， 為其他團隊研究數字孿生車間提供了堅實的理論基礎。 ZHAO 等［10］在處理物理模型與虛擬模型融合的問題中， 通過加工過程中的多源異構數據模型和映射方法對孿生數據進行處理， 著重分析了DTPM 在工藝規劃中的指導作用和可視化功能。 任洪樟［11］在數字孿生的基礎上實時監控生產線運行過程， 分別從物理層面和幾何層面構建了設備的數字孿生模型。 熊偉杰等［12］通過物聯網和OPC UA 通信技術設計了一套面向數字孿生車間的實時數據采集系統。 趙浩然等［13］提出了一種基于實時信息的車間三維可視化監控方法， 實現了對車間的全方位監控， 但沒有考慮到將優化的數據反饋給物理車間。 盧山雨等［14］運用數字孿生技術搭建了增強現實的加工系統， 實現了孿生數據的可視化，但是在人機交互等方面仍然有不足之處。

綜上所述， 眾多學者對于數字孿生技術的研究集中在系統框架的搭建、 模型結構的定義等方面， 多數研究僅討論了理論層面的數字模型或邏輯概念模型，對于數字孿生技術的應用暫時停留在理論研究階段。在工程項目制造領域中， 一些學者利用數字孿生技術實現了對生產車間的宏觀調度以及對產線的實時監控， 然而對于具體的加工設備例如數控機床等研究較少， 尤其是對于更為具體的航空壁板制孔應用更是少之又少。 針對上述問題， 本文作者提出“虛實結合、以虛顯實、 以虛控實” 的數字孿生制孔系統， 運用孿生數據將虛擬仿真與物理模型融合。 針對制孔加工過程， 提出一種三維可視化監控的方法， 以數字孿生五維模型為基礎， 搭建數字孿生體系結構， 構建基于物理機械臂模型以及工裝模型真實行為的實時映射虛擬仿真平臺， 以滿足對機械臂制孔過程的實時可視化監控、 制孔位置預測等要求。

1 數字孿生制孔平臺框架搭建

1.1 五維數字孿生制孔系統結構模型

數字孿生制孔平臺系統以信息管理技術以及傳感技術為載體， 搭建五自由度物理機械臂與虛擬機械臂模型之間的網絡通信系統， 以此實現孿生數據以及物理屬性的融合； 通過虛擬機械臂的孿生數據驅動， 控制物理實體運動， 在此過程中進行多源異構數據的集成與映射， 并對機械臂的加工位置實施預測， 對加工狀態實時監控， 為數字孿生制孔系統的可視化提供基礎， 從而建立五自由度機械臂制孔全過程的可視化監視與控制。

此次數字孿生制孔平臺以數字孿生五維模型為基礎， 構建了數字孿生系統結構模型如圖1 所示。 總體分為物理實體、 虛擬模型、 孿生數據、 應用服務、 交互連接五部分。 通過在線實時監控虛擬機械臂模型制孔過程從而達到對物理機械臂加工過程的三維映射，利用交互連接中的通信功能搭建虛擬與實體連接的橋梁， 虛擬模型接收來自傳感器采集的信號以及物理機械臂的狀態數據后， 通過預設的智能預測算法進行優化并返還給物理機械臂， 一定程度上可對機械臂的制孔加工過程進行指導， 有助于用戶全方位監控制孔加工過程， 并及時更正加工過程中出現的錯誤， 可提高制孔的精度與效率。

圖1 數字孿生制孔系統結構模型Fig.1 Structural model of digital twin drilling system

1.2 數字孿生制孔平臺的系統架構

制孔平臺的數字孿生系統架構如圖2 所示， 分為以下4 個部分：

圖2 數字孿生制孔系統總體框架Fig.2 Overall framework of digital twin drilling system

（1） 物理設備層

數字孿生制孔平臺的物理設備主要包括五自由度制孔機械臂、 工裝模型、 激光測距傳感器、 西門子PLC 等， 通過PLC 硬件以及傳感器傳遞采集的信號，以此將物理機械臂的運動行為實時映射到虛擬場景機械臂模型中。

（2） 虛擬模型層

首先， 利用SolidWorks、 Unity3D 等將物理機械臂在軟件中進行還原并渲染， 搭建數字孿生制孔平臺的虛擬場景； 其次， 根據物理機械臂的真實運動行為， 在虛擬環境中建立機械臂各個部件之間的運動關系， 并設置虛擬機械臂的初始位置坐標與物理機械臂一致， 這是保證數字孿生系統準確運行的關鍵； 最后， 通過通信系統實時接收采集到的運動信號控制虛擬模型運動。

（3） 數據采集層

孿生數據是驅動數字孿生順利運行的基礎， 其中采集的孿生數據包括激光測距傳感器的數值、 機械臂各個軸的運動速度等信號， 并將采集到的位置信號在Abaqus 中進行有限元分析， 模擬壁板的整體變形，分析后的數據將用于神經網絡的訓練， 作為實時預測壁板變形算法的數據基礎。

（4） 服務層

服務層為數字孿生制孔過程提供全方位的可視化服務， 針對Unity3D 搭建的數字孿生制孔平臺， 可以達到制孔過程中機械臂實時運動位置數據可視化、 加工壁板信號可視化、 實時預測數據可視化的效果。 例如通過孿生系統中的預測系統， 將預測后的數據顯示在UI （User Interface） 可視化界面中， 并指導機械臂的運動行為， 同時機械臂的運動位置數據也可顯示在位置可視化區域， 便于用戶分析、 判斷機械臂是否達到指定位置。

2 關鍵技術

數字孿生制孔系統平臺搭建的關鍵技術主要分為三部分： 虛擬數字空間搭建、 多源異構數據的傳遞與處理以及制孔過程中的可視化監測與智能算法的預測。 其中： 虛擬數字空間搭建包含三維幾何模型搭建、 虛擬場景搭建以及運動行為邏輯的確立； 多源異構數據的傳遞與處理是實現數字孿生虛實結合的關鍵， 包含機械臂通信系統的搭建、 加工數據實時上傳至云端數據庫等； 可視化監測利用Unity3D 中的UGUI 功能搭建UI 可視化界面， 對加工狀態以及加工位置進行實時可視化監控， 利用Unity3D 與MATLAB的交互， 實現神經網絡預測算法在Unity3D 軟件中的運用， 從而對制孔狀態進行分析與預測。

2.1 虛擬數字空間搭建

虛擬數字空間的搭建流程如圖3 所示， 主要由三維虛擬模型建立、 Unity3D 虛擬場景搭建以及運動行為邏輯構建三部分組成。

圖3 數字孿生制孔系統平臺搭建流程Fig.3 Digital twin hole drilling system platform construction process

（1） 三維虛擬模型建立

在建立三維虛擬模型之前， 首先需要對實際物理模型進行現場實地測繪并記錄模型外貌特征； 隨后按照測量好的尺寸在SolidWorks 軟件中進行1 ∶1 三維虛擬模型的繪制， 并導出為STEP 文件； 再將文件導入3ds Max 軟件中進行二次處理， 包括對模型坐標系的調整以及對復雜冗余模型的減面與刪減； 最后將處理好的模型導出為FBX 模型， 并導入Unity3D。

（2） Unity3D 虛擬場景搭建

虛擬場景的搭建是數字孿生系統可視化界面的關鍵環節， 對于加工可視化區域， 需要對導入的機械臂模型以及工裝模型賦予材料屬性， 使其更加接近物理模型的效果， 整體制孔過程更加逼真； 對于UI 可視化界面， 利用Unity3D 軟件自帶的UGUI 功能進行UI界面的搭建， 其中包括機械臂運動數據可視化、 預測系統可視化以及通信系統可視化三部分。

（3） 運動行為邏輯構建

運動行為邏輯的構建是虛擬機械臂順利運動的基礎， 虛擬環境完成搭建后， 需要賦予虛擬機械臂的各個軸具體的運動行為以及邏輯操作。 在Unity3D 左側模型結構樹中， 拖動各個部位的機械臂部件即可完成父子關系的創建， 各個軸的相互運動關系即可確立，各個軸的運動可由Unity3D 支持的C＃腳本語言控制，利用Translate （） 函數、 Rotate （） 函數實現機械臂的運動、 旋轉等功能。

2.2 多源異構數據的傳遞與處理

虛擬場景中機械臂的運動是靠實時數據的傳遞實現的， 因此， 為實現虛擬機械臂與物理機械臂的同步運動以及三維數據實時可視化監控， 分析與處理多源異構數據， 基于孿生數據建立數字化模型必不可少。虛擬機械臂與物理機械臂的通信以及孿生數據傳輸流程如圖4 所示。

圖4 虛擬機械臂與物理機械臂通信及數據傳輸流程Fig.4 The communication and data transfer process between the virtual and the physical manipulator

由于制孔過程中每種數據的來源以及結構具有差異性， 因此組成了大量的多源異構數據， 主要由靜態信息、 動態信息以及預測信息三部分組成： （1） 靜態信息主要包括了機械臂尺寸數據、 工裝夾具模型數據、 待加工工件尺寸數據， 這幾類信息在制孔過程中恒定不變， 并且需要在制孔之前完成對靜態信息的導入及確認； （2） 動態信息是由外界激光測距傳感器以及機械臂加工過程中的運動數據組成， 這些數據會在制孔過程中實時變化， 但由于激光測距傳感器在測量以及傳輸過程中難免發生數據錯誤， 因此為了減少原始數據錯誤的產生， 需要進行過濾篩選處理。 動態信息關乎到數字孿生制孔系統整體運行的精度， 因此對于數據的精確性以及實時性要求更為嚴格； （3） 預測信息指的是預測航空壁板裝夾變形數據， 通過采集激光測距傳感器在待加工壁板安裝夾具前后的位置數據， 從而分析并獲取預測信息， 測距方式如圖5 所示。靜態信息、 動態信息、 預測信息共同組成了多源異構數據模型， 可將多源異構數據上傳至MySQL 云端數據庫進行存儲， 以便在制孔過程中調用相應的數據。

圖5 激光測距傳感器示意Fig.5 Schematic of laser ranging sensor

虛擬系統會將預測的航空壁板變形數據實時反饋給用戶， 預測的變形數據用于指導機械臂的運動， 利用PLC 控制機械臂的運動位移， 從而實現對物理機械臂的反控制。 通過數字孿生制孔系統模擬物理環境中的制孔狀態并控制物理機械臂， 即可達到以虛控實的目的， 這是數字孿生系統的重要研究內容。

2.3 數字孿生制孔系統可視化監測與預測

飛機的大多數結構件采用機械連接的方式， 一架大型飛機有1.5×106～2×106個連接件， 制孔精度則是機械連接中重要的一環［15］。 因此， 在數字孿生制孔系統中對機械臂制孔位置的可視化監測尤為重要。

數字孿生制孔系統可視化監測與預測模塊建立步驟如下： （1） 通過采集現場3 個激光測距傳感器的位置數據， 依次記錄每個壁板安裝夾具前后的位置數據， 并導入Abaqus 有限元仿真軟件中對壁板做變形分析， 如圖6 所示， 得到的數據集將會用做訓練神經網絡的數據集； （2） 在MATLAB 中編寫優化的神經網絡算法， 用于在線分析與預測壁板的整體變形， 通過訓練3 種不同神經網絡， 并對比分析驗證， 選取最優神經網絡模型， 從而有效預測壁板變形量； （3）通過MATLAB 與Unity3D 通信交互的方式， 將MAT?LAB 的預測數據傳遞到Unity3D 平臺， 其中Unity3D作為客戶端， MATLAB 作為服務端， 通過Unity3D的通信端口接收傳遞過來的預測數據， 并在UI 界面中實時顯示壁板的變形量； （4） 根據所預測的變形量，通過PLC 控制物理機械臂達到指定制孔位置， 并在UI 界面中觀察機械臂的運動數據。

圖6 航空壁板變形有限元分析Fig.6 Finite element analysis of aerospace panel deformation

通過反復進行采集、 分析、 預測、 決策4 個步驟， 可不斷更新優化壁板變形預測算法， 進一步提高機械臂制孔的位置精度。 在制孔加工過程中， 制孔位置一旦發生偏差， 操作人員可通過可視化界面及時發現并予以更正， 降低了制孔位置發生偏移的現象， 提高了盲制孔的精度。

3 數字孿生制孔系統仿真驗證

以沈飛五自由度機械臂為例， 其運動方向分為X軸、Y軸、Z軸以及A軸、B軸共5 個方向， 可以完成大型機翼壁板的盲制孔加工。 虛擬場景與物理場景的映射如圖7 所示， 其中圖7 的右下角為機械臂制孔時的細節放大。

圖7 五自由度機械臂制孔系統虛實映射Fig.7 Virtual－real mapping of the 5－DOF manipulator drilling system

3.1 航空壁板變形預測功能

為驗證第2.3 節所提出的優化神經網絡預測算法的可行性， 通過訓練與預測BP 神經網絡、 PSO－BP神經網絡以及所提出的經SSA 優化的PSO－BP 神經網絡模型， 比較3 種神經網絡模型的RMSE 與MAPE， 綜合驗證并說明所提出的SSA－PSO－BP 神經網絡模型具有更高的預測精度。

（1） 3 種神經網絡模型訓練

以Abaqus 有限元分析軟件所提供的50 組變形數據（如表1 所示） 為訓練數據集， 分別訓練3 種神經網絡模型。 其中BP 神經網絡中， 根據經驗公式P＝M＋N＋a可知： 隱含層節點數P可由輸入層節點數M與輸出層節點數N以及任意常數a來確定。通過不斷試算， 最后得出結果： 當隱含層節點數為40 時， 神經網絡訓練的誤差達到要求為1×10－5， 因此建立3×40×8 的BP 神經網絡結構模型， 最大訓練次數為100， 附加動量因子為0.95， 學習速率為0.05。

表1 航空壁板有限元分析數據集 單位： mmTab.1 Finite element analysis dataset of aerospace panel Unit： mm

根據圖8 可知： 對BP 神經網絡權值與閾值進行PSO 算法的初次優化， 其中PSO 算法的具體參數設置為迭代次數為20， 種群規模為10， 學習因子c1＝c2＝1.494 45； 其次采用迭代速度快、 全局尋優能力強的SSA 算法對權值與閾值進行二次尋優， SSA 算法的參數為： 迭代次數為20， 種群規模為10， 發現者和加入者各占種群數目的20%， 預警值R2＝0.8。

圖8 SSA－PSO－BP 算法流程Fig.8 SSA－PSO－BP algorith mprocess

根據上述的參數設定， 對3 種神經網絡模型進行訓練。

（2） 神經網絡模型預測效果比較

將訓練好的神經網絡模型進行保存， 并將50 組有限元分析數據的最后5 組用于神經網絡模型的測試驗證。 3 種神經網絡的驗證結果如圖9 所示， 可以看出： SSA－PSO－BP 神經網絡預測曲線與期望值具有較好的曲線擬合度。 根據MAPE 以及RMSE 驗證神經網絡模型的準確率， MAPE 與RMSE 的值越小證明精度越高， 結果如表2 所示， 可知： SSA－PSO－BP 的MAPE 為0.07%， RMSE 為0.38 mm， 說明所提出的經SSA 優化的神經網絡預測效果更好， 預測精度更高， 證明該神經網絡模型具有較好的實用性， 適用于實際制孔過程中對于壁板變形的實時在線預測。

表2 模型準確度對比Tab.2 Comparison of model accuracy

圖9 預測值與期望值對比Fig.9 Comparisonof predicted and expected values： （a）training set 1； （b） training set 2； （c） training set 3； （d） training set 4； （e） training set 5

（3） 神經網絡模型在Unity3D 中的應用

Unity3D 支持的腳本語言為C＃， 并不適合編寫復雜的神經網絡算法程序， 因此采用MATLAB 與Uni?ty3D 交互的方式實現神經網絡模型在Unity3D 中的應用。 Unity3D 作為客戶端， 用于接收激光測距傳感器的測距值， 并將測距值傳遞給神經網絡模型用于變形的預測； MATLAB 作為服務端， 接收來自Unity3D 的測距值數據， 利用已經訓練好的神經網絡模型對它進行壁板變形的預測， 并將預測的數據實時返還給Uni?ty3D， 顯示在UI 界面中。 在Unity3D 中， 運用C＃腳本語言調用相關的SQL 語句連接MySQL 數據庫。

3.2 數字孿生制孔三維可視化監控功能

圖10 所示為搭建的數字孿生制孔可視化監控平臺界面， 總共分為三大區域。 機械臂制孔全程可通過可視化加工區域進行監視。 細節放大區域是對制孔位置進行鏡頭拉近處理， 有助于操作人員觀察制孔過程的細節。 UI 監控界面為主要監視以及控制區域， 包含四大模塊： 第一部分為“正在加工的壁板” 信號區， 此處可實時監控并顯示加工過程中某一時刻正在加工的壁板； 第二部分為“機械臂位姿” 信號區，此處可實時監控機械臂運動的位置信號， 使用戶及時得知機械臂的運動位置； 第三部分為“預測系統”信號區， 此處能夠實時采集并顯示預測算法所需要的3 個激光測距傳感器的測距值， 并且可以運用優化的預測算法對壁板的變形做出精準且快速的預測， 為五自由度機械臂提供準確的運動指導； 第四部分為“通信模塊” 信號區， 通過輸入IP 地址以及端口號將虛擬與實際環境打通， 從而可在虛擬模型中實時顯示實際的加工過程， 并且通過觀察虛擬模型加工過程中出現的錯誤， 及時對實際加工做出正確的指導， 以此實現數字孿生的整個控制過程。

圖10 數字孿生制孔系統可視化界面Fig.10 Visual interface of digital twin hole drilling system

4 結論

文中對飛機機翼壁板自動制孔系統進行了研究。為了實現制孔過程中的實時三維可視化監視與控制，搭建了“虛實結合、 以虛顯示、 以虛控實” 的數字孿生平臺， 提出了基于數字孿生的制孔過程三維可視化監控方法， 詳細介紹了數字孿生制孔系統的系統架構， 并在虛擬數字空間搭建、 多源異構數據的傳遞與處理以及制孔過程中的可視化監測與智能算法的預測3 種關鍵技術的支持下， 完成機械臂制孔過程管控的可視化、 智能化、 實時化。 經過仿真測試與驗證： 所提出的新型SSA－PSO－BP 神經網絡算法對壁板的變形預測精度較高， 適用于實際制孔過程中壁板變形的實時在線預測， UI 界面顯示效果良好， 有助于操作人員對虛擬制孔平臺的實時監控； 整體數字孿生制孔系統運行流暢， 為數字孿生技術在航空壁板制孔領域實現三維可視化監控奠定了基礎， 為加速傳統制造業向智能制造領域的轉型提供了幫助。

然而此研究仍然存在一些不足， 目前數字孿生系統所能采集的數據僅是制孔之前壁板的變形數據， 在實際制孔過程中， 孔會產生毛刺以及分層等現象， 從而影響制孔精度。 接下來將會以制孔工藝為重點研究內容， 通過采集更多的實時數據， 結合智能優化算法， 運用數字孿生系統控制整個制孔加工過程。