事件驅動的航空制造流水線預測性維護決策研究

張文沛 崔鵬浩 李洋 延爽

摘要：預測性維護決策旨在提高維護效率的同時，降低維護停機對生產的影響。預測性維護根據設備的實際健康狀態進行維護決策，能有效避免過度維護造成的浪費和維護不及時造成的設備隨機故障。然而類似于設備故障停機，預測性維護需要關閉設備進行維護作業。如果維護時機選擇不當，維護過程會引起生產線的饑餓和阻塞，造成生產損失。因此，預測性維護不僅需要關注設備自身的維護需求，還需要與實際生產進行聯動。以考慮機器狀態劣化的航空產品流水線為研究對象，在流水線產出損失分析的基礎上，研究流水線預測性維護決策問題。首先，針對缺料停機、設備故障等擾動停機事件和預測性維護事件，分析停機事件對流水線產出的影響，量化造成的流水線產出損失。其次，考慮流水線產出損失和維護成本構建獎勵函數，建立基于馬爾可夫決策過程的流水線預測性維護決策模型，結合深度Q網絡算法求解模型獲得優化決策方案。最后，通過仿真試驗對比其他三種維護方法，驗證了所提出決策模型的有效性。

關鍵詞：預測性維護；流水線；決策優化；馬爾可夫決策過程；深度Q網絡

中圖分類號：V37文獻標識碼：ADOI：10.19452/j.issn1007-5453.2022.05.008

航空制造業作為高端制造業的代表，體現了國家制造業的整體實力。隨著我國航空制造業的大力發展，裝備的智能化水平和復雜程度顯著提升，傳統的維護作業模式和技術實施手段無法充分發揮智能生產系統帶來的信息和互聯優勢，越來越難以滿足航空制造流水線的生產和維護決策新需求[1]。

預測性維護基于機器健康狀態信息進行維護決策[2]。區別于傳統的定周期預防性維護模式，預測性維護通過連續的設備狀態監測，按需實施設備停機維護，減少了定周期維護可能造成的過度維護和維護不及時問題，提高了航空生產線維護決策的適應性、即時性和有效性。雖然預測性維護可以提高設備的可靠性，在一個較長的時間段內有效減少停機故障引起的生產損失，但是維護時常需要將設備關閉，不僅會影響機器自身的產出，還會因為引起上游機器阻塞和下游機器饑餓，在短期內降低航空生產線性能[3]。因此，預測性維護需要平衡維護工作帶來的長期性能提升以及短期性能劣化。

目前，針對航空生產系統的預測性維護決策研究多集中在單機維護決策層面，維護方案過多關注設備本身。Gandhi等[4]利用數據挖掘技術產生的量化結果支持生產設備的維護決策，通過數據挖掘中的分類方法實現特征分裂值或構件測量頻率等估計，用于評估代表設備健康狀況的特征，以此支持生產設備的預測維護操作。Neves等[5]針對系統劣化的生產線維護決策問題，基于隱馬爾可夫模型理論將優化模型與參數估計模型相結合，提出基于狀態的維修策略。Florian等[6]針對同時考慮維護成本與投資成本的單個組件維修問題，提出了一種基于機器學習的預測維修方法，與傳統的決策閾值優化方法相比，該方法的維護費用最小。Lu等[7]針對單級多狀態系統，以產品質量為指標構建了設備的剩余壽命預測模型，并提出了一種基于部件功能重要性的預測維護決策方法。趙洪利等[8]針對航空發動機退化建模和剩余使用壽命預測，提出了基于融合數據建模方法的后期剩余使用壽命預測方法。徐釗等[9]提出了基于遺傳算法-支持向量機的航電模塊故障分類方法，并通過仿真試驗驗證了方法的有效性。

在多機生產線預測維修方面，當前研究相對較少。Borrero等[10]提出了一種針對多階段串行生產系統的預測維修控制策略，該策略利用全局目標模型進行機器級維修決策，利用維修時間窗方法進行系統級決策。Neto等[11]針對串并聯生產系統建立了維修優化模型，用間隔檢測方法確定設備狀態，并以此為依據選擇系統維修方式。曲昌琦等[12]提出了一套具有航空裝備特色的故障預測與健康管理數據體系架構，完善故障預測與健康管理不同數據要素之間的邏輯關系。崔鵬浩等[13]針對考慮機器劣化過程的多機流水線，以生產線性能評估為基礎，提出了基于深度強化學習的流水線預測性維護決策方法。綜上所述，現有預測性維護決策研究大多針對小規模航空生產系統，多關注設備自身，缺少與生產線性能研究的深度融合，忽略了維護造成的停機事件對生產系統運作效率的影響，因而難以實現維護決策與生產效率的耦合優化。

本文面向動態環境下的航空制造流水線維護需求，研究將數據驅動的生產線性能分析模型與預測性維護決策模型相結合，在滿足維護需求的前提下保障產能最優。首先建立數據驅動的產能分析模型，揭示停機事件對生產過程影響的運作機理，利用生產信息量化對缺料停機、設備故障等擾動停機事件和預測性維護事件對流水線產出損失的影響。而后結合馬爾可夫決策過程建立預測性維護決策模型，綜合優化流水線產出損失、維護成本。本研究揭示了流水線高效產出的運作機理，豐富了航空流水生產線維護決策手段，對提升生產效率、降低運維費用具有重要的支撐作用和研究應用價值，研究成果可應用在航空發動機零部件生產線、航空儀表等機載裝備生產線等航空制造流水線上。

1航空制造流水線定義與假設

每臺機器均是有多個離散狀態的不可靠機器。在不進行任何維護的情況下，機器的運行狀態會不斷劣化，最終處于故障狀態且無法自行恢復。流水線生產過程考慮兩種維護方式，分別是預測性維護和事后維護。預測性維護指在機器故障之前提前采取維護措施，將機器恢復到更健康的運行狀態；事后維護指在機器發生故障停機后，再采取維護措施將其恢復到運行狀態。在每一時刻，需要對系統內所有機器進行決策是否執行預測性維護或事后維護。

4.1.2結果分析

在試驗過程中，暖機時長為50天，運行時長為1000天。為了驗證預測性維護決策方法的有效性，本文將所提方法與事后維護、定期維修和基于狀態的維修決策等方法進行比較。

（1）事后維護方法只有機器發生故障處于故障狀態時，才會對其進行維修。對于本試驗而言，只有機器Ml，1≤l≤10處于狀態al= 3時，才會使用事后維護。

（2）定期維護方法基于時間的維修決策，根據經驗等來確定合理的維修時間間隔對機器進行維護。對于本試驗而言，本文使用模擬仿真來確定每臺機器的最優維護時間間隔，從而獲得定期維修方法下的最低系統運行成本。

（3）基于狀態的維護決策方法根據狀態檢測技術判斷機器所處的狀態，基于此確定是否對正常機器進行維護。若機器發生故障，則執行事后維護。對于本試驗而言，本文使用模擬仿真來確定每臺機器需要維護時的機器狀態，從而獲得基于狀態的維護決策方法下的最低系統運行成本。

試驗結果顯示，所提預測性維護決策方法在流水線產出損失成本、維修成本等方面均優于其他策略。以事后維護方法為基線，定期維護方法將流水線產出損失降低了3.04%，維修成本降低了1.17%；基于狀態的維護決策方法將流水線產出損失降低了6.08%，維修成本降低了8.62%；所提預測性維護決策方法流水線產出損失降低了10.40%，維修成本降低了26.14%，4種維護決策方法的執行效果見表13。為了分析預測性維護決策方法所得結果的特點，隨機選擇250個工作周期的時間段，分析該時間段內流水線的產出損失和加工機器維護決策變化情況，具體如圖3所示。

結果表明，所提預測性維護決策方法能夠有效地把握維護時機，在降低流水線生產損失的同時提高系統維護效率。具體分析結果如下：（1）最后一臺最慢的機器M7是最少進行預測性維護的機器。這是因為機器M7的停機會直接造成流水線產出損失。（2）預測性維護更頻繁地作用在距離機器M7最遠的機器M1上。這是因為只有機器與機器M7之間的緩沖區全為空時，機器M1才會造成流水線產出損失。因此，預測性維護作用在機器M1上造成流水線產出損失的風險最低。（3）所有加工機器傾向于同時執行維護活動。當機器Ml，1≤l≤10進行停機維護時，可以同時對其他加工機器進行維護。此時，對其他機器進行預測性維護不會造成額外的生產損失。

4.2成本參數的敏感性分析

為分析產出損失成本、事后維護成本、預測性維護成本等成本參數的變化對所提維護方法的影響，本文生成150條具有不同成本參數的流水線，機器與緩沖區參數、機器的轉移概率等參數不變，成本參數的取值范圍見表14。

在執行4種維護策略的情況下，暖機時長為50天，運行時長為1000天。對于每條生產線，統計4種維護策略情形下流水線產出損失、維修成本和總成本等指標。在此基礎上，計算這150條流水線的流水線產出損失、維修成本和總成本等指標的平均值，具體結果見表15。

試驗結果表明，以事后維護方法為基線，定期維護方法將流水線產出損失平均降低了1.90%，維修成本平均降低了1.86%，總成本平均降低了1.90%；基于狀態的維護決策方法將流水線產出損失平均降低了5.37%，維修成本平均降低了3.59%，總成本平均降低了4.78%；所提預測性維護決策方法流水線產出損失平均降低了18.16%，維修成本降低平均了13.40%，總成本平均降低了10.37%。

5結束語

本文面向動態環境下的航空制造流水線維護需求，以考慮機器狀態劣化的流水線為對象，以生產線性能評估為基礎，將數據驅動的生產線性能分析模型與預測性維護決策模型相結合。首先，分析停機事件對流水線產出的影響，提出流水線產出損失量化與歸因方法。其次，考慮流水線產出損失和維護成本，建立基于馬爾可夫決策過程的流水線預測性維護決策模型，利用深度Q網絡算法求解模型，提出流水線預測性維護決策方法。最后，通過仿真試驗，驗證了所提出決策模型的有效性。

本文所提出的流水線預測性維護決策方法能夠捕捉維護時機降低維護成本，提升流水線的產出。研究成果可應用在航空發動機零部件生產線、航空儀表等機載裝備生產線等航空制造流水線上。本文的研究對象為流水生產線，未來將拓展到脈動裝配生產線和考慮產品質量缺陷事件的生產線，進一步研究航空制造系統的智能維護決策問題。

參考文獻

[1]王海峰.戰斗機故障預測與健康管理技術應用的思考[J].航空科學技術， 2020， 31（7）： 3-11. Wang Haifeng. Research on application of prognostics and health management technology for fighter aircraft[J]. Aeronautical Science & Technology， 2020， 31（7）： 3-11. （in Chinese）

[2]Raza A，Ulansky V. Modelling of predictive maintenance for a periodically inspected system[J]. Procedia CIRP，2017，59：95-101.

[3]Li Y，Tang Q，Chang Q，et al. An event-based analysis of condition-based maintenance decision-making in multistage production systems[J]. International Journal of Production Research，2017，55（16）：4753-4764.

[4]Gandhi K，Schmidt B，Ng A H C. Towards data mining based decision support in manufacturing maintenance[J]. Procedia CIRP，2018，72：261-265.

[5]Neves M L，Santiago L P，Maia C A. A condition-based maintenance policy and input parameters estimation for deteriorating systems under periodic inspection[J]. Computers& Industrial Engineering，2011，61（3）：503-511.

[6]Florian E，Sgarbossa F，Zennaro I. Machine learning-based predictive maintenance：a cost-oriented model for implementation[J]. International Journal of Production Economics，2021，21：108114.

[7]Lu B，Chen Z，Zhao X. Data-driven dynamic predictive maintenance for a manufacturing system with quality deterioration and online sensors[J]. Reliability Engineering & System Safety，2021，212：107628.

[8]趙洪利，鄭涅.基于融合數據和維納建模發動機余壽預測[J].航空科學技術，2021，32（5）：23-30. Zhao Hongli， Zheng Nie. Engine RUL prediction based on the combination of fusing data and wiener modeling[J]. Aeronautical Science & Technology， 2021， 32（5）： 23-30. （in Chinese）

[9]徐釗，張一童，潘震，等.基于遺傳算法：支持向量機的航電模塊故障分類研究[J].航空科學技術， 2021， 32（10）： 80-86. Xu Zhao， Zhang Yitong， Pan Zhen， et al. Avionics module fault classification based on genetic algorithm-support vector machine[J]. Aeronautical Science & Technology， 2021， 32（10）： 80-86. （in Chinese）

[10]Borrero J S，Akhavan-Tabatabaei R. Time and inventory dependent optimal maintenance policies for single machine workstations：an MDP approach[J]. European Journal of Operational Research，2013，228（3）：545-555.

[11]Neto R F T，Godinho Filho M. An ant colony optimization approach to a permutational flowshop scheduling problem with outsourcing allowed[J]. Computers & Operations Research，2011，38（9）：1286-1293.

[12]曲昌琦，周銳，杜寶，等.航空裝備故障預測與健康管理的數據體系研究[J].航空科學技術，2020，31（12）： 61-67. Qu Changqi， Zhou Rui， Du Bao， et al. Research on PHM data system architecture for aviation equipment[J]. Aeronautical Science & Technology， 2020， 31（12）： 61-67. （in Chinese）

[13]崔鵬浩，王軍強，張文沛，等.基于深度強化學習的流水線預測性維護決策優化[J].計算機集成制造系統， 2021（9）： 1-19. Cui Penghao， Wang Junqiang， Zhang Wenpei， et al. Optimizing predictive maintenance decision for serial production lines based on deep reinforcement learning[J]. Computer Integrated Manufacturing Systems， 2021（9）： 1-19. （in Chinese）

[14]Colledani M，Gershwin S B. A decomposition method for approximate evaluation of continuous flow multi-stage lines with general Markovian machines[J]. Annals of Operations Research，2013，209（1）：5-40.

[15]茍藝星，王軍強，李洋.事件驅動的流水線建模與質檢機器配置優化[J].計算機集成制造系統， 2021， 27（2）： 487-500. Gou Yixing， Wang Junqiang， Li Yang. Event-based modeling of serial production lines and optimal allocation of quality inspection machines[J]. Computer Integrated Manufacturing Systems， 2021，27（2）： 487-500. （in Chinese）

[16]劉全，翟建偉，章宗長，等.深度強化學習綜述[J].計算機學報， 2018， 41（1）： 1-27. Liu Quan， Zhai Jianwei， Zhang Zongzhang， et al. A survey on deep reinforcement learning[J]. Chinese Journal of Computers， 2018， 41（1）： 1-27. （in Chinese）

[17]Aggarwal C C. Neural networks and deep learning[M]. Berlin：Springer，2018.

Event-Based Predictive Maintence Decision-Making of Aerospace Manufacturing Systems

Zhang Wenpei，Cui Penghao，Li Yang，Yan Shuang Northwestern Polytechnical University，Xi’an 710072，China

Abstract： In production lines， predictive maintenance is adopted to improve the maintenance efficiency while achieving a desirable throughput. Predictive maintenance makes maintenance decisions based on the status of equipment， which is important to reduce the waste resulted from excessive maintenance and the unexpected equipment breakdown. However， it is not uncommon that machines need to be shut down for maintenance. Similar to random machine failure， predictive maintenance can cause significant production loss if it is not planned appropriately. Therefore， this paper proposes a predictive maintenance decision-making model for a serial production line based on a thorough understanding of production dynamics. Firstly， the impact of disruption events and maintenance events are evaluated in terms of the permanent production loss. Then， a Markov decision process model is established for predictive maintenance decision making. The model considers the penalty cost by permanent production loss and the maintenance cost. Deep Q network is adopted to exploit the optimal maintenance policies. Lastly， case studies are performed to validate the effectiveness of the proposed predictive maintenance decision-making model by comparing with other three maintenance decision-making models.

Key Words：predictive maintenance；serial production line；decision-making optimization；Markovdecision process； deep Q network