強(qiáng)化學(xué)習(xí)模式下艦船多狀態(tài)退化系統(tǒng)的維修策略

程儉達(dá)，劉炎*，李天勻，初云濤

1 華中科技大學(xué) 船舶與海洋工程學(xué)院，湖北 武漢 430074

2 中國艦船研究設(shè)計(jì)中心，湖北 武漢 430064

0 引 言

在艦船這樣的大型結(jié)構(gòu)中，存在著大量的退化系統(tǒng)，例如船體結(jié)構(gòu)、武器裝置以及動力設(shè)備等。船舶在服役過程中受到的損耗、疲勞、腐蝕等將導(dǎo)致系統(tǒng)的故障率上升，進(jìn)而影響艦船及設(shè)備的安全運(yùn)行[1]。艦船的裝備維修是保證可靠性及戰(zhàn)備完好性的重要手段[2]，現(xiàn)有的維修方式以預(yù)防性的定期維修為主，裝備的維修時機(jī)與其服役時間直接相關(guān)。然而，定期維修可能存在維修不足或維修過剩、維修難度逐漸增加，以及無法預(yù)防與時間無關(guān)的故障等問題[3]，進(jìn)而導(dǎo)致全壽命周期的維修成本有所增加。隨著艦船裝備逐漸向基于狀態(tài)的視情維修發(fā)展[4]，亟需智能化的維修決策工具，因此，有必要開發(fā)船舶智能診斷系統(tǒng)[5]。

視情維修的基本思想是：通過正確、可靠地預(yù)測系統(tǒng)當(dāng)前和將來的運(yùn)行狀態(tài)，從而安排維修活動[6]，故視情維修可以有效解決定時維修導(dǎo)致的維修不足或維修過剩等問題。馬爾科夫決策過程（Markov decision process，MDP）是解決退化系統(tǒng)最優(yōu)視情維修決策這一問題的有效工具，在MDP中，狀態(tài)、行為及獎勵分別對應(yīng)了退化系統(tǒng)的退化狀態(tài)、維修措施及維修成本。Moustafa等[7]利用馬爾科夫鏈建立了一個多狀態(tài)的退化系統(tǒng)模型，在每個狀態(tài)采取了3種維修模式，并通過最小化預(yù)期成本求解了最優(yōu)維修策略。程志君等[8]基于馬爾科夫決策過程，通過位相型（phase-type，PH）分布來擬合狀態(tài)轉(zhuǎn)移概率，從而簡化了馬爾科夫決策過程的求解方法。Zheng等[9]利用Gamma過程以及PH分布來擬合系統(tǒng)失效過程，增加了更多的維修措施，并在狀態(tài)設(shè)置中增加了除退化程度之外的時間值，從而更加接近真實(shí)的退化過程。Kim等[10]建立了一個包含多種退化狀態(tài)及2種軟/硬失效狀態(tài)的MDP模型。Wang等[11]采用馬爾可夫決策過程以及策略迭代算法，分析了某發(fā)動機(jī)的最優(yōu)維修方案。江曉俐[12]采用馬爾可夫決策過程討論了船舶結(jié)構(gòu)退化問題的最優(yōu)維修方案。

對于船舶的視情維修而言，維修決策需要最大限度地延長機(jī)件系統(tǒng)的工作時間并保持戰(zhàn)備可用性，同時還需要開展針對性維修以充分利用資源，這對維修決策工具提出了極高的要求。目前，數(shù)據(jù)驅(qū)動方法在艦船工程領(lǐng)域展現(xiàn)了極具前景的問題解決能力[13-14]，即利用強(qiáng)化學(xué)習(xí)方法訓(xùn)練出船舶維修決策系統(tǒng)的輔助決策方法。在求解MDP的強(qiáng)化學(xué)習(xí)方法中，Q學(xué)習(xí)算法作為不依靠模型的經(jīng)典算法，無需預(yù)先已知模型動態(tài)，僅需知道其狀態(tài)、行為以及獎勵即可；同時，Q學(xué)習(xí)算法結(jié)合了策略迭代和值迭代的優(yōu)點(diǎn)，即每次迭代后均利用當(dāng)前估計(jì)值來近似目標(biāo)值，無需等到迭代結(jié)束再進(jìn)行更新。郭一明[15]將模擬退火算法與Q學(xué)習(xí)算法相結(jié)合，用于解決MDP優(yōu)化結(jié)果中的局部最優(yōu)解問題。Wei等[16]利用深度Q網(wǎng)絡(luò)模型計(jì)算了大量狀態(tài)的MDP問題，并將其應(yīng)用到某橋梁退化模型中得出了其最優(yōu)維修策略。強(qiáng)化學(xué)習(xí)結(jié)合船舶退化結(jié)構(gòu)維修策略的學(xué)習(xí)過程包括代理（船舶維修決策系統(tǒng)）、環(huán)境（船舶退化狀態(tài)）、維護(hù)動作及動作成本等，其目標(biāo)在于訓(xùn)練船舶的維修決策系統(tǒng)如何在與環(huán)境交互過程中學(xué)會最大化累計(jì)收益的維修行為，需注意的是，強(qiáng)化學(xué)習(xí)的目標(biāo)應(yīng)用領(lǐng)域包含了退化系統(tǒng)的維修決策分析。

為此，本文擬提出強(qiáng)化學(xué)習(xí)模式下艦船多狀態(tài)退化系統(tǒng)維修策略的求解方法。首先，將介紹馬爾科夫決策過程對系統(tǒng)退化及維修的建模方法；然后，分析強(qiáng)化學(xué)習(xí)中Q學(xué)習(xí)算法的實(shí)現(xiàn)過程，其中經(jīng)Q學(xué)習(xí)算法優(yōu)化的Q值表將用于代理輔助視情維修決策；最后，將采用文獻(xiàn)[12]中艦船結(jié)構(gòu)多狀態(tài)退化模型來驗(yàn)證本文所提出方法的可行性和響應(yīng)速度，用以為決策者提供視情維修的智能化輔助決策工具。

1 基于MDP的退化模型

MDP為求解強(qiáng)化學(xué)習(xí)問題提供了一個數(shù)學(xué)框架。根據(jù)馬爾科夫特性，未來狀態(tài)僅取決于當(dāng)前而與過去狀態(tài)無關(guān)，因此，馬爾科夫鏈?zhǔn)且粋€概率模型，僅依賴當(dāng)前狀態(tài)來預(yù)測下一個狀態(tài)。MDP是馬爾科夫鏈的一種擴(kuò)展，一般由5個關(guān)鍵要素構(gòu)成：

1） 系統(tǒng)所有可能存在的狀態(tài)空間集S。

2） 系統(tǒng)從一種狀態(tài)轉(zhuǎn)移到另一種狀態(tài)所執(zhí)行的行為集A。

3） 系統(tǒng)執(zhí)行某一行為a之后，從狀態(tài)s轉(zhuǎn)移到狀態(tài)s'的概率。

4） 系統(tǒng)執(zhí)行某一行為a之后，從狀態(tài)s轉(zhuǎn)移到狀態(tài)s'的獎勵R，即維修行為對應(yīng)成本的負(fù)值。

5） 折扣因數(shù)γ。

在基于MDP的退化系統(tǒng)模型中，假設(shè)退化系統(tǒng)的狀態(tài)空間集S由N+1個狀態(tài)構(gòu)成，令S= {sn|n= 0, 1, 2, ···,N}，其中：n= 0表示該系統(tǒng)處于初始狀態(tài)，沒有發(fā)生任何退化現(xiàn)象；n= 1, 2, ···,N?1表示不同退化程度的中間狀態(tài)，下標(biāo)數(shù)值越大，則退化程度越高；n=N表示該系統(tǒng)處于失效狀態(tài)。假設(shè)退化系統(tǒng)的行為集由M個不同的維護(hù)措施構(gòu)成，令A(yù)= {am|m= 1, 2, ···,M}。在不同狀態(tài)下，如果采取不同的維護(hù)措施，則船舶結(jié)構(gòu)將發(fā)生不同的變化，當(dāng)退化結(jié)構(gòu)進(jìn)行第i次（i≥1）維修決策時，此時狀態(tài)記為si（si∈S）時，如果采取維修行為ai（ai∈A），則該結(jié)構(gòu)進(jìn)入狀態(tài)si+1（si+1∈S）的概率為Pi,i+1|ai，同時該維修行為ai的投入成本為ci。在每次維護(hù)之前，需對結(jié)構(gòu)狀態(tài)進(jìn)行檢測，其檢測成本為cin。此外，系統(tǒng)在每個狀態(tài)存在相應(yīng)的運(yùn)行成本，運(yùn)行成本為單位運(yùn)行成本e與運(yùn)行時間t的乘積；在開展維修時則會產(chǎn)生停機(jī)成本，停機(jī)成本為單位停機(jī)成本b與本次維修時間ri的乘積；系統(tǒng)進(jìn)入失效狀態(tài)時，也會產(chǎn)生失效成本cf。將每次執(zhí)行維修行為ai之后產(chǎn)生成本ci的負(fù)數(shù)記為獎勵Ri，則

式中，r1,r2, ···,rM和c1,c2, ···,cM分別為維修行為a1,a2, ···,aM的維修時間和投入成本，。

將概率Pi,i+1|ai記為一個矩陣，則每種維修行為都對應(yīng)一個轉(zhuǎn)移矩陣，將行為a的狀態(tài)轉(zhuǎn)移矩陣記為Pa。圖1展示了整個基于MDP的退化狀態(tài)轉(zhuǎn)移過程，其中同一個狀態(tài)執(zhí)行維修行為之后的狀態(tài)是不同的，存在隨機(jī)性。需注意的是，基于MDP的退化系統(tǒng)模型存在如下假設(shè)：

圖1 馬爾科夫過程的狀態(tài)轉(zhuǎn)移Fig.1 State transition of Markov process

1）系統(tǒng)退化過程中的各個狀態(tài)（初始狀態(tài)到失效狀態(tài)）對應(yīng)了系統(tǒng)的某些特征參數(shù)（例如，疲勞裂紋長度和腐蝕層厚度），可以將該系統(tǒng)劃分為多個不同的退化狀態(tài)。當(dāng)系統(tǒng)的特征參數(shù)在某一狀態(tài)的數(shù)值范圍內(nèi)時，即可判定系統(tǒng)處于該狀態(tài)。

2）系統(tǒng)進(jìn)入每個狀態(tài)之后，通過檢測即可準(zhǔn)確獲知該系統(tǒng)的狀態(tài)信息，且不考慮檢測成本所帶來的影響。

本文將基于馬爾科夫決策過程建立多狀態(tài)的退化系統(tǒng)模型，當(dāng)退化系統(tǒng)處于狀態(tài)si時，即可根據(jù)最優(yōu)維修策略采取行為am，從而使系統(tǒng)在全壽命周期的總成本最低。通過引入強(qiáng)化學(xué)習(xí)算法對維修成本和收益進(jìn)行綜合權(quán)衡，即可求解最優(yōu)的視情維修策略。

2 強(qiáng)化學(xué)習(xí)

本文中強(qiáng)化學(xué)習(xí)的主要目的是訓(xùn)練代理（船舶維修決策系統(tǒng)）在與環(huán)境交互過程中學(xué)習(xí)最大化累計(jì)獎勵的行為，其過程如圖2所示。

圖2 強(qiáng)化學(xué)習(xí)過程Fig.2 Reinforcement learning task

強(qiáng)化學(xué)習(xí)中的Q學(xué)習(xí)算法是一種應(yīng)用廣泛的時間差分算法[17]，該算法著重考慮的是狀態(tài)-行為值Q(s,a)，即在狀態(tài)s下執(zhí)行行為a之后的累計(jì)獎勵，最終所有的狀態(tài)-行為組合將形成Q值表。通過比較同一狀態(tài)下不同行為的Q值，選取獎勵最高的行為作為該狀態(tài)的最優(yōu)行為，然后集合所有狀態(tài)下的最優(yōu)行為，即可生成最優(yōu)策略。

船舶的退化過程是半馬爾科夫過程，即在沒有維修行為時退化轉(zhuǎn)移過程只會向更壞的狀態(tài)轉(zhuǎn)移，而Q學(xué)習(xí)算法則可以通過學(xué)習(xí)和訓(xùn)練來制定不同狀態(tài)下的維修行為策略，具體步驟如下：

1） 首先，初始化Q值表，通常設(shè)為0。由退化模型的狀態(tài)空間集S和行為空間集A可知，初始化之后的Q值表是一個M列N+1行的表格，第n+1行的M個數(shù)值分別代表了sn狀態(tài)下M種維修行為的價值。

2） 選擇一次新的情景（Episode），設(shè)定情景中進(jìn)行維修決策的總次數(shù)為st，其中：

（1） 設(shè)定船舶的初始狀態(tài)si(si∈S)，此時i= 1。

（2） 進(jìn)行第i次維修決策，根據(jù)ε-貪婪策略（ ε ＞0，為貪婪概率），在狀態(tài)si下執(zhí)行某一維護(hù)動作ai，并轉(zhuǎn)移到新的狀態(tài)si+1，產(chǎn)生的相應(yīng)成本（包含維修成本，運(yùn)行成本以及停機(jī)成本），根據(jù)式（1）即可計(jì)算維修行為獎勵Ri，即該次成本的負(fù)值。

（3） 根據(jù)式（2）的更新規(guī)則，對狀態(tài)-行為值Q(si,ai)進(jìn) 行更新，得到Qnew(si,ai)；然后執(zhí)行第i+1次維修決策。

（4） 重復(fù)執(zhí)行步驟（1）～步驟（3）st次。利用蒙特卡洛方法和式（3）計(jì)算當(dāng)前情景策略下的全壽命周期總成本C，同時根據(jù)式（4）計(jì)算前后2次情景更新后Q值的相對變化δQ。

3） 重復(fù)執(zhí)行步驟2），通過多次情景迭代并更新Q值，直到Q值變化減小且滿足停止標(biāo)準(zhǔn)δstop時 ， 將δQ連 續(xù)小于 δstop的 次數(shù)記為nδ，即可停止循環(huán)得到最終的Q值表。

4） 根據(jù)Q值表，選擇在所有船舶狀態(tài)sn下Q值最大的維修行為am，即可生成最優(yōu)維修策略。

式中：0＜α＜1，為學(xué)習(xí)率，也稱為步長，主要用于迭代收斂；0＜γ＜1，為折扣因數(shù)，表征了未來獎勵和即時獎勵的權(quán)重；nQ為Q值的個數(shù)；Q′(s,a)和Q(s,a)分別為完成前后2次情景更新之后的Q值。

松弛通常是面團(tuán)在整形操作后，筋力收緊，如果再進(jìn)行操作的話，面團(tuán)收縮變形，不利于整形，因此松弛一定的時間，再進(jìn)行下一步的操作，時間為5～10 min。中間醒發(fā)是相對最后醒發(fā)而言的，中間醒發(fā)也可以理解是長時間的松弛或者是中種面團(tuán)的醒發(fā)，因?yàn)樵谟行┟姘贩N中，雖然是一次攪拌，可能由于時間的原因經(jīng)過多次發(fā)酵，因此就不好確定哪次的醒發(fā)屬于中間醒發(fā)。最后醒發(fā)是烘烤前的最后一步，經(jīng)過最后醒發(fā)的面包即將進(jìn)入烤箱烘烤。因此了解松弛、中間醒發(fā)、最后醒發(fā)的特點(diǎn)和目的，就可以調(diào)節(jié)這幾個環(huán)節(jié)的時間、次數(shù)。

ε-貪婪策略即每次采取維修行為時，有ε的概率隨機(jī)選擇當(dāng)前狀態(tài)下能夠選擇的所有行為，而剩余1?ε的概率則應(yīng)根據(jù)Q值表執(zhí)行在當(dāng)前狀態(tài)下Q值最大的行為，即ε-貪婪策略保證了所有Q值的選擇概率。Watkins[18]對Q學(xué)習(xí)算法的收斂性進(jìn)行了證明，其結(jié)論是：只要在所有狀態(tài)下重復(fù)執(zhí)行所有的動作且所有狀態(tài)-行為值Q(s,a)均為離散，則Q學(xué)習(xí)就會以1的概率收斂到最優(yōu)。本文中的維修行為和狀態(tài)對應(yīng)的Q值均為離散值，因此符合收斂性要求。

圖3展示了Q學(xué)習(xí)算法在一次情景下的實(shí)現(xiàn)步驟，首先基于{si,ai,si+1,Ri}對Q值表中的相應(yīng)數(shù)值進(jìn)行更新，然后應(yīng)用ε-貪婪策略，其中Q學(xué)習(xí)算法的核心是Q值更新公式（式（2））。在該退化系統(tǒng)模型中，折扣因數(shù)γ的選擇主要取決于即時獎勵和未來獎勵的權(quán)重，γ越接近于1即表示更重視未來獎勵，而γ越接近于0則表示更重視即時獎勵。由于退化系統(tǒng)是一個長時間持續(xù)性的系統(tǒng)，因此，應(yīng)用Q學(xué)習(xí)算法時，宜設(shè)置較大的情景迭代次數(shù)進(jìn)行模擬。

圖3 在一次情景中Q學(xué)習(xí)算法的實(shí)現(xiàn)步驟Fig.3 The steps of Q-learning algorithm in one episode

3 船舶結(jié)構(gòu)的維修決策算例

艦船系統(tǒng)裝備的數(shù)量多、品種多，且工作環(huán)境較為惡劣，所以其故障發(fā)生率較高。本文的演示算例將引入文獻(xiàn)[12]中某艦船結(jié)構(gòu)的退化系統(tǒng)模型，并將該模型的維修措施由2種增加到3種，同時將考慮維修效果的不確定性。該艦船結(jié)構(gòu)退化過程的狀態(tài)空間為S= {s0,s1,s2,s3,s4,s5,s6}，分別對應(yīng)了完好（s0） 、可見裂紋維修（s1）、油漆和陰極防護(hù)維修（s2）、腐蝕修理（s3）、疲勞裂紋修理（s4） 、腐蝕疲勞組合修理（s5）以及完全失效（s6）這7個狀態(tài)。行為空間集A= {a1,a2,a3,a4}，分別表示不采取任何維修（a1） 、最小維修（a2）、中度維修（a3） 以及最佳維修（a4），且假設(shè)后3種維修措施的效果不到位，其維修成本和維修時間分別為c2，r2，c3，r3，c4，r4。在貪婪策略中，完好狀態(tài)s0下僅能選擇“不維修”，失效狀態(tài)s6下僅能選擇“最佳維修”，而其他狀態(tài)下這4種行為均可供選擇。根據(jù)不同的狀態(tài)及不同維護(hù)措施的成本，計(jì)算其轉(zhuǎn)移概率，式（5）～式（8）展示了4種行為的狀態(tài)轉(zhuǎn)移矩陣Pa1，Pa2，Pa3，Pa4，其中：第n+1行第n′+1列表示從狀態(tài)sn轉(zhuǎn)移到狀態(tài)sn′的概率（n，n′=0, 1,2, ···, 6，為該系統(tǒng)算例的狀態(tài)編號，且n≠n′）；符號“?”表示在此狀態(tài)下不能采取該動作。

表1所示為不同退化狀態(tài)下的成本和時間，本算例中采用的各成本數(shù)值與單位都來源于文獻(xiàn)[12]并作了一定的假設(shè)，其中：單位停機(jī)成本b=100元；符號“?”表示在該狀態(tài)下不適合執(zhí)行維修行為。在失效狀態(tài)下僅能選擇最佳維修，其失效成本cf=15 000元，檢測成本cin=200元。當(dāng)系統(tǒng)狀態(tài)越差時，越趨于老化狀態(tài)，其失效概率和運(yùn)行成本也越高，因此，本文算例中的單位運(yùn)行成本將隨著狀態(tài)退化而逐漸增加。

表1 各狀態(tài)下的維修成本Table1 The cost of different actions in different states

本文Q學(xué)習(xí)算法的參數(shù)設(shè)置為：折扣系數(shù)γ=0.85（假設(shè)通貨膨脹率為5%，預(yù)期收益率為10%）；學(xué)習(xí)率α=0.001；每個情景的迭代次數(shù)為100次；貪婪概率ε=0.15，其值將隨著迭代情景先增加而后減??；停止條件 δstop=1 .5×10?4；nδ=2 000。

表2所示為Q學(xué)習(xí)算法的迭代結(jié)果，在經(jīng)過5 473次情景迭代之后，滿足停止條件，最優(yōu)維修策略為[a1,a2,a3,a4,a4,a4,a4] ，即狀態(tài)s0采取不維修措施，狀態(tài)s1采 取最小維修措施，狀態(tài)s2采取中度維修措施，s3,s4,s5,s6均采取最佳維修措施。圖4所示為情景迭代次數(shù)與維修策略全壽命周期總成本C之間的關(guān)系，從圖中可以看出，隨著迭代次數(shù)的增加，C將逐漸減少到43 000元左右。圖5所示為Q值的變化情況：當(dāng)情景更新3 000次之后，其變化率 δQ＜1.5×10?4；當(dāng)循環(huán)迭代5 473次之后，滿足停止條件，則停止迭代。根據(jù)C和δQ，即可確定最優(yōu)維修策略。

圖4 全壽命周期總成本C隨著迭代次數(shù)的變化曲線Fig.4 Variation of life-cycle cost C with respect to episode iterations

圖5 收斂性條件隨著迭代次數(shù)的變化Fig.5 Condition of convergence with respect to episode iteration

表2 Q值表Table2 The Q value table

表3所示為最優(yōu)維修策略隨折扣系數(shù)γ的變化情況，隨著折扣系數(shù)γ的減小，維修行為所對應(yīng)的Q值也隨之減小，而最優(yōu)維修策略也會相應(yīng)改變。由此可見，γ越小，即代表所選擇的維修策略越注重短期利益，即維護(hù)成本較低的不維修a1及最小維修a2；當(dāng)折扣系數(shù)較大時，迭代過程更注重系統(tǒng)的長期成本，其最優(yōu)維修措施將相對保守，即中度維修a3及最佳維修a4。對于決策者來說，當(dāng)通貨膨脹率或預(yù)期收益率較高時（折扣系數(shù)較?。?，可以選擇成本較低的維修措施，從而獲得最小成本或最大收益。

表3 不同折扣系數(shù)γ下的最優(yōu)維修策略Table3 The optimal maintenance strategy with different γ values

表4所示為不同檢測費(fèi)用對維修策略和全壽命周期總成本的影響。從表中可以看出，隨著檢測成本的增加，全壽命周期總成本隨之增加，而最優(yōu)維修策略沒有變化，產(chǎn)生這種結(jié)果的原因是視情維修是基于成本而進(jìn)行維修決策。通過公式（1）可以看出，不同維修行為產(chǎn)生的獎勵區(qū)別在于維修成本和停機(jī)成本，而檢測成本的變化對于所有的維修行為的影響是相同的，因此檢測成本的增加只會導(dǎo)致全壽命周期總成本的增加而不會改變最優(yōu)維修策略。

表4 不同檢測成本下的最優(yōu)維修策略Table4 The optimal maintenance strategy with different cost of inspection

4 結(jié) 論

1） 艦船裝備的維修決策需要對系統(tǒng)的安全、維修成本收益等進(jìn)行綜合權(quán)衡，基于強(qiáng)化學(xué)習(xí)方法求得Q值表為這一問題提供了很好的解決思路。系統(tǒng)維修決策不僅需考慮當(dāng)前狀態(tài)，還需考慮全壽命周期的運(yùn)行成本，才能獲得最大的累計(jì)收益。

2） 不同的折扣系數(shù)，即市場行情，對最優(yōu)維修策略有一定的影響。檢測成本對維修策略的影響較小，而對全壽命周期總成本的影響較大。

本文提出的方法適用于求解船體結(jié)構(gòu)、武器裝置、動力設(shè)備等系統(tǒng)，以及疲勞裂紋、腐蝕損傷、沖撞等退化系統(tǒng)的最優(yōu)視情維修策略，為決策者提供了一個制定維修方案的智能化輔助決策工具。對于實(shí)船應(yīng)用中退化系統(tǒng)的狀態(tài)劃分、退化過程的連續(xù)性與離散性等問題，將在后續(xù)工作中開展進(jìn)一步研究。