基于深度強化學習的航天器功率-信號復合網絡優化算法

摘 要：

為了實現航天器電源系統的靈活高效并網，最大化有限能量的利用，提出一種基于深度強化學習 （deep reinforcement learning， DRL） 的功率傳輸與信號傳輸復合網絡拓撲優化模型，并使用知識蒸餾原理的多種可解釋組件模型對優化過程進行剖析。首先，分析在軌運行階段航天器母線電壓調節控制域變換規律，并結合節點傳播性參數，建立功率傳輸與信號通信的復合網絡拓撲模型。然后，利用A3C （asynchronous advantage actor-critic） 算法，對信號傳輸網絡路由分布、拓撲結構等方面潛在的運行可靠性風險進行自適應性優化。最后，結合多種可解釋組件對已訓練的DRL模型進行知識蒸餾，形成一種可解釋的量化分析方法。所提方法可以指導空間電源在隨機陰影影響下選擇最佳并網方案，并為更高任務要求和復雜環境下空間電源控制器設計提供理論支持。

關鍵詞：

空間電源系統; 復雜網絡; 深度強化學習; 可靠性優化; 可解釋性分析

中圖分類號：

V 423

文獻標志碼： A""" DOI：10.12305/j.issn.1001-506X.2024.09.18

Spacecraft power-signal composite network optimization algorithm based on DRL

ZHANG Tingyu1，2， ZENG Ying1，2，*， LI Nan3， HUANG Hongzhong1，2

（1. School of Mechanical and Electrical Engineering， University of Electronic Science and Technology of China，

Chengdu 611731， China; 2. Center for System Reliability and Safety， University of Electronic Science and

Technology of China， Chengdu 611731， China; 3. The 3rd Research Institute of China Electronics

Technology Group Corporation， Beijing 100016， China）

Abstract：

To maximize the utilization of limited energy and achieve flexible and efficient grid connection for spacecraft power supply systems， a composite grid topology optimization model for power transmission and signal communication is proposed based on deep reinforcement learning （DRL）. Various interpretable component models are employed based on knowledge distillation principles to analyze the optimization mechanism. Firstly， the transformation law of the control domain of the spacecraft bus voltage regulation in the on-orbit operation stage is analyzed， and the composite network topology model of power transmission and signal communication is established by combining the node propagation parameters. Secondly， asynchronous advantage actor-critic （A3C） is utilized to adaptively optimize potential operational reliability risks in routing distribution and topology of the electrical signal transmission network. Finally， various interpretable components are used to perform knowledge distillation on the trained DRL model， forming an interpretable quantitative analysis method. The proposed method theoretically predicts optimal grid-connected processes of space power supply under random shadow effects， providing theoretical support and reference for designing space power supply controllers under higher task requirements and complex environments.

Keywords：

space power system; complex network theory; deep reinforcement learning （DRL）; reliability optimization; interpretable analysis

0 引 言

隨著航天技術的快速發展，航天器空間作業動作需求不斷增長，推動了空間對接、空間碎片清理、目標跟蹤捕獲等新型技術的發展［1］。航天器發射系統等復雜航天系統的多階段任務愈發常見［2］，涉及到的空間電源系統也愈加龐大［3-7］，航天器設計并網與功率控制的方案也隨之不斷地更新［8-11］。在不同拓撲網絡設計下，電源控制器 （power control unit， PCU） 的各個組成部件穩定裕度、動態特性、輸出阻抗等關鍵指標存在差異。控制器除了要保證負載供電并以額定電流為蓄電池充電外，還需要支持蓄電池與太陽能電池聯合供電、蓄電池單獨供電等任務模式。

如今，較為成熟的電力系統路由路徑分配方法主要包括可用性路由［12］（availability-aware routing， AAR）法、刪除-搜索（remove-find， RF）雙路由［13］算法以及共享風險鏈路組［14］（shared risk link groups， SRLG） 法。其在功率-信號傳輸網層面實現了與智能電網調度操作的有機融合［15-16］，這使得供電網絡實時調度控制的能力得到了極大的增強。Chen等［17］結合自動控制策略和操作員恢復動作，對有多種級聯故障行為的混合系統進行可靠性分析。Liu等［18］提出一種基于復雜網絡的混合識別方法，用于識別復合能量網絡中的脆弱組件。

然而，以上方法多適用于地上電力通信系統，此類系統具備眾多備用線路，故障時需要專業人員調參改線。相比之下，對于航天器電源控制系統這種產量少、更新周期快的產品，研發人員迫切需要一種能解釋當前模型性能不佳的原因的算法，以此來指導下一代算法的設計工作。特別是在空間運行條件下，發電、蓄電系統性能變化規律更復雜且人為參與條件更有限。因此，保證空間電源系統高效率、高可靠運行的核心思路，是實現一種以可解釋理論為基礎，能根據當前工作狀態迅捷地對并網供電系統做出自適應調整的算法。

強化學習 （reinforcement learning， RL） 是機器學習 （machine learning， ML） 方法的一個分支，其本質是智能體觀測環境后與之交互，通過反饋信息優化決策策略。而另一分支深度學習 （deep learning， DL） 在語言處理、計算機視覺、醫學應用等方面，廣泛使用多分類器（神經網絡）和激活函數［19-20］來解決傳統強化學習算法無法處理大型連續動作狀態空間的問題。Riedmiller等［21］首先提出使用多層感知器來近似表示Q值函數，并引入了神經擬合Q迭代算法。Lange等［22］結合DL模型與RL方法，提出一種深度自動編碼器模型。孟泠宇等［23］改進深度確定性策略梯度算法，并設計基于網絡流量狀態的路由分配優化方法。深度RL結合了DL和RL的優勢，可以為復雜系統的感知和決策問題提供解決方案，而在利用A3C （asynchronous advantage actor-critic） 算法后更是可以通過異步交互學習更新全局的最優策略函數［24］。其中，模型的可解釋性是指：在黑箱模型在應用過程中，可以提供為人們所能理解的術語或解釋［25-26］的能力。眾多學者根據建模過程中解釋所實現的不同階段，將DL可解釋性的研究方法劃分為利于可解釋模型轉換的事后解釋方法、基于注意力權重的事中解釋方法以及建模規則主導的事前解釋方法［27-30］。

在現有研究方法的基礎上，本文以某型空間站電源系統為研究對象，提出一種自適應的功率-信號復合網絡控制策略優化算法，以提升空間電源控制器網絡在功率傳輸與控制信號交互下的可靠性。同時，利用知識蒸餾算法將復雜DL模型的知識用于指導可解釋DL模型的訓練，在保持預測性能的同時，大幅減少參數數量并確定關鍵功能，從而提高模型的可解釋性。

1 功率-信號復合網絡拓撲建模

1.1 空間電源系統工作原理

新一代100V高壓電源空間站電源系統是國內目前功率最大、壽命最長的復雜系統，該系統突破了大面積柔性太陽翼及其控制、雙自由度對日定向、多飛行器并網、低軌空間環境防護、在軌維修與更換等技術瓶頸。該系統采用多母線、多機組和多艙段并網的總體方案，于在軌組合體狀態下，通過并網控制器進行功率調配，以滿足在軌期間各種工況下的安全可靠供電［31］，具體結構如圖1所示。為實現較高的母線電壓，空間電源發電端的太陽電池陣通常采用多個電池片串聯。受遮擋的太陽電池片不僅無法正常發電，還會受到熱效應的影響。串聯電池組中一片電池被完全遮擋后將失去光伏特性，但其他工作電池的電流仍流過它。此時，受遮擋的電池本身不僅無法產生電壓與輸出功率，還會退化為一個產生I2R的熱耗的負載，在這種情況下，需要電池組產生更高的電壓來補償電池受遮擋所造成的電壓損失［32］。當陰影在太陽電池表面移動時，PCU必須伺機服務，及時切斷或連接對應電源模塊組，以保證能量利用率最大化。通常情況下，航天器系統發電功率表達式如下：

P=A·S·η1（1－k）·z·Fm·Fd·Fs·

cos θ·q［1－（T－298）Kpt］（1）

式中：A為太陽電池陣面積;S為太陽常數;η1為太陽電池平均轉換效率;Fm為帆板布片系數;Fd為壽命末期衰減因子;Fs為組合失配因子;T為光照區太陽電池片的平均工作溫度;Kpt為太陽電池的功率溫度系數;k為太陽電池陣遮擋率;z為由于太陽電池陣遮擋對發電功率影響綜合效應因子;θ為太陽入射角;q為凱利余弦值。

式（1）沒有考慮到陰影在太陽電池表面移動的情形，其所指導的并網設計方案通常只適應規律性陰影效應，而不能對隨機陰影產生自適應策略。航天器進入陰影軌道期后，當太陽電池陣產生的功率不滿足總系統需求時，電源控制器就會調節太陽能電池母線電壓。目前，太陽能電池電源控制設備通常由主誤差放大器 （main error amplifier， MEA） 及其相應的遙測/遙控單元、分流調節器、充電控制器以及放電控制器組成。

MEA調節控制流程如圖2所示。當處于AB段時，主誤差放大器中的參考電壓信號Vmea較小時，該區間太陽能產生的電量不足以為整個航天器提供能量，由蓄電池供電。隨著光照期的到來，Vmea逐步加大，開始進入BC段，太陽能產生的電量恰好滿足負載需要求，需要電源控制器保持當前狀態穩定運行。在CD段，光照增強，使得太陽能產生的電量有余量，可供給至負載并為蓄電池充電。在DE段，太陽能產生的電量全部用于負載以及恒流充電。當達到EF段時，太陽能產生的電量過剩，多余的電量通過分流模塊進行多級分流以提升蓄電池的執行時間。無論對于供電端還是受電端飛行器，都會優先使用自身電源系統的電能。在滿足供電端和受電端飛行器能量平衡的基礎上，其并網功率盡可能降低以減少能量的損失，實現根據系統需求和狀態變化的自適應調節，使整個系統可靠且高效地工作。

太陽電池組母線并網結構如圖3所示，

MEA通過比較反饋電壓Vrefl與太陽電池輸出電壓Vs3r來決定充放電調節器開關管D與T的關斷狀態，從而實現并網供電系統在復雜環境下穩定運行。

通過對基本拓撲的模塊化組合可實現并網供電系統規模的靈活升級，滿足更復雜的應用場景。不同調節策略需要對控制器復雜成本與母線電壓波動之間做出取舍選擇，因此在電源控制系統設計之初，通過DL算法探尋多種并網操作的最優路徑可以有效幫助地上實驗環節建立模擬環境，指導整體并網系統設計。

通用航天器并網供電系統工作流程如圖4所示。通過對各飛行器在當前的飛行模式下發電和用電情況進行分析，可以生成當前飛行模式的負載優先級列表，并開展實時能量平衡分析。一旦出現功率缺口或裕量，中心控制器則會根據功率的變化量確定并網路徑，同時設置并網參數。

1.2 復合傳輸網絡建模

本文依據空間電源并網供電流程，對航天飛行器并網供電模式中雙向一對多、多對一、多對多、雙向供電等拓撲結構，建立功率傳輸與信號傳輸復合網絡拓撲模型。

將并網控制器、PCU等關鍵部件定義為電力-信號網絡結構中的節點，其中功率傳輸拓撲為GE（VE，EE），信號網絡拓撲為GC（VC，EC）。根據節點所屬拓撲不同，分別定義VE和VC為功率傳輸網絡節點與信號傳輸網絡節點集合、NE和NC為功率傳輸網絡與信號傳輸網絡的總結點數、EE與EC分別為功率傳輸網絡鏈路與信號傳輸網絡鏈路的復雜網絡邊集，具體定義如下：

定義狀態空間S是信號傳輸網中所有可能數據流負載分布狀態及其對應時刻待服務信號傳輸任務數據流可采取的路由路徑集合。在某一時刻t，電源控制系統需要在網絡中建立一條新的通信數據流reqt（vE，s，vE，d，H），狀態st∈S（見式（6）），其中{Uwk，Ubk，j}為當前網絡下的備選路由分配方案（見式（7）～式（8））。lk與lk，j表示工作及切換路由所經鏈路的最大負載。hk與hk，j為工作路由和保護路由經過的節點數。H分為HmaxE，k，HmaxC，k，分別表示工作及切換路由所經通信節點所跨層復合的功率傳輸節點最大傳播性參數。文獻［33］ 利用分層后的邊介數重要度，進一步提出不同層級條件下的傳播性參數概念，以定量評價各個節點對任一傳播屬性的參與情況，如式（9）所示，L（e→X）與L（eX→）分別是節點出入度邊介數，I、O分別是該節點出入度與網絡總度的比值，n為節點所在層數，η=［η1，η2，…，ηi］中各個元素表示每層節點數量的收縮擴張情況。

2 復合網絡可靠性優化算法

2.1 MDP建模

本文中工作路由及切換路由決策的動作空間A被定義為包含共NJ·NK個路由決策動作的一維向量，at，k，j∈A（t）為當前申請reqt分配第k條備選工作路由與第j條備選切換路由。Pass′=P（st+1=s′|st=s，at=a）表示電力信號網絡在所處環境狀態s∈S下，轉移到下一狀態的概率。在st∈S下進行一次路由選取動作at成功后對決策進行的獎勵。

獎勵函數R（st，at）用于評估智能體在不同環境狀態下所采取的動作的有效性，定義為

R（st，at）=1－HE，DL（at）ηHmax·exp－V HmaxE，DL（at）HmaxE，DL（GC）－hDiam（GC）（10）

式中：HmaxE，DL（at）表示通信節點在當前數據流路由建立的最大關鍵度水平;HmaxE，DL（GC）表示信號傳輸網中節點在路由建立后的最大關鍵度;h表示當前選擇路由的總數;Diam（GC）為信號網絡的網絡直徑;V，η為網絡容量系數與路由決策調節參數，均大于0。信號傳輸任務自適應保護路由問題的全局優化目標定義為

max∑|R|－ti=0∑Nkk=1∑NJj=1ut+i，k，j·R（at+i，j，k）（11）

式中：ut+i，k，j為布爾值，表示對數據流建立請求，即是否采用第k條備選工作路由以及對應的第j條切換路由;R（at+i，j，k）表示對于所建立的數據流請求，所采取路由決策合理性的評估函數。

在對各信號傳輸數據流建立服務請求的同時，繼續尋求后續網絡狀態下信號傳輸網在負載以及風險均衡需求上長期最優的路由方案。

進一步地，通過混合整數線性規劃可描述信號傳輸任務自適應切換路由問題，該混合整數線性規劃優化問題的限制條件為

∑|R|－ti=0∑Nkk=1∑NJj=1xt+i，k，j·ylmt+i，k，j·bwt+i≤Cc，lm，

（vE，l，vE，m）∈EE（12）

∑|R|－ti=0∑Nkk=1∑NJj=1xt+i，k，j·ylmt+i，k，j≤1，（vE，l，vE，m）∈EE（13）

∑Nkk=1∑NJj=1xt+i，k，j=1（14）

通過式（12），可以保證在任意通信線路上所有建立路由信息之和不超過其線路容量，其中ylmt+i，k，j表示信號傳輸鏈路（vE，l，vE，m）∈EE被第k條備選工作路由以及與其相對應的第j條切換路由所采用的次數。通過式（13），可以保證對于給定數據流建立請求reqt+i∈R，其工作路由與切換路由所用鏈路不重合;通過式（14），可以保證對于給定數據流建立請求reqt+i∈R，有且僅有一個備選雙路由方案被采用以服務該請求。

2.2 基于A3C框架的路由算法訓練優化實現

為了實現算法結果的可解釋性以及更好的收斂屬性，本文將通過A3C算法提升神經網絡的訓練效率。對于系統需要在網絡中建立的新功率傳輸線路reqt（vE，s，vE，d，bw，H），將每一步的信號交流過程逐一記錄并提取功率傳輸網絡特征，為后續算法生成狀態向量st。通過調用策略神經網絡fθπ評估網絡狀態，并在隨機路由策略π（a|st;θπ）中選擇一個路由動作a∈A（t）執行。依據反饋結果，對其進行獎勵并將結果回傳算法智能體。子線程根據當前數據流建立請求以及當前虛擬信號傳輸網絡，得到當前狀態向量st，并調用本地策略神經網絡及價值神經網絡，生成對應的隨機路由策略π（a|st;θπ）以及對于當前狀態st的價值估計υ（·）。對于每一時刻下的路由功率傳輸數據，式（15）為路由算法通過學習最優路由策略實現的長期累積折扣獎勵：

Gt=∑∞i=0ξi·π（a|st+i）·R（st+1，a）（15）

式中：ξ∈［0，1］為折扣因子，用于調節智能體對當前獎勵與遠期獎勵的關注比例。

G′i=∑N-ij=0ξj·ri+j（16）

Ad（si，ai）=G′i-υ（·）（17）

通過式（16）可以對其所處狀態下長期累積折扣回報進行估計，G′i為每個章節的折扣回報。路由動作相比價值神經網絡的估計結果所顯示出的相對優勢Ad（si，ai）可由式（17）計算得到。

基于A3C架構的功率傳輸路由算法流程及其子線程分別如算法1和算法2所示。

2.3 算法收斂性分析

本文所提算法章節累計回報隨訓練迭代的變化情況如圖5（a）所示。其中，章節累計回報主要反映路由策略是否與所設定的路由優化目標相一致。可以觀察到，所提出算法僅需約200個訓練章節即可完成收斂，并在所設置的獎勵函數下，獲得更為合理的電力通信任務路由策略。此外，算法在第50～100個訓練章節開始顯著收斂，這與圖5（b）中顯示的價值估計損失迭代趨勢相吻合，反映出在各個時刻，算法均對電力通信網絡負載狀態下后續任務路由風險均衡水平有較高的估計精度。算法的策略損失和策略熵的收斂過程如圖5（c）和圖5（d）所示，可以看出，在線訓練迭代過程中，策略損失和策略熵大小均顯著收斂至0附近，這表明算法能識別并執行最符合長期路由優化目標的路徑，并且能夠明確區分不同路徑動作之間優劣差異。

2.4 可靠性優化效果分析

本文以圖1中3單元模型為基礎，依次追加實驗艙直到建立10個規模不同的網絡模型，并于每次增艙時隨機對全網絡注入一個節點故障，以模擬不同任務下功率-信號網絡實際拓撲分布情況。經50次計算取均值后，各規模功率通信網絡的保護效果如圖6所示，當網絡規模隨任務復雜度增加而不斷擴大時，所提算法得到的最優路徑考慮方案仍可以保證對傳輸路徑故障比例的有效控制。

通過執行基于不同關鍵度評估方法的去保護策略，可以得到功率-信號網在級聯故障后的網絡直徑，如圖7所示，該圖反映了故障對網絡緊密程度的影響。由于AAR算法是根據可用概率對系統進行保護，當節點和鏈路的功率或通信存在一定風險時，都會被視為失效。因此，在系統規模與拓撲結構變化時，結果波動較大。RF算法在執行過程中按順序為工作路由和保護路由分配做決策，并且無法獲得整體最優的路由分配結果。SRLG算法通過引入Bhandari算法能夠有效克服上述不足，并且在整體上具有最短的傳輸路徑長度，會在整體鏈路資源使用率方面性能突出。所提算法雖在工作路由及保護路由分配上具有良好的公平性，但由于在獎勵函數設計中額外考慮了路由所經節點的傳播度，因此整體上會在平均路由長度方面相較于其他算法稍顯不足。

如圖8所示，在4種算法中，SRLG算法在優化網絡可靠性方面的能力相對較弱。這主要是因為SRLG算法傾向于選擇工作與保護路由長度之和最短的路由決策，導致通信任務數據流在網絡中的路由分布過度集中，容易引發更大規模的衍生故障。RF算法在低電力傳輸網容量水平下略優于SRLG，然而其先后對工作和保護路由進行決策導致通信數據流的平均路由長度較長且鏈路信息利用率較低，并因此在后期選擇上有限制，從而使負載集中度較高且無法有效回避高風險度跨層復合節點。而本文方法在容量系數逐漸增大時，能穩定保持較高的連通片占比。

以上結果表明，本文所提算法通過主動避開高風險度節點，實現了網絡可靠性的提升，盡管平均路由長度較長，但相比于其他方法，仍提高了10%的網絡直徑，且相比于負載均衡的最短可用路由算法，額外主動避讓了12%的電力傳輸線路故障;在通信廣度方面，相比其他路由算法，能額外保留至多17%的最大連通片占比。

3 優化效果可解釋性研究

為了明確在模型優化的過程中，哪些環節對于整個并網優化的影響較大，本文利用可解釋性模型來替代DL黑箱模型，將復雜深度模型的性能遷移到可解釋模型中，從而使建立的可解釋DL模型具有直觀的理解方式，更能夠保證預測結果的可信性。本文以門控遞歸單元（gate recurrent unit， GRU）作為遞歸層組件，并定義周期遞歸層（recurrent-skipcomponent， RS）組件，時間注意層（temporal attentionlayer， TA）組件，自回歸（auto-regressive， AR）組件。與文獻［34］ 類似，利用GRU實現時間序列依賴關系的控制，遞歸分量隱藏狀態如下所示：

知識蒸餾 （knowledge distillation， KD） 作為一種教師-學生的訓練模式［35-36］，可以在保證性能的前提下減少模型的參數量，將已經訓練好的復雜DL模型所包含的知識，由結構更為復雜的教師模型對多數量、結構簡單的學生模型進行訓練，傳輸自己的泛化能力與預測能力，將知識內容蒸餾提取到另一個簡單模型中實現。可解釋DL知識蒸餾訓練的具體流程如算法3所示。測試的可解釋模型組合共計5個，分別為由3個組件構成的RS-TA-AR模型、GRU-TA-AT模型、GRU-RS-AR模型、GRU-RS-TA模型以及完整包含4個組件的GRU-RS-TA-AR模型。各模型組合分別與教師模型進行知識蒸餾，遷移學習教師模型的預測性能，發掘不同實際信號傳輸網絡環境中路由決策之間的相似性，并應用相似環境下的算法來進一步優化后續部署效率，獲得對模型關鍵狀態轉移的解釋。

進一步地，對于輸入變量量化分析的誤差計算，可以采用均方根誤差 （root mean squared error， RMSE） 作為評價指標，來衡量預測結果準確性，其計算公式為

Q=|Vt－V′t|Vt（26）

式中：Q表示改變某一變量對預測結果目標值的影響程度，為無量綱值;Vt表示模型預測結果計算的RMSE值，即模型預測結果目標值;V′t表示改變某一變量后模型預測的均方根誤差值。以GRU-RS-TA-AR模型為例，將獎勵閾值γ設為0.6，對顯著獎勵或懲罰涉及的節點與其對應長期累計獎勵進行統計。如表1所示，節點組合{vE，33，vE，47，vE，48，vE，79}與{vE，29，vE，35}接連兩次出現高額獎懲，且間隔較短，對此需要在剩余模型組合中檢索與該節點組合相關的長期折扣獎勵，并通過式（26）進行長期折扣獎勵影響程度預算計算。以{vE，29，vE，35}為例，在4個學生模型上去除此節點組，對應長期折扣獎勵影響程度結果如圖9所示。

4 結 論

本文針對航天器電源系統在并網過程中面臨的機動性和靈活性不足的問題，提出一種基于深度強化學習的功率-信號復合網絡優化算法。通過綜合考慮功率傳輸和信號通信的并行特點，并基于節點的層次化傳播性能參數，構建了功率-信號復合拓撲網絡模型。通過在線訓練，算法能夠對時變信號傳輸網狀態進行實時優化和自適應調整。基于可解釋模型組件和知識蒸餾算法，對模型功能和輸入變量進行了量化分析，提煉出關鍵決策依據從而保證了DL模型的可解釋性。仿真結果表明，相比于3種常用方法，所提算法在主動避開高風險度節點過程中提高了10%的網絡直徑，主動避讓了12％的電力傳輸線路故障;在通信廣度上額外保留了17%的最大連通片占比。通過分析轉移獎勵變化，總結輸入變量在不同模型功能下對預測結果的影響，直觀地反應了模型預測過程中決策依據的量化分析過程。

參考文獻

［1］ 王文龍， 楊建中. 航天器對接與捕獲技術綜述［J］. 機械工程學報， 2021， 57（20）： 215-231.

WANG W L， YANG J Z. Spacecraft docking amp; capture technology： review［J］. Journal of Mechanical Engineering， 2021， 57（20）： 215-231.

［2］ 李孝鵬， 黃洪鐘， 李福秋. 基于PRA的復雜航天多階段任務系統可靠性分析［J］. 系統工程與電子技術， 2019， 41（9）： 2141-2147.

LI X P， HUANG H Z， LI F Q. PRA based reliability analysis of complex space phased-mission system［J］. Systems Engineering and Electronics， 2019， 41（9）： 2141-2147.

［3］ JASEM K， MOHSEN H， KEYHAN S. Modeling and control of quasi Z-source inverters for parallel operation of battery energy storage systems： application to micro grids［J］. Electric Power Systems Research， 2015， 125： 164-173.

［4］ RYAN M， KENNETH A. The use of software agents for autonomous control of a DC space power system［C］∥Proc.of the 12th International Energy Conversion Engineering Conference， 2014.

［5］ OKAYA S. Advanced concept of the space electric power system integrated with the propulsion［C］∥Proc.of the 13th International Energy Conversion Engineering Conference， 2015.

［6］ RICHARD C， BRENT G. Modular power standard for space explorations missions［C］∥Proc.of the AIAA Space Conferences and Exposition， 2016.

［7］ 何雄， 陳永剛， 王力. 適用于分布式宇航電源系統的電源控制器研究［J］. 電源學報， 2022， 20（5）： 5-13.

HE X， CHEN Y G， WANG L. Research on power conditioning unit for distributed aerospace power supply system［J］. Journal of Power Supply， 2022， 20（5）： 5-13.

［8］ 鐘丹華， 唐筱， 舒斌， 等. 載人飛船電源系統并網供電特性研究［J］. 航天器工程， 2020， 29（1）： 29-33.

ZHONG D H， TANG X， SHU B， et al. Characteristic of parallel power supply technology for manned spacecraft power system［J］. Spacecraft Engineering， 2020， 29（1）： 29-33.

［9］ 周新順， 王蓓蓓， 郭曉峰. 航天器大功率并網控制技術研究［J］. 中國空間科學技術， 2018， 38（6）： 59-66.

ZHOU X S， WANG B B， GUO X F. Research on high power bus interconnection control technology for spacecraft［J］. Chinese Space Science and Technology， 2018， 38（6）： 59-66.

［10］ 蔣冀， 王宏佳， 徐志偉. 一種航天器直流供電并網系統控制方法［J］. 電源技術， 2018， 42（9）： 1383-1386.

JIANG J， WANG H J， XU Z W. A kind of control methods of spacecraft DC grid-connected power supply system［J］. Chinese Journal of Power Sources， 2018， 42（9）： 1383-1386.

［11］ 張大鵬， 孟憲會. 一種航天器間并網供電方案的研究［J］. 航天器工程， 2009， 18（5）： 101-107.

ZHANG D P， MENG X H. Research on parallel operation between power support systems of different spacecrafts［J］. Spacecraft Engineering， 2009， 18（5）： 101-107.

［12］ SALAMEH H， KHASAWNEH H. Spectrum-time availability-aware routing mechanism for software-defined networks with out-of-band full-duplex capabilities［C］∥Proc.of the 17th International Conference on Software Defined Systems， 2020： 24-28.

［13］ SUURBALLE J. Disjoint paths in a network［J］. Networks， 1974， 4（2）： 125-145.

［14］ VASS B， TAPOLCAI J， BERCZI-KOVACS E. Enumerating maximal shared risk link groups of circular disk failures hitting k nodes［J］. IEEE/ACM Trans.on Networking， 2021， 29（4）： 1648-1661.

［15］ YE Z Y， CHEN Z Y， NI P C. Reliability analysis and optimization algorithm of power communication network based on resource association features［C］∥Proc.of the International Wireless Communications and Mobile Computing， 2020： 116-119.

［16］ ROSATO V， ISSACHAROFF L， TIRITICCO F. Modelling interdependent infrastructures using interacting dynamical mo-dels［J］. International Journal of Critical Infrastructure， 2008， 4（1/2）： 63-79.

［17］ CHEN Y， MILANOVIC J V. Hybrid modelling of interconnected electric power and ICT system for reliability analysis［C］∥Proc.of the IEEE Belgrade PowerTech， 2023.

［18］ LIU N， HU X J， MA L. Vulnerability assessment for coupled network consisting of power grid and EV traffic network［J］. IEEE Trans.on Smart Grid， 2021， 13（1）： 589-598.

［19］ KAELBLING L P， LITTMAN M L， MOORE A W. Reinforcement learning： a survey［J］. Journal of Artificia Intelligence Research， 1996， 4： 237-285.

［20］ PAPADIMITRIOU C H， TSITSIKLIS J N. The complexity of Markov decision processes［J］. Mathematics of Operations Research， 1987， 12（3）： 441-450.

［21］ RIEDMILLER M. Neural fitted Q iteration-first experiences with a data efficient neural reinforcement learning method［C］∥Proc.of the 16th European Conference on Machine Learning， 2005： 317-328.

［22］ LANGE S， RIEDMILLER M. Deep auto-encoder neural networks in reinforcement learning［C］∥Proc.of the International Joint Conference on Neural Networks， 2010.

［23］ 孟泠宇， 郭秉禮， 楊雯， 等. 基于深度強化學習的網絡路由優化方法［J］. 系統工程與電子技術， 2022， 44（7）： 2311-2318.

MENG L Y， GUO B L， YANG W， et al. Network routing optimization approach based on deep reinforcement learning［J］. Systems Engineering and Electronics， 2022， 44（7）： 2311-2318.

［24］ MUHATI E， RAWAT D. Asynchronous advantage actor-critic （A3C） learning for cognitive network security［C］∥Proc.of the International Conference on Trust， Privacy and Security in Intelligent Systems and Applications， 2021： 106-113.

［25］ FUSEINI M， ALHASSAN M. Improving deep learning with prior knowledge and cognitive models： a survey on enhancing interpretability， adversarial robustness and zero-shot learning［J］. Cognitive Systems Research， 2023， 30： 101188.

［26］ WRFEL M， HAN Q， KAISER M. Online advertising revenue forecasting： an interpretable deep learning approach［C］∥Proc.of the IEEE International Conference on Big Data， 2021： 1980-1989.

［27］ ALEJANDRO B. Explainable artificial intelligence （XAI）： concepts， taxonomies， opportunities and challenges toward responsible AI［J］. Information Fusion， 2020， 58： 82-115.

［28］ ZHANG Z L， LI Y， YANG S. Code-aware fault localization with pre-training and interpretable machine learning［J］. Expert Systems with Applications， 2024， 238： 121689.

［29］ 周志杰， 曹友， 胡昌華. 基于規則的建模方法的可解釋性及其發展［J］. 自動化學報， 2020， 47（6）： 1201-1216.

ZHOU Z J， CAO Y， HU C H. The interpretability of rule-based modeling approach and its development［J］. Acta Automatica Sinica， 2020， 47（6）： 1201-1216.

［30］ BEVEN K. Deep learning， hydrological processes and the uniqueness［J］. Hydrological Processes， 2020， 34（16）： 3608-3613.

［31］ 馬季軍， 何小斌， 涂浡. 我國載人航天電源系統的技術發展成就及趨勢［J］. 上海航天， 2021， 38（3）： 207-218.

MA J J， HE X B， TU B. Technical development achievements and trends of manned spaceflight power system in China［J］. Aerospace Shanghai， 2021， 38（3）： 207-218.

［32］ PATEL M R. Spacecraft power systems［M］. Florida： CRC Press， 2004.

［33］ ZHANG T Y， HUANG H Z， LI Y F. Hierarchical fault propa-gation of command and control system［J］. Smart Structures and Systems， 2022， 29（6）： 791-797.

［34］ GAO S， HUANG Y F， ZHANG S. Short-term runoff prediction with GRU and LSTM networks without requiring time step optimization during sample generation［J］. Journal of Hydrology， 2020， 589： 125188.

［35］ GARBAY T， CHUQUIMIA O， PINNA A. Distilling the knowledge in CNN for WCE screening tool［C］∥Proc.of the Conference on Design and Architectures for Signal and Image Processing， 2019： 19-22.

［36］ YIM J， JOO D， BAE J. A gift from knowledge distillation： fast optimization， network minimization and transfer learning［C］∥Proc.of the Conference on Computer Vision and Pattern Recognition， 2017： 7130-7138.

作者簡介

張庭瑜（1993—），男，博士研究生，主要研究方向為電子器件可靠性分析、電源系統可靠性優化設計、系統可靠性。

曾 穎（1994—），男，博士，講師，主要研究方向為電子產品可靠性建模、剩余壽命預測。

李 楠（1981—），男，高級工程師，博士，主要研究方向為圖像處理、光電設計。

黃洪鐘（1963—），男，教授，博士研究生導師，博士，主要研究方向為可靠性設計及智能優化、故障預測與健康管理、人工智能與機器人技術、數字化設計與智能制造。