面向柔性作業車間動態調度的雙系統強化學習方法

航天結構件的加工過程具有多品種、小批量、工藝復雜多變的特征，每種工件由多道具有先后順序約束的工序完成，是典型的作業車間調度問題.由于航天結構件緊急插單任務的擾動影響批量生產任務的生產進程，降低生產效率，所以車間調度方案需要動態變更.在傳統作業車間調度的基礎上，柔性作業車間調度可以面向更加動態、復雜的車間環境.根據柔性作業車間的特點，可以將該類調度問題拆分為資源配置和工序排序兩個子問題，分別利用調度系統中存在的多類型知識，賦予系統自適應響應能力.

柔性作業車間調度需要利用實時性狀態數據來驅動，但目前系統對于車間資源中離散程度高、關聯性差的數據無法很好地利用.在處理大規模復雜數據方面，知識圖譜技術能夠表達更豐富的語義，對數據進行語義信息集成與表示.認知制造作為下一代智能制造，利用感知-認知系統實現信息-物理系統的交互.知識圖譜技術與認知制造的結合應用增強了車間動態調度策略優化與知識之間的聯通性，一定程度上提高了決策方案的科學性.如何利用知識圖譜提供的調度知識實現動態調度決策優化是值得研究的課題.

近年來，已有眾多學者針對動態柔性作業車間調度問題進行研究，主要在魯棒式方法、重調度法、智能算法等方面展開.魯棒式方法對生產擾動事件的響應速度慢，歷史信息無法得到重用；重調度方法可以對擾動事件快速響應，但無法很好利用工藝信息之間的關系；相比之下智能算法更適用于處理作業車間的動態調度問題.通過智能算法完成自適應車間調度問題的方法有優先級規則方法、啟發式算法、遺傳算法(Genetic Algorithm, GA)、進化算法、模擬退火、禁忌搜索方法等.在考慮插單任務的動態調度研究中，Kundakci等針對動態作業車間調度問題中的插單任務、機器故障等，引入有效的混合遺傳算法求解此類問題的最大完工時間；Shen等針對柔性作業車間調度的新工件插入和機床故障等問題，提出了基于多目標進化算法的主動-被動調度方法；Wang等提出了一種改進的粒子群算法用于工件隨機到達的動態柔性作業車間調度問題的求解.為了實現多約束下調度問題的多目標優化，一些研究學者將調度過程進行分步驟處理.張潔等提出針對調度過程的任務分派和任務排序兩階段，構建具有繼承關系的兩階段蟻群并行搜索算法；周亞勤等提出一種嵌套式蟻群-遺傳混合算法解決關鍵設備和人員雙資源約束下的航天結構件柔性作業車間調度問題；汪浩祥等利用強化學習的實時性和知識化制造系統的自適應性，將航空發動機裝配調度分為分派機器和工序調度兩個階段.現有的調度規則大多無法進行自適應調整以應對動態場景，但隨著機器學習的快速發展，可通過學習生成復雜調度策略的強化學習方法已經產生，能賦予調度規則較強的自適應和學習能力.進一步，深度Q網絡(Deep Q Network, DQN)結合了具有感知能力的深度學習和決策能力的強化學習，融合了深度神經網絡能夠利用歷史數據在線學習和強化學習從而依據狀態靈活選取決策行為的優點，更適用于柔性作業車間調度的決策過程.Wang等在多智能體強化學習環境中運用DQN指導基礎設施云上多工作流的調度，分別將最大完工時間和成本兩個優化目標抽象成兩個智能體.Luo研究了用DQN解決以總延期最小為目標的新任務插入下的動態柔性作業車間調度問題.He等針對紡織過程優化問題轉化為隨機博弈的新框架，在DQN網絡算法中將多優化目標抽象成多智能體.林時敬等針對煉鋼車間天車動態調度事件，也運用DQN算法將多天車抽象成多智能體協同天車操作動作序列.但現在基于DQN的車間調度方法中，所需調度策略的優化過程與調度相關數據的關聯度不夠，因此考慮在調度算法中利用系統提供的語義知識優化車間動態調度能力.

為此，本文針對柔性作業車間調度問題，以最小化設備平均負載和最小化總完工時間為目標，在調度過程的資源配置和工序排序階段，分別設置強化學習智能體，提出雙系統強化學習框架.其中，基于感知系統獲取知識圖譜的知識，分別將資源配置和工序排序所需要的參數集成表示為多維信息矩陣的形式，為認知調度系統提供車間狀態參數；認知調度過程中對兩個智能體共同構建具有繼承關系的雙環深度Q網絡(Dual-Loop Deep Q Network, DL-DQN)方法.

中證協12月26日發布的《證券基金經營機構債券投資交易業務內控指引》?！秲瓤刂敢妨η髲膬瓤伢w系、風險控制、業務管理、人員管理等方面強化證券基金經營機構風控合規意識，確保債券投資交易規范展業。近年來，部分機構債券投資交易內控薄弱，以各種形式直接或變相放大杠桿博取高收益，甚至規避內控機制和資本占用等監管要求。市場人士稱，出臺這一指引，是為了更有效規范債券投資交易行為，防范債券市場風險。

1 柔性作業車間調度模型

柔性作業生產車間調度問題可以描述為：總共有個任務訂單，其中包括批產任務和插單任務，每個任務包含個待加工工件，即={,, …,}(=1, 2, …,)，所有任務動態到達需要在種設備組={,, …,} (=1, 2, …,)上加工，每個設備組包含一定數量的設備={,, …,} (=1, 2, …,)執行對應的工序，不同的任務包含不同的加工工件數目、對應不同的加工工序，需要在設備組上進行工序排序并加工.對插單任務進行資源配置，并根據資源配置結果對機加工工序進行優化排序，使得設備總負載和任務總完工時間最小.在問題描述中涉及到的參數如表1所示.

工序排序智能體獎勵函數.

建立如下數學模型：

(1)

?∈[1, 2, …,],∈[1, 2, …,]

(2)

?∈[1, 2, …,],∈[1, 2, …,]

式中：

尿β2微球蛋白（U-β2-MG）廣泛存在于血漿、尿液、腦脊液及初乳中。正常情況下，β2-MG合成和釋放非常恒定，不受年齡、性別等因素的影響。β2-MG相對分子量小、不與血漿蛋白結合，可由經腎小球濾過，被近曲小管重吸收并降解。自身免疫性疾病、慢性肝炎、惡性腫瘤等疾病能夠促進機體合成大量β2-MG，排除這些疾病后，血清β2-MG水平升高可反映腎小球濾過率下降、腎小管重吸收功能受損，可作為評價腎臟濾過功能。

克魯勃潤滑劑（上海）有限公司市場及應用部門經理戴偉（Nicolas David）表示：“我們正在與客戶及合作伙伴密切合作，共同開發新的數字產品，在提供性能純正、品質一流的潤滑劑之外帶來附加價值?？唆敳诰€解決方案表明我們能幫助客戶收獲更大成功，并且進一步貼近客戶?！?/p>

通過表3可知，依據國家發展改革委、國家能源局等八部分共同發文《關于推進電能替代的指導意見》以及南方電網相關電能替代指導意見，共梳理該地區電能替代相關技術19項，通過本文建立的區域電能替代技術選擇體系篩選出11項該地區需要大力發展及廣泛推廣的項目。根據上文中選擇出的電能替代技術與國家政策及指導意見比較相似，因此，也能說明本文中建立的體系的正確性與合理性。通過對本地區電能替代領域的分析與選擇，對于促進節能減排與建設美麗中國、治理環境污染與經濟發展、優化能源結構和能源的可持續發展具有重要意義。

(3)

?∈[1, 2, …,]

(4)

≠

, , =, ,

(5)

(6)

(7)

(8)

2 雙系統強化學習方法

為了實現柔性作業車間的動態調度，解決調度過程中的多階段方案生成優化，本文提出了知識圖譜驅動的車間動態調度過程中感知-認知雙系統框架.如圖1所示，系統I的感知是將各類型數據進行表示與集成，將調度信息轉變成多維矩陣的形式分別表示資源配置和工序排序，輸入到系統II.在緊急任務的觸發下，系統II的認知利用DL-DQN強化學習方法進行車間排產優化——資源配置智能體以最小化設備平均負載為目標，首先進行該工件所需人員、設備、物料等資源匹配形成資源社群；工序排序智能體以最小化完工時間為目標，將資源社群以工序為單位實現工件順序排產計劃，分步進行調度策略生成，提高加工流的生產連續性和效率.

2.1 感知-調度參數表示與多維信息矩陣集成

利用知識圖譜提供的調度參數，根據車間動態調度的兩個子問題，分別將所需數據轉化成多維信息矩陣輸入到系統的強化學習模型中.

資源配置所需的數據為離散型數據，為資源信息矩陣，每種任務需要由多位工人在多臺設備上采用不同的資源進行加工，每種資源包含多種類型：

專業核心課是財務管理專業的重要內容，教師通過核心課能夠將財務管理知識系統的傳授給學生，這樣學生就會具備實際操作的能力。核心課設置如下課程：財務管理案例、財務控制、稅法與籌劃等，我們可以將預算管理、高級財務管理、資本運營、非營利組織財務等課程作為選修課供學生選擇學習。這樣也就體現了財務管理專業具備的獨特性。其中，中級財務會計、財務管理、財務管理案例、財務風險管理、稅法與籌劃、財務控制、財務分析、成本管理會計、資產評估是專業核心課的重要內容。

, , ={, , ,, , ,, , }

(9)

橈骨遠端骨折的病因以外傷為主，發病機制則較為復雜，發生后可給患者的肢體功能造成影響，其生活質量也隨之下降[3]，因此需要給予積極的治療。其治療方法包括保守治療、手術治療等兩大類，其中后者是主要的治療方式，但在何時給予患者以手術治療，目前仍存在一定的爭議。本研究結果表明，在骨折后6 h內即開展急診手術干預，與傳統的等待消腫后再行手術治療比較，不僅可以有效減輕患者的疼痛感，同時又可促進患者患肢功能的恢復，同時其外觀無畸形率更高，綜合效果理想，故值得推廣。

(=1, 2, …,;=1, 2, …,;=1, 2, …,;, , ∈;, , ∈;, , ∈;, , ∈)

={,}

(10)

={, |, =,, …,}

第二，林業生態建設質量有待提高。現階段，我國林業資源生態環境建設取得一定成效，主要表現在荒漠化防治、水土保持兩方面。但是，林業生態環境建設所取得的成果僅限于重點治理區域，其他絕大部分普遍存在質量不高、樹種單一、樹種結構不合理的問題。

(11)

(=1, 2, …,;=1, 2, …,;
=1, 2, …,)

(12)

(=1, 2, …,;=1, 2, …,;
=1, 2, …,)

2.2 認知-DL-DQN調度算法

對感知數據利用DL-DQN算法實現認知應用.圖2為本文提出的柔性作業車間動態調度流程.依據批產任務生產方案流程，對插單任務進行緊急程度的判別后分別應用不同的調度原則，當插單任務進入認知調度實現策略優化時，資源配置智能體形成以工件為核心的資源社群配置，工序排序智能體實現單個工序上的工件排序優化.

(1) 調度狀態空間.

(2) 調度動作空間.

資源配置和工序排序智能體根據機器的加工狀況以及工件的生產屬性，分別為每一個工件設置調度優先值，本文分別針對兩個智能體設置不同的決策動作空間.

資源配置決策空間：資源配置任務是對插單任務進行人員、設備、物料等資源的配置，合理選擇能夠最小化設備平均負載的最優資源，決策空間定義如表3所示.

工序排序決策空間：工序排序是將配置好的資源社群，以最小化完工時間為目標分別在每個工位上進行排序，決策空間定義如表4所示.

(3) 調度獎勵函數.

6.規劃實施一批科技創新重點工程。借鑒先進地區科技園區建設發展的成功經驗和建設生態文明典范城市的目標要求，按照“布局集中、用地集約、產業集聚、建設有序”的原則，規劃建設中央創新區，重點吸引知名高校、國家級科研機構、重點企業研發機構、知名科技中介機構等集中進駐，通過多方整合科教資源，打造集科技教育、創新創業、商務服務、生態居住等于一體的現代科技服務業集聚區，建設成為生態文明典范城市副中心，為創建國家高新區奠定基礎。實施黃河三角洲可持續發展研究院提升工程。進一步配套完善研究院基礎設施，支持研究院設立市場化管理運營平臺，努力打造在黃河三角洲地區乃至國內重要的科技創新基礎條件平臺。

通過設置合理的獎勵機制，保證算法在多智能體設置下的收斂性，函數設計如下.

資源配置智能體獎勵函數.

首先定義設備繁忙、空閑的示性函數, ()，表示為

, ()=

(13)

針對醫?；颊咦≡嘿M用的影響因素(政策因素、參保方因素、醫療供方因素),應當從問題出發,提出相應的措施及辦法減少上述各種因素對住院費用的影響。醫保部門應當根據相關要求和實際情況制定醫保政策,醫療機構應當嚴格實行院內控制,而參?；颊邞敿訌妼W習,提升對醫保政策的認識。通過各種措施的采取,合理地控制住院費用。本文研究結果顯示,在采取有效的控制措施之后,住院費用明顯降低,與措施采取前存在明顯的差異(P<0.05),充分說明有效地措施對住院費用控制的重要性。

(14)

(15)

(16)

由式(15)和(16)可知，資源配置階段的最大化獎勵等價于最小化設備平均負載，證明定義的獎勵函數有效.

柔性作業車間調度模型需要滿足如下基本假設：①批產任務中工件一定的情況下，插單任務的工件動態到達；②同一工件工序之間有優先級，需在前道工序加工完成后進行后道工序的加工；③工件某一道工序在加工過程中不能被中斷；④ 工件在加工過程中的準備時間、工件轉換時間等一同計入加工時間； ⑤同一設備在某一時刻只能加工一道工序；⑥ 同一設備前一工件未完成，后續安排工件需等待；⑦不存在撤單、設備故障等特殊情況.

首先定義時刻第個任務的第個工件中第道工序狀態的示性函數, , ()，即：

傳統固態發酵釀醋制醋醅采用固態分層發酵，現在基本都是以防水水泥制成的長條形醅池代替大缸，也從人工翻醅替換成翻醅機操作。涉及的設備有行車、翻醅機、醅池及吊車抓斗等。史榮炳[36]發明了一種通過機械結構實現自動翻醅的裝置。

, , ()=

(17)

(18)

(19)

(20)

由式(19)和(20)可知，工序排序階段的最大化獎勵等價于最小化總完工時間，證明定義的獎勵函數有效.

為雙目標獎勵函數賦予權值轉變為總獎勵函數，如下式：

=+

(21)

式中：、分別為兩個目標的權值,+=1將雙目標優化轉換為單目標優化的獎勵函數，通過控制權值的大小，決策者可依據目標的側重情況人為設定例如，當調度環境要求考慮盡快完工，可將工序排序智能體獎勵函數的權值設置為07，資源配置智能體獎勵函數的權值設置為0.3.

(4) 模型更新.

本文模型在DQN基礎上改進，兩個智能體在訓練時，在單位時間內，資源配置智能體根據知識圖譜提供的資源相關離散型知識生成資源配置決策動作，隨著狀態變化以社群的形式傳遞給工序排序智能體，下一個排序動作以每一設備組為單位，對資源社群進行任務加工序列的安排.調度的兩階段過程不斷更新迭代，直至任務完成，采用梯度下降法更新參數，實現策略函數的優化，算法的偽代碼如算法1所示.

“差不多了，我大致了解你的心理狀態。”社長說，“你千萬不要因為被我看穿心理而反應激烈，要學會冷靜。知道嗎？”

：DL-DQN多智能體強化學習算法

1初始化記憶池、;容量

2用隨機權重參數、初始化函數、

4For 迭代次數= 1,do

慢性病已經成為我國居民健康和經濟社會發展所面臨的嚴重挑戰［1］。兒童時期是生理和心理成長發育的關鍵時期，也是學習健康知識、形成健康行為的重要階段。本文就我國8省4～6年級小學生慢性病相關知識、態度及知識來源進行了分析，以期對培養小學生的健康生活行為有所幫助和指導。

并滿足如下約束：

6For=0,do

工序排序所需的數據由工藝序列和加工時間兩組數據組成，為工序排序信息矩陣，各類型數據構建出排序涉及相關調度參數，以某時間段工位數據建模表示如下：

10For=1,do

12For=0,do

與綜合性大學相比，行業特色型大學在國家“雙一流”建設中除了要立足于國家重大現實需求外，還要立足于行業重大需求，優化學科布局和頂層制度設計，堅持“有所為有所不為”的原則，著力提升解決制約行業發展的關鍵瓶頸問題和重大現實需求問題的能力。除了堅持基礎理論研究之外，更重要的是要探索基礎理論研究成果在特定行業的應用問題，要將行業應用研究能力作為行業特色型大學發展的重要突破口。對于行業特色型大學教師而言，其最大優勢和特色在于針對行業重大前沿問題開展基礎理論和應用研究。因此，在“雙一流”建設中教師要將基礎理論研究與行業應用研究有機結合，突出行業科研應用能力。

為工藝參數矩陣，即任務加工工藝流程方法.加工車間每種設備組只能對應加工某一類型工藝：

20End for

21End for

26End for

27End for

28輸出:、

3 案例與應用

對提出的雙系統強化學習方法進行模型訓練和實驗.首先，對仿真參數進行說明并進行方法對比；然后利用某航天所薄壁殼體加工過程中緊急插單問題進行實例測試，并進行分析.

3.1 模型訓練與對比

..測試數據 本研究根據Brandimarte提出的方法生成一系列柔性作業車間動態調度問題標準算例，將本文問題進行簡化，每種加工任務的工序數相同，根據不同的工序隨機選擇加工設備，然后在工序加工時間區間內隨機生成對應時間(見表5).

為驗證本文提出的DL-DQN算法效果，將隨機算法(Random Algorithm, RA)、GA、DQN作為對比算法進行分析比較.

..時間復雜度分析 首先，將本文方法和對比算法的時間復雜度分析如下.

(1) RA.以先到先加工原則為約束，隨機選擇設備需加工工件并進行資源分配，設找到可行解需要的迭代次數為，因此RA的時間復雜度可近似描述為().

(2) GA.遺傳算法一般很難收斂到全局最優解，因此算法的停止根據設置的迭代次數，設GA的最大迭代次數為，種群數量為，則GA的時間復雜度可近似描述為().

(3) DQN.在DQN網絡的運行階段，運行回合數為，每回合中的步長為，因此在運行階段的時間復雜度為().本文提出的DL-DQN算法的時間復雜度與DQN相同.表6為時間復雜度對比.

由表可見，本文算法和所提算法的時間復雜度和任務數成線性關系，不同的算法涉及參數不同會影響時間復雜度.

..模擬結果 本研究以MK04算例進行實驗評估，構建作業車間環境，并使用DL-DQN算法進行柔性作業車間調度，在迭代過程中記錄參數變化，與DQN算法進行對比.訓練過程參數變化如圖4所示.

根據測試算例MK01～MK10，分別用本文方法和對比方法求解總優化目標，結果如圖5所示.

由圖4可見DL-DQN算法訓練過程的全局累積獎勵表現出良好的上升趨勢，收斂速度較DQN模型快，優化過程優于DQN模型，且得到的解決方案更好，更能適應柔性作業車間調度的動態性.進一步，通過本文算法和對比算法的求解應用(見圖5)，所提方法的設備平均負載與總完工時間的加權值均小于對比算法.整體看來，DL-DQN方法效果較優，驗證了本文所提方法的有效性.

3.2 實例測試

..加工車間任務信息表 利用某動力所固體火箭發動機薄壁殼體生產模擬數據進行實例測試以驗證所提方法的有效性.薄壁殼體的加工具有產研并存的特性，整理航天所生產原始數據后得到設備類型與相關信息如表7所示，不同的設備組對應不同的工序.

案例以薄壁殼體批產任務加工過程中緊急訂單觸發任務為分析對象，在設備信息基礎上，設置6個任務的工藝約束、加工時間、加工數量和交貨期，其中包含4個批產任務(J～J)與2個插單任務(J～J).生產任務工序信息表和時間表如表8和表9所示，其中“空白”表示無此項.

..感知系統知識表示與集成 根據本文提出的DL-DQN算法，分別為資源配置智能體和工序排序智能體提供多維信息矩陣，兩階段調度過程中所需的參數矩陣如圖6所示.

..認知系統車間調度策略生成 假設插單任務的觸發時間節點位于批產任務初始化后的20 h和80 h處，針對插單任務導致的柔性作業車間動態調度事件，首先對其進行資源配置，然后以資源社群為單位進行工序排序，將插單任務排產到合適的工序位置.

在資源配置過程中，針對機加工車間的車床工作狀況進行全方位的任務配置.以該車間某一時間段的車床加工任務作為分析基礎，將車床按照類型劃分，每種型號的車床設備各1臺，其加工功能不同，針對插單過程中導致的設備平均負載變化，車間車床設備相關信息如表10所示.

為表明資源配置智能體生成配置策略的合理性，以設備利用率為參考得出調度前后車床設備利用率曲線圖(見圖7)，可以直觀地發現，車間車床利用率呈現整體上升趨勢且變化平緩，較少出現某一設備負載突變的情況.

將插單任務觸發前后的車間調度模式以甘特圖的形式表示出來，圖8為插單前任務調度方案結果，圖9為插單后任務調度方案結果.不同的顏色代表不同任務，同一任務按照時序關系對工序進行區分.

根據插單前后的甘特圖得出不同任務交付時間與加工時長的對比.如表11所示(“空白”表示無此項)，運用本文方法能夠在滿足插單任務交付期的前提下，在一定程度上縮短批產任務的總加工時長，特別是調度策略前后J的總加工時間減少35.08%，交付時間減少13.67%.薄壁殼體制造過程中不同的加工工藝所需時間差異大，因此車間中工序排序引起的時間微小變化會更有利于調度.從設備利用率和加工時間變化來看，本文提出的雙系統深度強化學習方法具有一定的可行性.

4 結論

本文對產研并存的柔性作業車間動態調度問題進行了研究，以最小化設備平均負載和最小化總完工時間為優化目標，提出感知-認知雙系統與DL-DQN算法融合嵌入的方法，得出以下結論：

(1) 感知系統將知識圖譜提供的數據轉化成多維信息矩陣輸入到認知系統，認知系統將調度過程分成資源配置和工序排序兩部分，分別將兩個優化目標抽象成具有繼承關系的智能體.

(2) 采用DL-DQN算法，外環利用資源配置智能體生成以工件為單位的資源社群，內環利用工序排序智能體以資源社群為單位進行工序級別的工件排序優化.

(3) 對比不同的算法和進行某航天所的固體火箭發動機薄壁殼體加工車間的實例測試，證實提出的雙環強化學習方法能更好地利用調度知識圖譜提供的參數信息，實現柔性作業車間調度的多目標優化.

目前的研究將設備故障、突發撤單等不確定因素忽略，未來將探究多資源約束情況下的柔性作業車間自適應調度問題.