復雜工業過程非串級雙速率組合分散運行優化控制

趙建國 楊春雨

冶金、化工、電力等現代工業一般由多個環節串聯、并聯或耦合而成,往往呈現模型維數高、多時間尺度耦合、動態不確定性等綜合復雜性.傳統設計只考慮設備層過程控制的控制方法,無法實現運行過程的優化,容易導致產品質量低下和能源浪費[1-2].因此,綜合考慮設備單元過程控制和運行過程優化控制的復雜工業控制問題引起了學術界和工業界的廣泛關注[3-5].運行優化控制(Operational optimal control,OOC)的內涵是在保證過程控制安全運行的條件下,優化運行指標,從而提高產品質效并降低生產消耗[6].

工業過程運行優化控制目前普遍采用如圖1 所示的串級控制結構,外環利用設定值優化器,根據期望運行指標r*,確定設備層過程控制回路設定值內環控制器用于實現設定值跟蹤,進而使實際運行指標r(t) 控制在目標值r*附近[7].得益于上層優化與底層控制的獨立處理,以及能逐步設計內外環控制器的優勢,工程師和學者們已提出很多串級控制結構下的研究成果,如實時優化、模型預測控制、自優化等基于數學模型的方法,以及迭代學習、模糊邏輯、神經網絡等基于數據驅動的智能控制方法.

圖1 工業過程串級運行優化控制結構Fig.1 The cascade structure of operational optimal control in industrial process

在串級控制框架下,文獻[8]面向設備層輸出是運行層輸入且運行過程含有未建模動態的串聯工業過程,提出了基于多模態切換和神經網絡補償的魯棒自適應運行控制方法.文獻[9]進一步將該方法拓展到雙速率控制中.文獻[10]利用參考調節器,處理了具有不可行設定值且輸入受限的運行優化問題.受生物學習機制啟發,增強學習(Reinforcement learning,RL)能在未知環境下不斷反饋更新尋找系統最優控制策略[11-12].因其具有突出的自學習能力,促使很多學者探索基于RL 的復雜工業過程控制方法.為處理運行過程模型難以獲取情況下的運行優化控制問題,文獻[4]結合模型預測控制和Q-學習算法[13],提出了多速率運行優化控制方法.文獻[14]借助史密斯預估器,提出了雙Q-學習算法,解決在無線網絡環境中外環回路傳輸存在丟包情況下的混合選別濃密過程控制問題.文獻[15-17]研究了非線性工業過程的RL 運行控制方案.串級控制結構是一種典型的分層模式,首先設計內環反饋回路,然后基于設備層過程控制回路與運行層運行過程構建的增廣系統設計外環反饋回路.然而內環過程控制回路的跟蹤誤差或者外環設定值優化誤差對整個運行優化和控制有顯著的負面影響[8].此外,隨著現代工業朝著復雜化與大型化方向發展,基于內環穩定的全階增廣模型的外環設定值優化設計具有較大計算量,容易發生 “維數災”和 “病態數值問題”[18].

為實現同時調節設備單元與運行過程,提高運行指標跟蹤性能,進而提質增效,已有學者研究了工業過程的非串級控制模式[5,18].如圖2 所示,在非串級運行優化控制中,過程控制設備與運行過程組成的工業過程被建模成一個整體大規模系統,并通過直接優化控制輸入u1(t),···,um(t) 驅動實際運行指標r(t) 跟蹤目標值r*[18].

圖2 工業過程非串級運行優化控制結構Fig.2 The non-cascade structure of operational optimal control in industrial process

工業過程不同層級之間具有不同時間尺度,面向過程控制的設備層具有快時間尺度動態,面向運行過程的運行層具有慢時間尺度動態[3-4].奇異攝動系統是建模多時間尺度系統的有效工具,其中奇異攝動參數表示慢快動態分離的程度[19-20].通過奇異攝動理論,全階模型控制問題可簡化為降階慢快子系統控制問題,從而有效避免了控制器設計時存在的 “維數災”和 “病態數值問題”,而且對于充分小的奇異攝動參數,獨立子系統的穩定性蘊涵了整體系統穩定性[21-22].文獻[5]利用奇異攝動理論將復雜工業過程運行優化問題刻畫成慢快子系統的最優控制問題,并提出了雙Q-學習的數據驅動控制算法,不僅實現了運行指標的跟蹤,還解決了設備層高頻振動抑制問題.文獻[18]針對具有多個設備單元的工業過程,提出了數據和模型混合驅動的非串級組合分散控制方法,有效降低了控制器的通訊量與計算量.非串級運行優化控制的研究目前處于起步階段,還有許多亟待解決的科學難題.一方面,工業過程廣泛存在慢快時間尺度耦合現象,應用在串級雙速率控制中的提升技術很難借鑒到非串級控制框架中;另一方面,不同設備單元間的互聯對整體系統穩定性分析和優化控制提出新的挑戰.

本文充分考慮復雜工業過程特點,整合奇異攝動理論[19]與RL 技術[11],針對一類由多個快變且互聯的設備單元與慢變且模型未知的運行過程串聯組成的工業過程,提出一種數據和模型混合驅動的非串級雙速率組合分散運行優化控制方法.主要貢獻概括如下:

1)區別于已有非串級控制工作,相比文獻[5],本文對解耦后的慢快子系統進行異步采樣,設計雙速率組合控制器,解決了因各層級間采樣周期不同而難以統一控制的問題,同時還處理了設備層存在互聯時的分散控制問題,給出了具有穩定性保證的快子系統分散次優控制設計方法;相比文獻[18],本文不僅設計了雙速率控制器,還進一步考慮了多設備互聯時的分散控制問題.

2)現有基于RL 的工作[3-5,14,16-18,23-24]使用折扣代價的最優設定值跟蹤控制表達,然而在運行過程模型未知時難以確定折扣因子的下界[25],致使閉環系統穩定性無法保證.本文通過定義增量式的最優設定值跟蹤控制表達[26],移除了代價函數中的折扣因子,避免了折扣因子帶來的弊端.

本文的組織結構如下:第1 節描述基于奇異攝動的工業過程非串級雙速率組合分散運行優化控制問題;第2 節設計慢快子系統優化控制問題的解,同時給出慢子系統問題的解存在條件以及保證快子系統穩定的充分條件;第3 節設計運行優化控制策略,提出數據和模型混合驅動的組合控制方法,并進行性能分析;第4 節利用浮選過程進行仿真實驗,驗證所提方法對運行指標的跟蹤能力;第5 節對本文工作進行全面總結.

1 基于奇異攝動的工業過程非串級雙速率組合分散運行優化控制問題描述

本部分首先將工業過程建模成一類快動態互聯且慢動態未知的奇異攝動系統;然后依據奇異攝動理論對全階模型進行降階處理,分離為慢采樣的慢子系統和快采樣的快子系統;最后分別刻畫慢快子系統的最優控制問題.

1.1 工業過程建模

考慮圖3 所示的工業過程,其動態模型由設備層過程控制對象的動態模型和運行層運行過程的動態模型兩部分構成[3-5,8,15,18].設備層對象的執行器裝置,如閥門、電振機、水泵等變化速率比較快,而與質量、效率和消耗等運行指標相關的運行層動態變化緩慢,同時設備層輸出為運行層輸入,因此工業過程具有顯著的慢快時間尺度耦合特性[3,5].因運行指標的束縛,不同設備單元之間往往存在互聯影響[3],而運行過程中復雜的物理、化學、相變等反應或變化[27],導致其數學模型很難獲取.基于以上分析,本文將工業過程建模為一類由多個快變且互聯的設備單元與慢變且模型未知的運行過程串聯組成的奇異攝動系統.

圖3 多設備單元互聯的工業過程Fig.3 Industrial process with multiple and interconnected unit devices

設備層動態模型為

1.2 異步采樣的慢快子系統

為避免基于工業過程整體模型控制設計時存在的 “維數災”和 “病態數值問題”,并滿足設備層與運行層的雙速率采樣要求,本節將全階系統(3)解耦為兩個異步采樣的離散化慢、快子系統.

將式(3)改寫為緊湊形式

為了準確獲取設備層的快動態信息,參照文獻[21],把系統(4)離散化為

因為慢變量在瞬時可認為是常值,把式(6)代入式(5b),可得快采樣的快子系統模型為

1.3 運行優化控制問題

本文中非串級雙速率組合分散運行優化控制任務為在假設1 下,設計基于設備層數據快采樣與運行層數據慢采樣的分散組合控制器,使實際的運行指標r跟蹤期望的設定值r*.為了達到這一目標,分別對降階系統(9)和(10)定義優化控制問題.

問題 1.尋找慢子系統(9) 的最優控制us(k),相對如下代價函數

注 2.快子系統(10)的控制問題是設計分散形式的uif(n),進而實現設備單元控制器之間的獨立運行.由于不同設備單元間的互聯項,無法設計最優的控制策略.因此本文考慮次優的分散控制器,并受文獻[28]和文獻[29]啟發,將借助收斂因子γ來保證快子系統的整體穩定性.

2 工業過程慢快子系統優化控制問題求解

2.1 慢子系統優化控制

結合式(14)和式(15)可知,問題1 中的優化問題能轉化為最優調節器.受文獻[26]啟發,引理2 給出了問題1 的可穩解存在且唯一的條件.

引理 2.在假設3 下,如果

通過初等變換,可觀性秩條件判據滿足

注 3.由文獻[30]可知,式(16)也是漸近跟蹤控制問題可解的充分條件.雖然在假設1 下無法直接判斷式(16)是否成立,但是對于具體的復雜工業過程來說,往往可知其運行層的名義模型(也可用輸入輸出數據進行辨識獲得),進而判斷引理2 中式(16)的條件是否滿足.

根據最優控制理論[31],在引理2 的條件下,系統(14)相對代價函數(15)的最優控制輸入為

考慮到下文無模型控制器設計需要,設慢子系統初始控制序列為us(0)=Ks,1zs(0),把上式等號兩端分別相加,可得

定理 1.在控制輸入(19)的作用下,閉環慢子系統(9)漸近穩定,并且跟蹤誤差es(k)=rs(k)-r*漸近收斂到零.

證明.把式(19)代入式(14),有

2.2 快子系統優化控制

忽略互聯項,快子系統(10)變為

根據最優控制理論[31],系統(20)相對代價函數(13)的最優控制輸入為

本文設計控制輸入(21)為優化問題2 的次優解,下面將對快子系統(10)的穩定性進行分析.為此,重寫式(10)為緊湊形式

定理 2.設互聯快子系統(23)的控制輸入為式(24),如果

則其閉環系統是漸近穩定的.

證明.對互聯快子系統(23)選取Lyapunov 函數

3 非串級雙速率組合分散運行優化控制設計

3.1 運行優化控制策略

由前兩節的分析可知,依據非串級運行優化控制路線,工業過程動態模型(1)和動態模型(2)能建模為一類快動態互聯且慢動態未知的奇異攝動系統(3),其運行指標設定值跟蹤控制描述為慢動態的輸出跟蹤問題.參照奇異攝動理論,離散化的工業過程模型(5) 能被分解為異步采樣的慢子系統(9)與快子系統(10),通過定義兩個獨立的優化問題1和問題2,可直接設計設備層的雙速率組合分散控制輸入.因此根據子系統采樣周期,設置設備層采樣周期為h,運行層采樣周期為T,h與T之間滿足關系式T=Nh.由于運行層運行過程模型參數未知,使慢子系統問題的解(19)無法直接獲取,故本文采用Q-學習算法,利用工業運行數據在線學習慢子系統最優輸入的控制增益,實現慢動態輸出跟蹤設定值的目的,同時利用設備層模型信息計算快子系統優化問題的解(21),并判斷定理2 中的收斂因子條件,進而完成非串級雙速率組合分散控制器的設計.

3.2 基于Q-學習的組合控制器

為了解決運行過程模型難以獲取的難題,下面設計基于Q-學習的數據驅動算法求解慢子系統的控制輸入.定義代價函數(15)的值函數為

對于輔助系統(14)的一個固定增量形式的控制輸入 Δus(k)=KsZs(k),其閉環系統可遞推為

根據式(27)和式(29),表達如下Bellman 方程

參照文獻[12]和Bellman 方程(30),定義Q-函數

慢子系統(9)是虛擬系統,基于其構造的輔助系統(14)的狀態Xs(k) 與輸入 Δus(k) 的數據信息無法直接獲取,受文獻[5,18,22,32]的啟發,本文將借助引理1 中的近似性進行數據替換.為此,定義

通過式(33)和式(35),針對運行過程模型未知問題,利用算法1 來設計慢子系統的最優控制增益.

算法 1.基于Q-學習的策略迭代算法

注 5.算法1 的具體求解過程類似文獻[12-13],這里不再贅述.使用基于值迭代的Q-學習算法能放寬初始穩定控制增益條件,詳見文獻[33].最近,自適應動態規劃(Adaptive dynamic programming,ADP)[34]方法已經廣泛應用于最優輸出調節領域設計無模型控制器,解決系統輸出跟蹤控制問題,如文獻[29]和文獻[35].相比存在的ADP 方法,本文只需求解一個最優控制問題,而文獻[29]和文獻[35]還要額外求解一個靜態的優化問題,因此本文方法降低了設計復雜度;此外,本文基于Q-學習的跟蹤方法所學未知變量較少,還具有計算方面的優勢.

實際上,算法1 中的數據替換會導致計算誤差,故算法1 學習得到的控制增益可寫為=Ks+ΔKs,其中,ΔKs是關于ε的攝動[22,32].在執行完算法1后,基于式(19)和式(24),構造如下雙速率組合控制器

進一步,表達顯示的設備層控制輸入的分散形式,即

3.3 性能分析

由式(41)可知算法1 收斂時慢子系統的反饋增益為

定理 3.設離散化的工業過程(5)的控制輸入為(39),則存在某個ε* ＞0 ,使對所有ε∈(0,ε*],閉環系統(5)是漸近穩定的.

證明.首先根據文獻[21]可知,如果慢快子系統(9)與(10)是漸近穩定的,那么存在某個ε* ＞0,使對所有ε∈(0,ε*],快采樣離散時間奇異攝動系統(5)是漸近穩定的.對于快子系統,由定理2 可知,當設計的收斂因子滿足條件(26)時,快子系統(10)是漸近穩定的;對于慢子系統(9),由矩陣的連續性可知,當奇異攝動參數ε充分小時,通過算法1 學習到的反饋增益(42)的攝動誤差 O (ε) 不會影響閉環矩陣=(As-BsKs)+O(ε) 的特征值在單位圓內的特性,借鑒定理1 的路線可證閉環慢子系統也是漸近穩定的. □

注 6.文獻[3-4,9,14-17]提出的雙速率運行優化控制方案都是基于提升技術,將設備層過程控制回路與運行層運行過程的采樣周期提升至相同框架下,然后對增維的廣義工業過程模型進行控制設計,若設備層與運行層之間的時間尺度相差較大,使用提升技術會導致系統階數過高且計算量顯著增加,容易發生 “維數災”和 “病態數值問題”.相比之下,本文方法利用奇異攝動降維有效避免了這些缺陷.

注 7.非串級雙速率控制器(39)含有運行指標跟蹤誤差的積分,因積分器的作用,使其可抑制常值或分段常值的干擾,保持運行指標的無靜差跟蹤.在實際中這些干擾可能來自模型線性化誤差、外界環境變化、原材料波動以及生產設備老化等環節.因此,本文方法對于非串級控制具有工程應用價值.

注 8.本文所提非串級雙速率控制方法具有一般性,能推廣到更復雜的奇異攝動系統.如文獻[22]中的多參數奇異攝動系統,只需在慢子系統設計時進行相似的坐標變換,即可按照本文路線進行非串級雙速率分散控制器設計.對于非線性奇異攝動系統,可參照文獻[36]在解決快子系統含有慢時變參數的影響下,設計非串級雙速率控制器.

4 仿真實驗

本節以浮選過程為例驗證所提非串級雙速率組合分散運行優化控制方法的有效性.

4.1 浮選過程工藝流程

浮選過程是借助礦物的親水或疏氣性質進行礦物分離的[3].本文選取圖4 所示的黃銅礦單浮選過程,其由槽體、給礦泵、攪拌機、空氣集流器、閥門等裝置組成.在浮選過程中,來自磨礦過程的礦粒首先與一定比例的水和浮選藥劑被給礦泵輸送至浮選槽,被選礦物在藥劑的作用下產生親水性,通過空氣集流器在槽體內會產生大量氣泡,從而將被選礦物帶入泡沫尾,達到分層的效果.之后被選礦物在泡沫尾中經精礦閥門流出,雜質等在礦漿中經尾礦閥門流出,實現分離被選礦物與雜質的目的.浮選過程優化目標是將精礦品位r1與尾礦品位r2兩個運行指標控制在目標值附近.

圖4 單浮選槽示意圖Fig.4 Configuration of single flotation cell

浮選過程運行控制可描述為設備層與運行層兩層結構[3].設備層通過改變尾礦閥門開度u1與給礦泵轉速u2來改變泥漿液位高度y1和給礦礦漿流量y2. 運行層通過改變液位高度y1和礦漿流量y2來控制精礦品位r1和尾礦品位r2.

設備層的數學模型為[3]

其中,A為浮選槽底面積,g為重力加速度,k1,k0為與閥門和給礦泵相關的系數,τ為時間常數.

運行過程的數學模型為[16]

4.2 仿真結果

設置精礦品位r1和尾礦品位r2的期望設定值為17.35和0.75[3],設備層泥漿液位高度和礦漿流量變化是快過程,其采樣周期為h=0.05 s,運行層泥漿質量和泡沫質量變化是慢過程,其采樣周期為T=1s,分別選取代價函數(12)和代價函數(13)的加權矩陣Qs=1 000 12,Rs=12,Q1f=100,Q2f=1,R1f=R2f=1.

本文所提Q-學習方法僅使用運行過程動態模型來生成數據,實際設計時無需其模型參數.選擇不同頻率的正弦信號為探測噪聲,并執行算法1 學習慢子系統最優控制增益,由圖5和圖6 可知,,在迭代過程中與其最優值H,Ks差的2 范數逐漸減小且趨于零.從圖7和圖8 的仿真結果可以看出,系統運行65 s 后,所提非串級雙速率組合控制器能很好地驅使浮選過程運行指標r1和r2跟蹤設定值和.而且,通過圖9 能清晰觀察到礦物品位的跟蹤誤差e1=r1,e2=r2都漸近收斂到零.

圖5 內核矩陣的收斂性Fig.5 Convergence of to its ideal value H

圖6 控制增益 的收斂性Fig.6 Convergence of to its ideal value Ks

圖7 精礦品位跟蹤曲線Fig.7 The tracking performance of the concentrate grade to its set-point

圖8 尾礦品位跟蹤曲線Fig.8 The tracking performance of the tail grade to its set-point

圖9 浮選過程礦物品位跟蹤誤差曲線Fig.9 Evolution of the ore grade tracking error

此外,為驗證在復雜環境下所提方法的抗干擾能力,在設備層輸入通道中加入如圖10 所示的擾動來模擬實際工況變化.從圖11、圖12 中可看出,盡管浮選過程受到干擾的影響,但在非串級雙速率控制器作用下每次精礦品位r1和尾礦品位r2依然能穩定在其設定值.該仿真結果表明,本文所提具有誤差積分類型的非串級雙速率運行優化控制方法具有良好的魯棒性和抗干擾能力.

圖10 擾動曲線Fig.10 Evolution of the disturbance

圖11 擾動下精礦品位跟蹤曲線Fig.11 The tracking performance of the concentrate grade to its set-point under disturbance

圖12 擾動下尾礦品位跟蹤曲線Fig.12 The tracking performance of the tail grade to its set-point under disturbance

4.3 對比仿真

首先,將本文方法與文獻[18]的非串級分散控制方法在相同實驗條件下進行對比.由于文獻[18]沒有考慮設備層間的互聯,因此為實現分散控制器設計,這里直接忽略設備層互聯項,然后將文獻[18]的控制策略作用于浮選過程中.所得文獻[18]的慢快子系統控制器參數為

為評價兩種方法的控制性能,引入絕對誤差積分(Integral absolute error,IAE)與誤差均方差(Mean square error,MSE)[3,5,14],即

從表1 中可見本文方法的評價性能均優于文獻[18]的結果,主要原因是文獻[18]使用了帶有折扣因子的代價函數,而這種折扣的跟蹤控制方法往往無法實現零穩態誤差跟蹤[13].

表1 對比仿真評價指標Table 1 Performance index of comparison simulation

其次,將本文方法與文獻[5]的非串級控制方法在相同實驗條件下進行對比.由于文獻[5]沒有考慮多設備單元情況,因此這里將設備層模型當成一個整體情況來處理.從圖13、圖14 可以看出基于文獻[5]的方法浮選過程精礦品位和尾礦品位也能近似跟蹤上其設定值,可是對比圖7、圖8 發現其達到穩態時間較長且存在穩態誤差.主要原因也是其使用了基于折扣代價函數的最優跟蹤方法.

圖13 基于文獻[5]的精礦品位跟蹤曲線Fig.13 The tracking performance of the concentrate grade to its set-point using the method in references [5]

圖14 基于文獻[5]的尾礦品位跟蹤曲線Fig.14 The tracking performance of the tail grade to its set-point using the method in references [5]

5 結論

本文針對多設備單元互聯、多時間尺度耦合以及運行層模型未知的一類工業過程,研究了非串級雙速率組合分散運行優化控制問題.將奇異攝動理論與RL 技術相結合,提出了一種工業過程雙速率組合分散控制方法.利用奇異攝動理論將工業過程解耦為異步采樣的慢快子系統,采用數據驅動的Q-學習算法求解慢子系統問題,實現了運行指標的跟蹤控制,同時求解基于模型的快子系統優化問題,實現了多設備單元之間的分散控制.相較串級控制結構,本文方法能同時調節設備單元與運行過程,設計過程不受設備層與運行層間時間尺度分離程度的影響,避免了 “維數災”和 “病態數值問題”.對浮選過程進行的仿真實驗驗證了所提方法的有效性.