基于DQN 算法的泵站供水系統節能控制優化

陳財會,張 天,黃健康,金 典,王卓悅,張小磊

(哈爾濱工業大學<深圳>土木與環境工程學院,深圳 518055)

隨著我國城鎮化的不斷深入推進,我國城區人 口由1981 年的1.4 億人增長至如今的4.4 億人。為保障城區人口的用水需求,我國給水事業發展迅速,城鎮供水系統投資規模日益擴大。 據國家統計年鑒數據,2021 年年底全國供水總量達到631 億m3,供水投資為771 億元[1]。 我國供水企業每年需要投入大量的能源成本,以維持龐大供水體系,其中高達95%的電耗用于維持水泵的運轉[2]。 故而,泵組的優化調節已被證明是降低整個供水系統運行成本的切實有效的方法[3]。

《中華人民共和國國民經濟和社會發展第十四個五年規劃和2035 年遠景目標綱要》(簡稱“十四五”規劃)明確指出,要加快交通、能源、市政等傳統設施數字化改造,全面提高資源利用效率,強化重點用能單位節能管理,實施能量系統優化、節能技術改造等重點工程[4]。 根據“十四五”規劃的指導,研究出現實可行的系統優化算法是解決供水系統能量浪費問題的重要方向之一。

在我國城市供水體系中,由于泵站大多采用人工調節的方式,其往往根據歷史經驗制定各水泵運行轉速和啟停方案,雖然可滿足當前用戶端的用水需求,但未考慮供水泵站總體運行效率,存在運行效率低下、能量浪費問題[5]。 因此,在滿足城鎮居民用水需求的前提下,提升供水泵站中泵組總體效率所帶來的節能效益十分可觀。

泵站中水泵組運行狀態的節能優化問題,可抽象為在供水需求不斷變化的情況下,以水泵組總效率為優化目標,水泵高效區為約束條件的動態規劃問題。 而深度強化學習算法既具有良好的感知能力,又具有良好的決策能力。 目前,已有許多研究[6]證明,深度強化學習算法在動態規劃問題上具有良好的適用性,且已被廣泛應用于工業制造、優化調度、游戲博弈等領域。 而深度強化學習在我國供水領域中應用很少,具有良好的研究前景。 Zhang等[7]首次提出將粒子群優化算法應用于水廠中進水泵組的優化運行,最終實現節電4.2%的效果。

目前,成熟的深度強化學習算法包括Qlearning、深 度Q 網 絡(deep Q-learning network,DQN)、深度確定性策略梯度(deep deterministic policy gradient,DDPG)等算法[8-9]。 由于水泵的流量和揚程在數值上連續變化,本文針對水泵組運行狀態的節能優化問題,采用適應于連續狀態空間的DQN 算法進行泵站供水系統最優節能控制研究。

1 理論設計計算

1.1 優化水泵組運行狀態問題的數學描述

1.1.1 水泵高效區的界定

在求解水泵組運行狀態優化問題之前,應先定義何為水泵的高效運行,即界定水泵的高效運行區。變頻泵的高效區如圖1 所示,在額定轉速下,水泵運行時的效率η是關于流量Q的非線性函數,其峰值為水泵運行的最高效率。 通常取最高效率的90%為高效段的下限,此時對應的流量分別圖1 中的QA、QB,其工況點為水泵高效運行區的邊界點,即圖1 中的A、B 兩點,對應的揚程分別為HA、HB。

圖1 變頻泵的高效區Fig.1 High-Efficiency Area of Variable Frequency Pumps

設額定轉速下,水泵的特性曲線方程如式(1)。

其中:Hx——虛總揚程,m;

Sx——泵體內虛阻耗系數;

H——揚程,m;

Q——流量,m3/s。

當調節水泵轉速n時,圖1 中水泵的特性曲線也會改變。 現計算任意轉速ni下水泵的特性曲線方程。 由水泵的相似定律可得式(2)～式(3)。

其中:Q0、Qi——額定轉速n0和任意轉速ni下的流量,m3/s;

H0、Hi——額定轉速n0和任意轉速ni下的揚程,m;

ki——調速比。

將式(2)和式(3)代入式(1)得到式(4),即為任意轉速下水泵的特性曲線方程。

為防止水泵因超載運行而損壞,水泵轉速不宜超過額定轉速n0。 此外,為防止氣蝕現象的產生,水泵的轉速不能過低,因此,需設立最小轉速nmin,相應的最小調速比為kmin。 則最小轉速下的水泵特性曲線方程為式(5)。

此時水泵的高效區拓展至圖1 中的環扇形區域ABDC,其由4 條曲線圍成,分別為額定轉速和最低轉速下的水泵特性曲線,以及由A、B 兩點引出的相似拋物線L1、L2。 在同一條相似拋物線上,各點所對應的水泵效率相等,所以相似拋物線L1、L2上的點同樣為對應轉速下的高效段邊界點。 相似拋物線L1、L2的方程分別為式(6)～式(7)。

通過聯立式(5)～式(7),可解出C、D 兩點分別對應的揚程HC、HD和流量QC、QD。 再根據A、B、D、C 分別對應的Q值和H值,即可得到高效工作區。

1.1.2 目標函數建立

本文對優化泵組運行狀態問題的數學描述如下:設泵組中含有x臺變頻泵,y臺工頻泵,各泵的泵型確定,管路特性曲線確定,且采用并聯供水方式。 已知供水流量要求Qsum和揚程要求He,求得水泵的運行組合以及各水泵的調速比ki,在泵站達到供水要求并且各個水泵均處于高效運行狀態的前提下,使泵站達到最高總效率。

基于該問題描述,泵站供水時,系統優化的目標函數如式(8)。

其中:γ——水的容重,N/m3;

Qsum——供水總流量要求,m3/s;

He——供水揚程要求,m;

η——效率;

Ni——第i臺泵的功率,W。

1.1.3 設置約束條件

水泵的工況點必須在其高效區內,以此為約束條件,數學描述如式(9)～式(10)。

其中:Qmin、Qmax——高效區限制,如式(11)～式(12)。

1.2 優化泵組運行狀態問題的馬爾可夫決策過程描述

本文采用的DQN 算法是強化學習的經典算法之一,用于解決智能體(agent)與環境(environment)的交互中,尋求最佳策略并獲得最大利益的問題。

而馬爾可夫決策過程(Markov decision process)為強化學習算法提供框架[10],其模型可用元組(S,A,T,R,β)表示。 其中,S表示系統的狀態空間;A表示動作空間;T代表狀態轉移矩陣,即從某一狀態執行特定動作后轉變為另一狀態的概率;R為執行特定動作后獲得的即時獎勵;β為折扣系數(β∈[0,1]),即未來獎勵的重要程度,可以避免馬爾可夫決策過程陷入無限循環。

在供水系統中,供水流量要求Qsum和揚程要求He是隨機量,故優化水泵組運行狀態問題可視為不確定條件下的貫序決策問題,適用于馬爾可夫決策過程模型。 本節將該問題表述為馬爾可夫決策過程,并對模型參數進行定義。

1.2.1 狀態空間

在某一時間步(step)中,智能體將觀測環境的狀態,該狀態包括各個水泵的運行狀態,包括流量、揚程等參數,其表達式如式(13)。 由于泵站供水的方式普遍采用并聯式供水,各個水泵的揚程視為相同。

1.2.2 動作空間

當智能體獲取環境狀態S后會給出動作A,其包括調控各變頻泵的轉速以及各工頻泵的啟閉狀態。 本文將對變頻泵和工頻泵的調控分別劃分為動作空間Av和Ag,表達式如式(14)～式(15)。

其中:Av——智能體對變頻泵的調控,0 為調低轉速,1 為轉速保持不變,2 為調高轉速;

Ag——智能體對工頻泵的開閉狀態,0 為開啟,1 為關閉;

a∈A,i∈[1,x],j∈[1,y]。

1.2.3 狀態轉移函數

傳統的馬爾可夫模型通過狀態轉移矩陣預測未來的狀態,但當狀態空間為高維連續時,可采用狀態轉移函數進行預測,即式(17)。

狀態轉移函數可通過神經網絡學習而得。

1.2.4 即時獎勵

智能體在狀態s時執行動作a,會獲得即時獎勵r。 因為優化水泵組運行狀態問題的目標為最大化泵站總效率,設電機效率不變,則即時獎勵r可設置為式(18)。

2 設計方案

2.1 DQN 算法流程

DQN 算法是在馬爾可夫決策過程提供的框架下求解強化學習問題的算法之一,需滿足馬爾可夫決策過程的假設條件[11]。 因此,可在上述馬爾可夫決策過程描述的基礎上,構建DQN 算法流程,其總體過程為智能體基于環境反饋的獎勵,學習出每個狀態下的最優動作。

對于當前狀態最優動作的判斷,需要動作價值函數Q(s,a)提供該狀態下每個動作的價值。 而估值網絡Q負責輸出當前狀態下所有動作的價值函數{Q(s,ai)|i= 1,2,…}。 因此,動作價值函數的準確與否,決定智能體的決策是否合理。 為不斷修正動作價值函數,DQN 算法引入目標網絡Qtarget 和經驗回放池replay_memory,以不斷更新估值網絡的權重。經過多輪更新,智能體能夠判斷出每個狀態下的最優行為,但為防止陷入局部最優,智能體在選擇動作時,會采取ε-greedy 策略,即有小概率選擇隨機動作,而不根據動作價值函數Q(s,a) 進行選擇。

DQN 算法原理如圖2 所示,概念說明如表1 所示。

表1 DQN 算法中相關概念說明Tab.1 Instruction of Related Concepts in DQN Algorithm

圖2 DQN 算法原理Fig.2 Principle of DQN Algorithm

基于DQN 算法,水泵組運行狀態調控的訓練過 程如圖3 所示。

圖3 DQN 算法過程Fig.3 Process of DQN Algorithm

2.2 仿真環境的搭建

2.2.1 設置供水場景

本文以深圳M 給水廠及其負責片區的供水情況為訓練場景。

總流量與揚程數據源于給水廠提供的周供水數據,其中前5 d 的數據用于訓練,后2 d 的數據用于結果評估。 供水所用的泵組中,設置5 臺變頻泵,采用并聯供水方式,其具體參數如表2 所示。

表2 水泵性能參數Tab.2 Parameters of Pump Performance

2.2.2 供水過程中各個水泵的功率N 和效率η的確定

評估DQN 算法優劣性的基礎是仿真環境能否準確模擬供水需求和水泵組運行狀態。 若模擬變頻泵的工作狀態,則需要得到在任意轉速下變頻泵的功率N關于流量Q和揚程H的定量關系式。 對于已投入運營的大型水泵,通過現場測試該關系式較為困難,而通過分析水泵的性能曲線圖得到該關系式則較為容易。

水泵性能曲線如圖4 所示。

圖4 水泵性能曲線Fig.4 Pump Performance Curve

根據各個水泵的性能曲線圖,可得到額定轉速下,水泵的一系列效率η0、流量Q0、揚程H0以及由此計算出的功率N0的離散值,即式(19)～式(22)。

再根據相似定律,可以得到任意調速比ki下,各水泵的功率Ni、流量Qi、揚程Hi,即式(23)～式(25)。

再搭建監督學習神經網絡:在PyTorch 框架下,搭建2 層全連接層,各層的神經元個數為128,各層間激活函數為ReLU 函數。 其工作原理如圖5 所示。

圖5 監督學習神經網絡工作原理Fig.5 Principle of Supervised Learning Neural Networks

從而可得到功率N關于流量和揚程的非線性關系模型,即式(26)。

為驗證模型效果,本文通過式(27)計算出每臺水泵在不同流量與揚程下的效率η,并在Matlab 軟件中繪制曲面圖,其結果如圖6 所示。

圖6 效率-流量和揚程擬合關系曲面(4 種水泵)Fig.6 Fitting Relationship of Efficiency-Flow and Head (Four Kinds of Pumps)

其中:ρ——提升液體的密度,kg/m3;

g——重力加速度,m/s2。

由圖6 可知,水泵的效率均位于40%～90%,結果符合實際情況;而水泵高效區要求效率為70%以上,為程序調節水泵至高效運行區提供了操作空間。

2.2.3 設置DQN 參數

本文所使用的深化學習工具為PyTorch,設置的狀態空間包括5 臺水泵的流量和水泵組提供的揚程H,動作空間為調節各個水泵的轉速。 本文所涉及的估值網絡和目標網絡均采用深度神經網絡(DNN)結構,隱藏層層數為3 層,每層128 個神經元,層與層之間的激活函數采用ReLU 函數。 超參數設置如表3 所示。

表3 超參數設置Tab.3 Hyperparameter Settings

3 網絡訓練及其結果分析

3.1 水泵組狀態調控結果分析

圖7 代表在智能體離線學習過程中,均方損失函數的變化情況。

圖7 均方損失函數變化Fig.7 Changes of Mean Squared Loss Function

損失函數指神經網絡訓練過程中預測值與真實值之間的差距,在本問題的研究中,網絡預測值為各狀態下的動作價值。 可將損失值反向傳播,以更新網絡權重。 由圖7 可知,隨著訓練迭代次數的增加,均方損失函數逐漸減小至0,并保持不變,說明深度神經網絡逐漸接近行為值函數,智能體可學習出最優策略。

為了檢驗學習結果,本文將上述訓練完成的網絡保存后,選取水廠周供水數據的第6 ～7 d 部分作為測試集,運行結果如圖8 和圖9 所示。

圖8 水泵組運行狀態變化Fig.8 Changes of Running State of the Pumps

圖9 運行中的水泵的效率變化Fig.9 Efficiency Changes of Running Pumps

圖8 為不同時間段的水泵組運行情況,包括各水泵提供的流量和揚程,其中供水需求(總流量和揚程)的改變間隔為1 h。 智能體在需求改變后自動調整各變頻泵的轉速,在滿足供水需求、各水泵均在高效區工作的基礎上,使得水泵組總效率盡可能高。

圖9 為各水泵在不同時間段的效率。 不同時間段上運行的水泵最低效率為70%,說明水泵的性能良好。 同時,在運行過程中,1 號、3 號、4 號水泵的效率均大于其最高效率的90%,說明水泵均處于高效區。 而波動較大的2 號泵,由圖9 可知,其在運行過程中的效率為水泵效率的86.2%～74.0%,即最高效率為水泵效率的86.2%,運行中的最低效率是最高效率的85.8%,未處于水泵的高效區,還需優化。

3.2 對比分析

為說明DQN 算法的有效性,本文在相同供水需求的前提下,將人工調控與DQN 調控兩種方式下的水泵組在不同時間段的功率消耗進行對比。 人工調控主要通過監測管網控制點的水壓,通過比較實時水壓與設定水壓的差值,適當對部分水泵進行啟停控制,以確保水泵在正常運行范圍內,滿足水壓水位等要求。 由于上文所計算的效率為水泵效率,而實際中需考慮電機效率對水泵組總效率的影響,本文需對電機效率進行設定。 由于給水泵站的電動機銘牌效率普遍大于90%[12],本文設電機效率為90%,并由此計算水泵組在各時間段消耗的總效率。 對比結果如圖10 和表4 所示。

表4 調控結果對比Tab.4 Comparison of Control Results

圖10 調控結果對比Fig.10 Comparison of Control Results

由表4 可知,若采用人工調控,則泵組平均總消耗功率為466.042 kW;若采用DQN 算法調控,則泵組平均總消耗功率為453.339 kW。 而平均有效功率為322.375 kW,故兩種方法的平均損失功率分別為143.666 kW 和130.964 kW,即DQN 算法相較于人工調控降低了8.84%的損失能耗。 在此節能效果下,該水廠一年可節省電耗1.11×105kW·h,即節省噸水電耗1.27×10-2kW·h/t。

由此可見,DQN 算法應用在給水領域,節能效果良好,不僅滿足用戶端的用水需求,且使各水泵均處于高效區工作,具有良好的經濟效能,有效降低了泵站的運行能耗。

4 結論

針對水泵的流量和揚程在數值上連續變化的特點,首次將適應于連續狀態空間的DQN 算法應用在給水領域,適應性良好。 根據用戶的實時用水需求,通過DQN 算法快速求解出最優的水泵組合與流量分配,從而確定各水泵轉速,節省人力資源,減少工作人員未及時調控的風險,提高供水服務水平。 同時,由于引入了經驗回放池,DQN 算法能在運行過程中實時更新模型,針對不同的供水需求和其他環境變化,實現在線學習。 在本文的計算條件下,相較于人工調控,DQN 算法調控降低了8.84%的損失能耗,一年可節省噸水電耗1.27×10-2kW·h/t,實現了節能減排,具有良好的經濟效能,說明基于DQN 算法的泵站供水系統最優節能控制方法具有較強的可推廣性和實用性。