基于強化學習的室內溫濕度聯合控制方法研究

陳長成, 安晶晶, 王闖, 段曉絨

(北京建筑大學環境與能源工程學院, 北京 100044)

隨著經濟的快速發展,人類的活動地點逐漸由室外轉向室內,人類平均有80%～90%的時間在室內度過,這使得人們對室內空氣環境有著更高的要求[1]。室內空氣環境的營造主要依賴于各種空氣調節設備,風機盤管作為一種空調設備,由于其機型體積小、操作安裝方便和易于獨立控制等優點,已經被廣泛應用于辦公樓、酒店賓館和科研樓等建筑場所。然而,現有的針對風機盤管控制的研究主要集中于降低室內溫度的波動和超調量來獲得更佳的室內熱舒適性,這種僅以溫度作為單一控制對象的方式,忽略了室內濕度對人體健康方面的影響以及不同人群出于熱舒適考慮的室內濕度差異化需求。

室內環境濕度主要通過影響人體的熱代謝和水鹽代謝來影響人體熱舒適性[2],不同人群對室內濕度的敏感程度不同。對于普通人群而言,在同一室溫下,室內濕度在一定范圍內的波動不會顯著地影響其對室內環境的熱舒適性評價,而對于患有呼吸道疾病的人群,室內濕度的波動則會顯著地增加其不適感并影響其對室內環境熱舒適的真實評價[3-4]。因此,將室內溫度和濕度聯合控制在合適的范圍內對于改善室內人員的健康狀態和提高室內人員的熱舒適評價具有十分重要的意義。

目前,風機盤管常用的控制方法通常僅以室內溫度作為控制對象,如通斷控制、基于規則的控制(rule based control, RBC)和比例積分微分(proportional integral derivative,PID)控制等,這些控制方法因具有部署簡單的特點被廣泛應用于實際的項目中。然而,暖通空調系統作為一種高度非線性的時變系統,傳統的控制方法往往難以取得理想的控制效果[5-7]。近年來,模型預測控制(model predictive control, MPC)在暖通空調系統中的應用受到廣泛關注。MPC作為一種監督控制,具有穩定性較好、多目標滾動優化的特點,但MPC的控制效果不僅依賴于精準的數學模型,還需要能夠準確反映建筑室內外參數變化規律的數據信息[8]。隨著大數據技術和人工智能的發展,強化學習(reinforcement learning, RL)作為近幾年興起的一種機器學習方法,具有免模型、自學習的優點[9-10],一些學者已經對強化學習算法在暖通空調系統中的優化控制展開了研究。Fang等[11]將DQN(deep Q network)算法應用于變風量空調系統,以節約系統總能耗和滿足室內溫度要求為總目標,通過控制送風溫度的設定值和冷機供水溫度的設定值,驗證了大多數情況下DQN算法的控制效果優于基于規則的控制。閆軍威等[12]將Double DQN算法應用于廣州市某辦公建筑的中央空調系統節能優化運行中,在滿足室內溫度要求的前提下,相較于PID控制,降低了5.36%的系統總能耗。丁瑞華等[13]提出一種基于專家知識的深度強化學習優化控制方法,以某數據中心的水冷式空調系統為研究對象,將該方法與傳統的RBC和PID控制相對比,證明了該方法可以實現在機柜出口溫度處于安全范圍內的前提下降低系統總能耗。Yuan等[14]以某辦公樓變風量空調系統為例,驗證了強化學習控制器在滿足室內溫度要求方面比RBC和PID控制器更節能。Biemann等[15]在模擬的數據中心環境中對4種Actor-critic算法進行了評估,結果表明:與基于模型的控制器相比,這4種算法都可以實現區域溫度保持在理想范圍內而同時減少10%的能源消耗。目前,強化學習算法在暖通空調系統中的應用研究主要以滿足室內溫度要求的前提下降低系統總能耗為優化目標,這忽略了室內濕度的影響,有可能造成室內濕度滿足率降低的情況。

綜上所述,在風機盤管的控制研究方面,目前常用的控制方法僅以室內溫度作為單一控制對象,忽略了濕度對不同人群舒適性的影響。由于風機盤管采用冷凝除濕的方法,室內溫度和濕度之間存在耦合關系,通過調控風機盤管以實現室內溫濕度均控制在合適范圍內具有較大難度,且目前相關的研究還比較少。此外,強化學習算法作為近幾年興起的一種機器學習控制方法,已經有學者對其在暖通空調系統中的應用進行了初步的研究,但大多數研究集中于滿足室內溫度要求的前提下降低系統能耗,利用強化學習算法對使用風機盤管的建筑進行室內溫濕度聯合控制的研究目前還比較少。為解決上述問題,以采用風機盤管加新風系統的北京某辦公建筑為研究對象,搭建TRNSYS-Python聯合仿真平臺,提出一種基于動作干預的強化學習算法對風機盤管的送風量進行調控,以實現室內溫度和相對濕度聯合控制滿足率的提升。本研究可為將強化學習算法應用于室內環境控制提供新的研究思路。

1 技術路線

面向目前中國建筑廣泛使用的風機盤管末端設備,提出一種基于動作干預的強化學習算法對風機盤管的送風量進行調控,以期實現室內溫度和相對濕度聯合控制滿足率的提升。技術路線如圖1所示,具體如下。

圖1 技術路線圖Fig.1 Schematic diagram of the overall technical approach

(1) 強化學習算法的設計與部署。設計一種適用性更好的強化學習算法用于風機盤管送風量的調控,并借助深度學習庫TensorFlow部署該算法。

(2) 建筑仿真環境的搭建。在TRNSYS軟件中對建筑及其能源系統進行建模,為后續智能體的訓練提供交互環境。

(3) TRNSYS-Python聯合仿真平臺的開發?；谖募臄祿鬟f方式實現TRNSYS與Python的實時交互,開發聯合仿真平臺用于算法的測試與評價。

(4) 算法評價。將所提的強化學習控制算法與傳統控制方法進行室內溫度和相對濕度聯合控制效果的對比,然后探究不同輸入狀態組合下強化學習算法的敏感性。

2 強化學習算法

2.1 算法的基本原理

強化學習(reinforcement learning, RL)是機器學習領域中除了監督學習和非監督學習以外的第三種基本的學習方法,其靈感來源于心理學中的行為主義理論,即有機體不斷地與環境進行交互,獲得由環境給出的獎勵或者懲罰,然后逐步形成對獎懲的預期,產生能夠獲得最大收益的動作行為[16]。圖2為強化學習算法的示意圖。

圖2 強化學習算法原理示意圖Fig.2 Schematic diagram of reinforcement learning algorithm

圖2中,智能體可以接收來自環境的狀態和獎賞信息,智能體輸出的動作可以在環境中被執行。t時刻的狀態用st表示,動作用at表示,獎賞用r(st,at)表示。具體的交互過程為:在每個決策時刻t,智能體執行動作at,經過一個時間步長Δt后,環境進入t+1時刻,狀態由st變為st+1,智能體觀察到st+1并知曉由環境反饋回來的此時間步長內的獎賞r(st,at)。

強化學習算法的迭代計算對象為狀態和動作所對應的最大期望獎勵值函數,用Q(st,at)表示,其含義為在狀態st下執行動作at,系統將獲得的累計獎勵值[17]。通過智能體與環境之間的不斷交互,利用式(1)對Q(st,at)進行更新。

Qnew(st,at)←(1-α)Qold(st,at)+α[r(st,at)+

γmaxQ(st+1,at)]

(1)

式(1)中:Qnew(st,at)為更新后的最大期望獎勵值函數;Qold(st,at)為更新前的最大期望獎勵值函數;α為學習速率,α∈(0,1],當學習速率較大時,算法的收斂速度較快,但振蕩的風險較高,當學習速率較小時,算法的收斂速度較慢,但振蕩的風險較低;γ為折扣系數,γ∈[0,1],其含義為當前動作對未來長期獎勵的影響程度,γ越大,智能體便更加重視未來獲得的長期獎勵,反之,γ越小,智能體則短視近利,更在乎即時獎勵。

在實際的暖通空調系統中,設備和傳感器比較多,狀態的維度空間很大,且許多狀態為連續而非離散的,若計算出每一個Q(st,at),將是一項十分繁瑣復雜且低效的任務。為了解決這一問題,利用人工神經網絡對Q值函數進行估計的方法被提出[18-20]。人工神經網絡的輸入為狀態,輸出為各個動作的Q值。此類采用人工神經網絡的強化學習算法被稱為深度強化學習算法。DQN算法是一種深度強化學習算法,其搭載了兩個人工神經網絡(Q網絡和目標Q網絡)和一個經驗池。Q網絡需要被訓練以輸出最優的Q值。目標Q網絡無需被訓練,僅作為Q網絡被訓練時的標簽,其參數的更新來自固定時間步長內Q網絡參數的復制。經驗池存放了智能體與環境交互產生的經驗,在Q網絡被訓練時,這些經驗被抽取,送入Q網絡作為訓練數據。DQN算法的具體流程如圖3所示。

圖3 DQN算法流程圖Fig.3 Flowchart of DQN algorithm

考慮到空調系統運行產生的數據十分龐大復雜,室內空氣狀態為連續變量而非離散的,所以本文采用了DQN算法解決風機盤管送風量優化控制問題。

2.2 DQN算法的設計

2.2.1 輸入狀態

在基于強化學習的優化控制策略中,狀態的選取至關重要。狀態包含的影響因素越多,智能體接收到關于環境的信息就越全面,最終學習到的策略也越接近最優控制策略。但是,狀態維度的增加會導致訓練時間的加長以及智能體探索空間的擴大,存在智能體學習失敗的風險[10]。因此,在確定輸入狀態之前,需對潛在的輸入狀態及其不同的組合進行多次的實驗。

經過反復實驗之后,選取同一時刻的室內溫度和室內相對濕度經過轉換后作為DQN算法的輸入狀態,轉換公式為

(2)

(3)

式中:tem、RH分別為轉換前的溫度和相對濕度;t′em、R′H分別為為轉換后的溫度和相對濕度;式(2)的作用是當室內溫度tem處于設定上限值Tup,bo和設定下限值Tlow,bo之間時,將t′em分布于-1～1;當tem大于設定上限值Tup,bo或者小于設定下限值Tlow,bo時,將t′em線性地增加或者減少;式(3)的作用是當室內相對濕度RH處于設定上限值RHup,bo和設定下限值RHlow,bo之間時,將R′H分布于-1～1,當RH大于設定上限值RHup,bo或者小于設定下限值RHlow,bo時,RH每增加或者減少10,R′H則增加或者減少1。這樣的轉化可以使得t′em和R′H的量級相近。

2.2.2 輸出動作

DQN算法的輸出動作可以視為暖通空調系統中的可控制變量。選取風機盤管的送風量作為輸出動作。采用的風機盤管的送風量共有4個擋位,分別是關閉、低擋位、中擋位和高擋位,分別對應額定風量的0、50%、75%和100%,得到動作空間為

A=[a0,a1,a2,a3]=[0,50%,75%,100%]。

2.2.3 獎勵函數

理論上,智能體總是向著累計獎勵值最大化的方向訓練,獎勵函數充當了智能體牽引者的角色。所以,獎勵函數的設計決定了智能體訓練過程的長短以及訓練效果的優劣。針對研究目的,定義獎勵函數由溫度懲罰項和相對濕度懲罰項的負數形式表示,如式(4)～式(6)所示。

Reward=-k1ptem-k2pRH

(4)

(5)

(6)

式中:Reward為獎勵;ptem為溫度懲罰項;pRH為相對濕度懲罰項;k1為溫度懲罰項系數;k2為相對濕度懲罰項系數。

2.2.4 探索與利用機制及超參數設置

選擇ε-貪婪探索策略對更多的狀態-動作對進行探索,其中ε為隨機數。具體的流程為在訓練階段,每一個時間步產生一個隨機數,若該隨機數小于此時的εi,則智能體隨機選擇一個動作,否則智能體根據Q網絡的預測結果選擇動作。εi的計算公式為

εi=ε0-εdecaystepi

(7)

式(7)中:εi為第i代的隨機數;εdecay為衰減系數;stepi為第i個時間步;ε0為初始隨機數。

為避免無意義的探索和增強控制器的實用性,對智能體進行動作干預。在訓練階段,當室內溫度超出設定上限值2 ℃時,風機盤管采取高擋位送風量,當室內溫度低于設定下限值2 ℃時,風機盤管關閉。在測試階段,當室內溫度高于設定上限值時,風機盤管開高擋位,當室內溫度低于設定下限值時,風機盤管關閉。這樣的動作干預不僅可以避免智能體為了獲得更加合適的室內相對濕度而忽略室內溫度,還可以避免暖通空調設備的損壞。所用DQN算法的超參數設置如表1所示。

表1 超參數設置Table 1 Hyperparameter settings

2.3 算法的評價

2.3.1 訓練收斂判據

智能體的訓練需要在合適的時候退出。訓練時間過短,有可能造成智能體的學習過程未完成,學習到的經驗可靠性不足。訓練時間過長,則有可能陷入人工神經網絡過擬合的困境。因此,需要設定一個合適的收斂判據用于判斷智能體的訓練是否應該終止。選擇逐步平均獎勵值SAR作為收斂判據,其計算公式為

(8)

式(8)中:ri為第i個時間步長內的獎勵值;N為已經進行的時間步長的個數。

2.3.2 控制效果評價

為了驗證所提出的強化學習控制方法的室內溫度和相對濕度聯合控制效果,選取在工程中常用的通斷控制和基于規則的控制進行仿真對比。通斷控制的設置為當室內溫度高于或等于控制目標上限(27 ℃)時,開啟風機盤管對室內進行降溫,當室內溫度低于或等于控制目標下限(25 ℃)時,關閉風機盤管,其余情況保持送風量不變以減少風機盤管的擋位變化。基于規則的控制對室內溫度的控制預留了安全范圍[17],當室內溫度距離控制目標上限0.3 ℃時,風機盤管開啟最大風量對室內空氣進行降溫,避免室溫進一步升高,反之,當室內溫度距離控制目標下限0.3 ℃時,關閉風機盤管,避免室溫進一步降低,其余情況風機盤管開啟中擋位送風量維持室內溫度。上述控制方法的具體設置如表2所示。

表2 通斷控制和基于規則的控制的具體設置Table 2 Specific settings for on-off control and rule-based control

選取溫度滿足率φtem、相對濕度滿足率φRH、溫度和相對濕度聯合控制滿足率φtem&RH作為評價指標,其計算公式分別為

(9)

(10)

(11)

式中:ntem為室內溫度在上下限范圍內的工況點數;nRH為室內相對濕度在上下限范圍內的工況點數;ntem&RH為室內溫濕度均在上下限范圍內的工況點數;N為總工況點數。

2.3.3 敏感性分析

為了分析DQN算法的敏感性,測試不同輸入狀態組合在不同的折扣系數下對控制效果的影響。各個組合的設置如表3所示。

表3 各個組合的輸入狀態選擇Table 3 Input state selection for each combination

3 聯合仿真平臺

3.1 仿真環境的搭建

智能體需要經過訓練才能學習到行之有效的控制策略,訓練過程中智能體需要不斷地接收環境信息并給出執行動作。若將未訓練完成的強化學習算法部署于實際的建筑暖通空調系統,將有設備損壞、室內空氣狀態嚴重偏離舒適區間的風險。因此,在TRNSYS軟件中搭建仿真環境,用于智能體的訓練、算法的測試與評估。

研究對象為北京市海淀區某辦公建筑內的工會活動室,面積為116 m2,空調系統形式為風機盤管加新風系統。該辦公樓由老舊庫房改建而成,圍護結構的傳熱系數:外墻為2.266 W/(m2·K),屋頂為0.804 W/(m2·K),外窗為1.46 W/(m2·K)。內擾設置:人體發熱量為66 W/人,人員密度為0.1 人/m2,人員產濕量為0.109 kg/(h·人),人員在室率08:00—20:00為1,其余時間為0?？照{系統的設置:新風量為系統總風量的10%,采用新風處理到室內空氣焓,不承擔室內負荷;室內溫度控制目標為25～27 ℃,室內相對濕度控制目標為40%～60%;空調設置在07:00—20:00開啟,其余時間關閉,空調啟動時間比人員進入室內的時間提前了1 h是為了確保當人員進入房間時,室內溫度處于合適的范圍內,提高人員的熱舒適性。仿真時間步長設置為12 min。在SketchUp軟件中建立建筑的幾何結構,如圖4所示。

圖4 建筑的幾何結構Fig.4 The geometry of the building

3.2 TRNSYS-Python聯合仿真平臺的開發

提出的DQN控制算法由Python語言實現,借助免費開源的深度學習庫TensorFlow完成人工神經網絡的搭建和訓練。

為了實現TRNSYS與控制器之間的實時交互,采用基于文件的數據傳遞方式?？刂破鲗⒖刂苿幼鲗懭?in文件,然后TRNSYS借助本研究自定義模塊讀取該.in文件并執行對應的動作,到達下一個仿真時間步后,TRNSYS將環境的狀態寫入.out文件,由控制器讀取該文件。為保證TRNSYS軟件與基于Python的控制器這兩個進程的時間同步問題,本研究在Python環境中自定義文件鎖用于控制Python代碼和TRNSYS模擬計算的先后次序,實現跨進程計算和數據同步。結合上述DQN算法的設計和TRNSYS軟件與強化學習控制器之間的實時交互,提出的TRNSYS-Python聯合仿真平臺的整體架構如圖5所示。

s為當前狀態;a為采取的動作;s′為下一時刻的狀態;rv為獎勵值

4 仿真結果對比與分析

4.1 DQN算法仿真結果分析

選取7月1日00:00—7月15日00:00作為訓練時間段,訓練過程的逐步平均獎勵值曲線如圖6所示。

圖6 訓練過程逐步平均獎勵值曲線Fig.6 Stepwise average reward curve during training

由圖6可知,在約前300步內,智能體不斷與環境交互并學習產生的經驗,這段時間內逐步平均獎勵值迅速爬升。300步之后,智能體已經初步完成學習,繼續與環境交互,學習更多的經驗,逐步平均獎勵曲線在小范圍內上下波動。

將訓練好的模型在8月1日00:00—8月31日00:00進行測試,對測試時間段內的仿真結果進行統計,結果如表4所示。

表4 強化學習控制器控制效果Table 4 The control effect of reinforcement learning controller

選取典型日(8月2—5日)的室內空氣狀態進行繪制,結果如圖7所示。

圖7 室內空氣狀態Fig.7 Indoor air status

由圖7可知,強化學習控制器對室內溫度進行動作干預,使得室內溫度處于舒適范圍附近,保證了空調設備的正常運行,避免了設備的損壞。當室內溫度處于舒適范圍內時,智能體可以自行選擇風機盤管的擋位進行送風,以達到更佳的溫度和相對濕度聯合控制滿足率。

4.2 不同控制方法仿真結果對比與分析

為了進一步驗證強化學習控制器的溫度和相對濕度聯合控制效果,選取通斷控制和基于規則控制進行仿真對比。不同控制方法下,室內溫度和相對濕度的仿真結果如圖8～圖10所示。

圖8 不同控制方法下室內溫度分布的平均值和方差Fig.8 Mean and variance of indoor temperature distribution under different control methods

圖9 不同控制方法下室內相對濕度分布的平均值和方差Fig.9 Mean and variance of indoor relative humidity distribution under different control methods

圖10 不同控制方法效果對比Fig.10 Effect comparison of different control methods

由圖8～圖10可知,在室內溫度控制方面,3種通斷控制方法下,室內溫度分布的平均值更偏向于控制目標的平均值,為26 ℃,而基于規則的控制和強化學習算法控制這兩種方法下,室內溫度分布的平均值更偏向于2 5 ℃,低于控制目標的平均值,但仍在控制目標范圍之內。在室內相對濕度控制方面,五種控制方法下,室內相對濕度分布的平均值均大于控制目標的平均值,即50%,強化學習算法控制的偏高程度最小,其室內相對濕度分布的平均值為59.6%。對測試時間段內的典型年氣象文件進行數據分析,可以發現在該時段內出現了較多陰雨天,陰雨天的室外大氣相對濕度較高,從而使得室內相對濕度也隨之升高。由方差統計結果可知,在強化學習算法控制方法下,室內溫度和相對濕度分布的方差最小,即該控制方法下的室內溫度和相對濕度分布相較于其他控制方法更加集中。綜合來看,提出的強化學習算法可以實現在略微損失室內溫度舒適性的情況下,較大幅度地提高室內相對濕度舒適性,從而使得總的室內溫度和相對濕度聯合控制效果提升。

由圖10可知,對于室內溫度滿足率,通斷低擋方法的控制效果最佳,為85.8%,基于規則的控制方法的效果最差,為70.2%。對于室內相對濕度滿足率,強化學習方法的控制效果最佳,為54.8%,通斷高擋控制方法的效果最差,為34.5%。而對于室內溫度和相對濕度聯合控制滿足率,強化學習方法的控制效果最佳,為48.9%,比基于規則的方法的控制效果提升了9.5%,比通斷低擋方法的控制效果提升了12.6%,比通斷中擋方法的控制效果提升了19.7%,比通斷高擋方法的控制效果提升了23.0%。

5 討論

為了探究所提控制算法的敏感性,對表3中的輸入狀態組合進行仿真測試。測試結果如圖11所示。

圖11 各組合測試結果Fig.11 Test results of each combination

由圖11可知,對于組合1和組合2,γ=0.1時聯合控制效果最佳,對于組合3,γ=0.5時聯合控制效果最佳,對于組合4,γ=0.7時聯合控制效果最佳。隨著輸入狀態數的增加,最佳聯合控制效果對應的折扣系數γ也隨之增大。這與折扣系數γ的含義相符,即當輸入狀態越多,則需要智能體越重視長期獎勵,當輸入狀態越少,則需要智能體更加短視。組合1、組合2和組合3在不同折扣系數γ下的聯合控制效果比較穩定,波動較小,而組合4在不同折扣系數γ下的聯合控制效果穩定性較差,控制效果出現了振蕩。由此可見,雖然輸入狀態的增加可以使智能體更全面地接收到系統的信息,但這也增加了智能體的學習成本以及學習效果不收斂的風險。因此,輸入狀態的選擇對于智能體的學習至關重要,這也決定了最終的控制策略是否有效。

6 結論

提出一種基于動作干預的強化學習控制方法,并設計了其輸入狀態、獎勵函數、智能體探索與利用機制。然后,以采用風機盤管加新風系統的北京某辦公建筑為研究對象,開發TRNSYS-Python聯合仿真平臺,對所提方法的控制效果進行了驗證,得到以下結論。

(1)利用基于文件的數據傳遞方式,開發TRNSYS-Python聯合仿真平臺,其可以在仿真環境中更加方便地訓練智能體、測試和評估復雜的強化學習算法的性能。

(2)基于動作干預的DQN算法不僅在訓練階段可以減少訓練時間、節約計算成本,還能夠在測試階段增加算法部署的安全性。從本文仿真結果來看,該算法可以實現更佳的建筑室內溫度和相對濕度聯合控制效果,與傳統的基于規則的控制、通斷低擋控制、通斷中擋控制和通斷高擋控制相比,可以將溫度和相對濕度聯合控制滿足率分別提升9.5%、12.6%、19.7%和23.0%。

(3)輸入狀態的選擇和超參數的設置至關重要。輸入狀態數越多,智能體接收到關于環境的信息就越全面,最終學習到的策略也越接近最優控制策略。但是,輸入狀態數的增加有可能導致智能體學習失敗、學習效果不收斂。在同一輸入狀態下,不同的超參數設置也影響著智能體的學習效果。當超參數處于合適的范圍時,算法的魯棒性較好,當超參數超出合適的范圍時,算法的性能將受到影響。

因此,所提的控制方法可以在損失較少室內溫度舒適性的情況下,較大幅度地提高室內相對濕度舒適性,能夠較好地實現室內溫度和相對濕度的聯合控制,可以為建筑熱舒適研究提供新方法。對于室內溫度和相對濕度均有特定要求的建筑類型和場景,本文方法具有工程應用價值。

利用強化學習算法對暖通空調系統進行優化控制是十分復雜的問題,因此本次研究存在一定的局限性,未來的研究可以以此開展。所涉及的建筑和暖通空調系統相對簡單,沒有涉及多區域之間的熱濕傳遞,強化學習算法在高度耦合、非線性的系統中將展現更佳的算法性能,因此,未來將強化學習算法應用于復雜的暖通空調系統是一項具有挑戰性的工作。出于設備安全的考慮,所提的控制算法暫未部署于實際的暖通空調系統,未來將強化學習算法部署于真實的系統中并對其進行評估是一項意義重大的工作。