一種基于強(qiáng)化學(xué)習(xí)的商業(yè)建筑能量管理方法

楊雯婷，郁進(jìn)明

（東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620）

0 引 言

作為智能電網(wǎng)的大型消費(fèi)者，商業(yè)建筑物可能會消耗超過35%的電力，其中40%～50%的耗能歸結(jié)于供暖、通風(fēng)和空調(diào)系統(tǒng)[1]，導(dǎo)致建筑運(yùn)營商要承受較大的經(jīng)濟(jì)負(fù)擔(dān)。在保障整個(gè)商業(yè)建筑內(nèi)的人群能夠享受舒適環(huán)境的前提下，暖通空調(diào)可以靈活地調(diào)整功耗，進(jìn)而降低建筑經(jīng)濟(jì)成本。

目前，已經(jīng)有一些關(guān)于商業(yè)建筑中與暖通空調(diào)系統(tǒng)相關(guān)的功耗和人群熱舒適度管理的研究。Mantovani 等[2]利用模型預(yù)測控制（Model Predictive Control, MPC）來實(shí)現(xiàn)商業(yè)建筑中暖通空調(diào)的功耗最小化；Yu 等[3]提出了一種基于DDPG（Deep Deterministic Policy Gradient）的能量管理算法來聯(lián)合調(diào)度電池儲能系統(tǒng)和暖通空調(diào)系統(tǒng)；Li 等[4]提出了一種基于信任區(qū)域策略優(yōu)化的需求響應(yīng)策略，用于優(yōu)化家用電器的調(diào)度。然而，由于建筑系統(tǒng)的復(fù)雜性（如傳感器的數(shù)量和位置、人體熱效應(yīng)的影響），基于傳感的任務(wù)環(huán)境控制系統(tǒng)大多無法捕捉到居住者的“真實(shí)舒適度”[5]。為了量化人類的熱舒適度，F(xiàn)anger 開發(fā)了預(yù)測平均票數(shù)指數(shù)，用經(jīng)驗(yàn)法擬合感覺來建立熱平衡模型，并被標(biāo)準(zhǔn)化[6]。PMV 指數(shù)的范圍從-3 ～3，分別對應(yīng)于人類從冷到熱的感覺，其中PMV指數(shù)為0 時(shí)表示中性。圖1 顯示了PMV 值及相應(yīng)的舒適度。

圖1 ASHRAE 標(biāo)度

基于上述內(nèi)容，本文的主要貢獻(xiàn)如下：（1）提出了一種基于A3C（Asynchronous Advantage Actor-critic）強(qiáng)化學(xué)習(xí)的商業(yè)建筑能源控制算法；（2）在解決能源最小化問題時(shí)，考慮到了建筑的水力平衡和人群熱舒適度。

1 暖通空調(diào)的商業(yè)建筑能量管理模型

本文考慮一個(gè)配備有光伏發(fā)電、電池儲能系統(tǒng)、不可轉(zhuǎn)移的用戶負(fù)荷和暖通空調(diào)的商業(yè)建筑，如圖2 所示。一個(gè)典型的商業(yè)暖通空調(diào)系統(tǒng)包括3 個(gè)子系統(tǒng)：加熱系統(tǒng)、通風(fēng)系統(tǒng)和空調(diào)系統(tǒng)。電熱鍋爐被廣泛用于建筑采暖系統(tǒng)，它利用熱水與風(fēng)機(jī)盤管單元（FCU）進(jìn)行熱交換，以保持室內(nèi)溫度。通風(fēng)系統(tǒng)和空調(diào)系統(tǒng)包括一個(gè)空氣處理單元（AHU）和一組可變風(fēng)量（VAV）箱。AHU 是由一個(gè)冷卻/加熱盤管和一個(gè)變頻驅(qū)動（VFD）風(fēng)扇組成。冷卻/加熱盤管對混合空氣進(jìn)行冷卻/加熱，而VFD 風(fēng)扇可以將混合空氣輸送到VAV 箱。因此室內(nèi)溫度可以由AHU 系統(tǒng)的加熱系統(tǒng)和加熱盤管來調(diào)節(jié)。

圖2 商業(yè)建筑系統(tǒng)模型

能量供給模型：假設(shè)建筑物的電力供應(yīng)由3 部分組成，即電網(wǎng)光伏發(fā)電和電池儲能系統(tǒng)。可再生能源發(fā)電單元與環(huán)境條件密切相關(guān)，具有高度的不確定性；電池儲能系統(tǒng)受容量和充放電功率限制，約束如下：

熱舒適模型：PMV（Predicted Mean Vote）被廣泛地用作熱舒適指數(shù)，它表示一群人在標(biāo)準(zhǔn)范圍內(nèi)的平均熱感覺投票[6]。PMV 由與室內(nèi)空氣和人體狀況相關(guān)的6 個(gè)熱變量定義，包括空氣溫度、空氣濕度、空氣流速、平均輻射溫度、衣服保溫能力和人體活動量，表達(dá)式為：

然而，平均輻射溫度、衣物保溫能力和人體活動量通常不適合在建筑物內(nèi)進(jìn)行控制。因此，暖通空調(diào)可以通過溫度、濕度和空氣流速來確定熱舒適指數(shù)，而室內(nèi)空氣的溫度、濕度和風(fēng)速可以由供暖系統(tǒng)和空氣處理單元來調(diào)節(jié)，即調(diào)節(jié)供暖管道的閥門和暖通空調(diào)的設(shè)定點(diǎn)溫度（本文假設(shè)足夠大的空間內(nèi)空氣流速不變）。室內(nèi)溫度受建筑與外界的熱量交換[7]和HAVC 系統(tǒng)影響。故溫度的動態(tài)變化可表示為：

水力平衡系統(tǒng)：在建筑暖通空調(diào)水系統(tǒng)中，通過增加泵的揚(yáng)程，并使用調(diào)節(jié)閥來相應(yīng)地調(diào)整系統(tǒng)的流量分布。定壓差技術(shù)是變流量系統(tǒng)的核心技術(shù)，可以實(shí)現(xiàn)動態(tài)水力平衡[9]。水力不平衡度是指建筑物熱力入口處的實(shí)際循環(huán)流量與設(shè)計(jì)循環(huán)流量之比（流量比），可表示為：

實(shí)際流量可由壓差平衡閥的閥口開度控制，表示為：

式中：δt為壓差平衡閥的閥口開度；f為閥口開度與流量的相關(guān)函數(shù)[10]。

暖通空調(diào)功率模型：暖通空調(diào)功率消耗主要為3 個(gè)部分，分別為管道系統(tǒng)的驅(qū)動電機(jī)功率、電鍋爐功率、供氣扇的功率，可以表示為：

式中：PSF和PEM為AHU中的變頻驅(qū)動風(fēng)扇（Variable Frequency Drive, VFD）和風(fēng)機(jī)盤管的電機(jī)功率；和[11]分別為電鍋爐和空氣處理單元t時(shí)隙所消耗的功率。

功率平衡模型：系統(tǒng)的功率平衡模型為由電網(wǎng)、可再生能源發(fā)電和電池儲能系統(tǒng)提供的電力總和等于不可轉(zhuǎn)移負(fù)載和暖通空調(diào)消耗的功率，即：

優(yōu)化問題：本文將最小化商業(yè)建筑經(jīng)濟(jì)成本作為優(yōu)化目標(biāo)，表達(dá)式為：

2 基于A3C 的商業(yè)建筑能量管理算法

本章提出了基于A3C 的商業(yè)建筑能量管理算法[12-13]，將深度強(qiáng)化學(xué)習(xí)算法用于商業(yè)建筑能量管理系統(tǒng)。暖通空調(diào)和電池儲能系統(tǒng)根據(jù)當(dāng)前室內(nèi)外溫度、濕度、電價(jià)等信息調(diào)整空調(diào)設(shè)定溫度、壓差平衡閥開度及電池充放電功率，從而在滿足人群熱舒適度和管道水力平衡的條件下，最小化建筑的經(jīng)濟(jì)成本。

2.1 算法框架

建筑能量管理系統(tǒng)（Building Energy Management System, BEMS）觀測到當(dāng)前時(shí)隙t的環(huán)境狀態(tài)為：

BEMS 根據(jù)當(dāng)前狀態(tài)，調(diào)整暖通空調(diào)設(shè)定溫度、壓差平衡閥開度及電池充放電功率來控制熱舒適度和經(jīng)濟(jì)成本，即BEMS 動作表示為：

BEMS 執(zhí)行動作后環(huán)境狀態(tài)st轉(zhuǎn)為st+1，并獲得獎勵rt。由于我們的目標(biāo)是在保持熱舒適指數(shù)PMV 和水力不平衡度的情況下，使建筑的能源成本最小化，所以BEMS 的獎勵函數(shù)與3 個(gè)部分有關(guān)，即成本懲罰、溫度偏差懲罰和水力不平衡懲罰。其中，成本懲罰表達(dá)為：

溫度偏差懲罰表達(dá)為：

水力不平衡懲罰表達(dá)為：

最終得出獎勵函數(shù)：

下面建立商業(yè)建筑經(jīng)濟(jì)成本優(yōu)化的A3C 學(xué)習(xí)模型。基于AC（Actor-Critic）模型，利用優(yōu)勢函數(shù)A將Critic 評估點(diǎn)發(fā)展為A2C（Advantage Actor Critic）。在A2C 的基礎(chǔ)上，A3C 算法在訓(xùn)練時(shí)分為主線程和多個(gè)子線程，每個(gè)子線程都可看作一個(gè)A2C，分別與各自環(huán)境交互學(xué)習(xí)，然后將各自學(xué)習(xí)到的參數(shù)更新到主線程，并從主線程拉取最新參數(shù)進(jìn)入下一次學(xué)習(xí)。A2C 的優(yōu)勢函數(shù)可表示為：

動作值函數(shù)由Critic 網(wǎng)絡(luò)學(xué)習(xí)得到，并使用梯度上升更新策略參數(shù)。

2.2 算法實(shí)現(xiàn)流程

由于實(shí)際建筑系統(tǒng)中的不確定性、時(shí)空耦合、非凸目標(biāo)函數(shù)和非凸約束，解決上述成本最小化問題極具挑戰(zhàn)性。本文引入A3C 算法學(xué)習(xí)建筑的能量管理，BEMS 通過調(diào)控空調(diào)設(shè)定溫度、壓差平衡閥閥口開度來保證人群熱舒適度和建筑的水力平衡，通過調(diào)節(jié)電池儲能系統(tǒng)的充放電功率來使建筑的經(jīng)濟(jì)成本最低。A3C 算法子線程學(xué)習(xí)的偽代碼見表1所列。

表1 A3C 子線程能量管理算法偽代碼

3 仿真結(jié)果與分析

在本章的仿真實(shí)驗(yàn)中，對比基于A3C 的能量管理算法和兩種基算法的性能指標(biāo)。基線1 為ON/OFF 策略[13]，當(dāng)滿足熱舒適度的條件時(shí)關(guān)閉暖通空調(diào)，否則開啟；基線2 為基于A3C 的不帶電池儲能系統(tǒng)的能量管理算法。

3.1 仿真參數(shù)

本仿真實(shí)驗(yàn)使用Python 編譯器，通過TensorFlow 模塊編寫算法。模擬了真實(shí)的實(shí)時(shí)電價(jià)、可再生能源發(fā)電、不可轉(zhuǎn)移負(fù)載、戶外溫度、太陽輻射量等數(shù)據(jù)。該算法在主線程訓(xùn)練5 000 個(gè)回合，子線程每個(gè)回合運(yùn)行240 個(gè)時(shí)間步。表2 給出了仿真需要的參數(shù)[14-15]。

表2 仿真參數(shù)

3.2 仿真結(jié)果

本文評估了基于A3C 的能量管理算法的收斂性。在圖3中，主線程中每一次學(xué)習(xí)的累積折扣獎勵是逐漸增加的。同時(shí)由于Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)的學(xué)習(xí)率分別被設(shè)定為0.000 1和0.001，故累積折扣獎勵有一定的波動性，但主線程的累積折扣獎勵整體呈現(xiàn)出一條先增加后平穩(wěn)的曲線，這就是所提算法的收斂過程。

圖3 累計(jì)獎勵與回合數(shù)變化關(guān)系

圖4 所示結(jié)果表明了本文所提算法的有效性。圖4（a）為本文所提算法和兩基線的平均經(jīng)濟(jì)成本，可以得到所提算法相比于基線1、基線2 在經(jīng)濟(jì)成本上分別降低了9.15%和4.21%。圖4（b）中數(shù)據(jù)為某個(gè)子線程熱舒適指標(biāo)PMV的變化，可以看出前期所提算法和兩種基線算法都能有效控制PMV，但在后期基于A3C 的本文所提算法和基線2 能比基線1 更好地控制熱舒適度。

圖4 三種策略的比較

4 結(jié) 語

本文提出了一種基于A3C 的商業(yè)建筑能量管理系統(tǒng)，該系統(tǒng)由電網(wǎng)、可再生能源、電池儲能、用戶負(fù)載和暖通空調(diào)組成。本文的目標(biāo)是在滿足熱舒適度和水力失衡度的約束下，最小化商業(yè)建筑的經(jīng)濟(jì)成本。為了解決這一問題，本文提出了一種基于A3C 的深度強(qiáng)化學(xué)習(xí)能量管理算法。通過靈活控制HVAC 系統(tǒng)和BESS，在滿足建筑中水力平衡和人群的熱舒適度的同時(shí)最小化經(jīng)濟(jì)成本。基于真實(shí)世界數(shù)據(jù)的模擬結(jié)果證明了所提算法的有效性。在未來的工作中，將考慮更合理的熱舒適度模型、更多類型的可控負(fù)荷（如電熱水器）和更合理的建筑熱源（如地源熱泵、水源熱泵）。