基于生成對抗網絡的深度Q學習能耗預測算法

劉青松 戴大東 章挺飛 張大龍

摘要：針對基于生成對抗網絡的Q學習能耗預測算法中，將傳統Q學習算法，應用于大狀態空間存在收斂速度慢以及非線性條件下能耗預測性能較差的問題，提出一種基于生成對抗網絡的深度Q學習能耗預測算法（DeepQ-LearningEnergy Con-sumption Prediction algorithm Based on Generative Adversarial Networks，DGQL）。該算法引入深度神經網絡，通過構建深度Q網絡作為非線性函數逼近器去近似表示動作值函數，并利用深度Q網絡值函數近似的方法解決傳統Q學習算法在大狀態空間中算法收斂速度慢的問題。實驗結果表明，在引入深度Q網絡值函數近似方法后，能耗預測的精度顯著提高。

關鍵詞：深度Q學習;生成對抗網絡;建筑能耗;函數逼近器

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2019）32-0069-03

1概述

近年來，由于我國經濟的飛速發展，隨之建筑業也快速發展，由此建筑高能耗帶來的問題日益凸顯，因此，進行以節能減耗為目標的能耗預測研究顯得尤為重要。通過分析能耗預測的結果，能夠有效地提高能耗管理效率，解決建筑高能耗帶來的問題。中國是能源消耗最大的發展中國家，大型公共建筑單位能耗相對于居住建筑能耗要高出十多倍，所以在不斷發展經濟的同時，應該通過低碳轉型以及節能減排等方式，尋求可持續發展道路。目前，我國建筑領域所造成的能源消耗已經占到了社會總能好的三分之一，是節能減排三大領域能耗占比做高的領域。因此，建筑領域的節能是實現節能減排的關鍵，而建筑能耗預測是實現建筑節能的重要前提。

大型公共建筑不斷增加，由此帶來的建筑能耗也快速增加，相比較工業領域和交通，建筑領域由于具有占地面積大、內部結構復雜等特點，所以其能源消耗總量更大。2017年方濤濤等人針對傳統神經網絡預測精度存在低的問題，提出了一種基于BP-Adaboost的能耗預測算法，該算法由多個訓練神經網絡所得的弱預測器組成，然后集合為強預測器，實驗結果表明該算法預測速度快、預測精度高。YU z等人將傳統Q學習應用與預測建筑物內部極為重要的能源系統，通過預測能源系統的能耗分布，然后在線控制各個子系統的能耗，從而使得整個能源系統處于高效、低能耗狀態。但是，生成對抗網絡的Q學習在解決能耗預測方面還有很多不足之處。

本文針對基于生成對抗網絡的Q學習能耗預測中，傳統Q學習應用與大狀態空間收斂速度慢，且在非線性條件下能耗預測性能較差的問題，提出一種基于生成對抗網絡的深度O學習能耗預測算法。該算法引入深度神經網絡，構建深度Q網絡作為非線性函數逼近器去近似表示動作值函數，用值函數近似的方法解決Q學習算法在大狀態空間中算法性能較差的問題。實驗結果表明，引入深度Q網絡以及值函數近似方法后，能耗預測的精度顯著提高。

2理論部分

2.1值函數近似

值函數近似是最常用、最重要的近似形式之一。由于其函數構造方式簡單，計算量小，近年來，值函數近似在深度Q學習中得到廣泛的應用。本文采用值函數近似來構造動作值函數（Q值函數）。如式（1）所示：

通過值函數近似的方法，可以表示出每個時刻的動作值函數，且不需要記錄。通過神經網絡來預測動作值函數即可，并通過反向梯度下降的方法來更新參數，從而實現逼近真實動作值函數，并且值函數近似方法針對未知的狀態也有比較強的泛化能力。

2.2深度Q網絡

神經網絡最早在20世紀四十年代被提出，可以實現一些簡單邏輯運算，直到2015年，Mnih等人將卷積神經網絡和傳統強化學習中的Q學習結合，提出了深度Q網絡（DeepQ-Network，DQN）模型。

DQN模型為全連接層的神經網絡，輸人為若干時刻的能耗大小，然后經過全連接層的非線性變換，在輸出層輸出的值作為動作的動作值。通過訓練神經網絡的參數，將動作值函數用值函數近似方法表示，避免傳統Q學習算法在大狀態空間存在收斂速度慢，性能差的問題。

2.3生成對抗網絡

生成對抗網絡（Generative Adversarial Networks，GAN）是一種生成式模型，目前已經成為人工智能學界一個熱門的研究方向。GAN靈感自于博弈論中的二人零和博弈，在GAN模型中，博弈雙方為生成器模型G和判別器模型D。其中生成器G用于學習真實樣本數據的分布，生成器G為接收隨機噪聲z，然后以此生成樣本，目的是生成與真實樣本分布相同的樣本。

GAN的模型圖如圖1示：生成器模型G與判別器模型D利用可微分函數表示，各自的輸入分別為隨機噪聲z和真實數據xo。G（x）表示由生成器模型G生成的盡量服從真實數據分布的樣本。判別器模型D分別對數據來源進行判別，如果判別出輸人的數據來源于真實數據，則給予標簽1，如果輸入數據來源于生成器G，給予標簽0。通過學習，使得生成器與判別器相互對抗且迭代優化，最終可以認為生成器模型G已經學習到真實數據分布。

該算法具體流程如算法1所示，真實能耗數據儲存于真實能耗樣本池D1，真實能耗樣本用于訓練GAN，然后GAN生成的能耗樣本儲存于虛擬樣本池D2，兩個樣本池共同提供樣本給agent用于訓練，每次從兩個樣本池中共抽取mini-match個樣本，然后采用小批量梯度下降的方法訓練深度神經網絡，以此逼近真實動作值函數，尋找最優策略，最優策略是agent在每個狀態采取的最優動作集合，即能耗預測值集合。

算法1基于生成對抗網絡的深度Q學習能耗預測算法

4實驗結果分析

為了驗證基于生成對抗網絡深度Q學習能耗預測算法，建筑能耗的實驗數據來自美國巴爾的摩天燃氣與電力公司，源數據的值域空間為[15，60]，因此，在此能耗預測模型中，輸人值與輸出值的值域設為xiangto哪個的【15，60】，學習率為0.95，mini-batch=32。

圖2為GQL算法與DGQL算法累積獎賞對比圖。橫坐標表示時間，縱坐標表示不同情節下的累積獎賞值。在實驗過程中，每個算法都被獨立執行20次，圖中的數據即20次實驗的平均值。從圖2中可以看出，兩個算法最終都能處于收斂狀態，因此，兩種算法穩定性都較好。同時，GQL算法在65個情節處于收斂，而DGQL算法在90個情節處于收斂，收斂獎賞分別為一75與47，這主要是由于DGQL算法需要訓練深度神經網絡，構造非線性函數逼近器去近似表示動作值函數，訓練過程需要更多的訓練時間，所以收斂更慢，但是DGOL算法通過訓練神經網絡來逼近動作值函數，可以避免迭代式求解帶來的計算代價。同時，由于GAN生成經驗樣本，保證DGQL算法有充足的樣本用于訓練深度神經網絡。所以，DGQL算法最終的收斂值比GQL算法更小，真實能耗值與預測能耗值兩者之間的差距更小。綜上所述，DGQL算法的整體性能更好，預測準確率更高。5總結

本文提出的一種基于生成對抗網絡的深度Q學習能耗預測方法，該算法在傳統Q學習的基礎上引人深度Q學習，用值函數近似的方法構建非線性函數逼近器來近似表示動作值函數，解決Q學習在大狀態空間中算法性能較差、甚至無法收斂的問題，實驗結果表明，將DGQL算法應用于能耗預測是有效的，相比較于GQL算法，DGQL算法的能耗預測準確率更高。