基于深度Q學習的強魯棒性智能發電控制器設計

殷林飛，余 濤

(華南理工大學 電力學院，廣東 廣州 510640)

0 引言

隨著互聯電網智能化的發展(即智能電網(smart grids)[1])，參與自動發電控制AGC(Automatic Gene-ration Control)二次調頻的機組在不斷動態變化，從而逐漸發展了智能發電控制SGC(Smart Generation Control)技術[2]。與此同時，各種新能源和間歇性能源的接入，也給智能電網的控制問題帶來了新的挑戰，不僅外部擾動不斷變化，而且系統內部參數也在不斷變化。

對于SGC，依賴于模型的最優策略或算法不能應用于動態模型中，主要在電網環境方面(間歇性新能源的加入[3- 4]、電動汽車的接入給電網帶來了較大挑戰)[5-6]、電力市場(供求關系、市場實時電價與控制區域之間的博弈)、運行方式(運行方式切換時容易引起頻率振蕩)、控制策略(不同區域的協調控制問題，要從系統的角度去協調控制，而不是單個區域的控制策略最優)和控制目標方面(同時滿足控制性能、經濟性和環保等多目標最優)存在問題[2]。針對控制策略問題，目前有強化學習、改進的強化學習(如Q(λ)算法[7]和R(λ)算法[8])、人工神經網絡ANN(Artificial Neural Network)[9-12]等算法。雖然這些智能控制算法能應對不同類型的外部擾動，但是當系統內部參數變化時，智能控制算法需要學習的時間較長，因此有學者采用模型參數辨識的方法進行研究[13]。然而該參數辨識一般是應用簡單模型建立的參數辨識，當模型復雜、不清楚各個環節的大致模型、無法獲取系統有多少環節、有多個參數需要辨識時，該參數辨識方法則有待深入研究。

而在智能控制算法領……