人工智能在分布式儲能技術中的應用

霍龍，張譽寶，陳欣*

（1.西安交通大學電力設備電氣絕緣國家重點實驗室新型儲能能量轉換納米研究中心，陜西省 西安市 710049；2.西安交通大學電氣工程學院，陜西省 西安市 710049）

0 引言

為順利實現2030年的“碳達峰”和2060年的“碳中和”目標，發展以可再生、分布式、聯起來、開放式、融進去為特征的能源互聯網至關重要[1]。分布式儲能是有效改善間歇性可再生能源功率波動、能量供需平衡以及電壓/頻率穩定性等問題的關鍵支撐技術之一。同時，隨著電氣廣域量測技術的發展和外部信息(環境、氣象、社會等)等大量數據的接入，各環節全面數字化和調控體系高度智能化推動了人工智能(artificial intelligence，AI)在電力系統中的廣泛應用。將人工智能應用于分布式儲能的建模、分析和控制已成為近年來的熱點研究方向。

分布式儲能是一種容量小且普遍靠近負荷側的儲能配置形式，常應用于中低壓配電網及智能微電網中。相較于集中式儲能，分布式儲能安裝地點靈活、投資費用低，功率介于幾千瓦至幾兆瓦之間，持續放電時間較短，且容量一般不大于10 MW·h[2]。近年來，國內外政府、企業已展開分布式儲能的工程項目實踐和配套政策制定。2018年，由國網江蘇省電力有限公司主導實施的全國最大規模用戶側分布式儲能項目正式在鎮江新區落地，總投資金額達5億元，充電功率合計3.15萬kW，電池容量合計25.2萬kW·h[3]。2020年，美國特斯拉公司開發了電池儲能管理軟件平臺Autobidder，該平臺融合了機器學習、優化算法等技術，其目標是最大化用戶利益，在市場環境下根據不同用戶的需求以及風險大小進行電池組運行優化[4]。2022年，加拿大政府和洛克希德·馬丁公司投資1 900萬美元用于太陽能+儲能項目，太陽能板和電池產生的電能將輸入到阿爾伯塔互聯電網系統，補償電網高峰供電需求[5]。澳大利亞分布式光伏以及集中式可再生能源發展迅速，推動了數萬套配套分布式光伏的小型家用儲能系統的安裝，澳大利亞能源市場委員會于2021年發布規則草案，允許電網公司在網絡阻塞時對用戶上網電量進行收費，這進一步激發了市場對家用儲能的需求[6]。截至2020年年底，德國的光伏電池儲能系統已經超過5萬臺，由于德國電池儲能系統和光伏系統價格下降，上網電價下降，銷售電價上升，光伏電池儲能系統具有良好的經濟性[7]。

分布式儲能類型多樣，內部的物理和化學反應機理復雜，且需要協同運行，加之配套的高比例可再生能源和高比例電力電子裝備等設備，使得儲能具有系統強非線性、不確定性和時空尺度多樣性等復雜技術特征。傳統基于數學模型的儲能系統分析和控制手段需要獲取系統內部具體的參數和狀態，但實踐過程中精確的參數辨識較為困難，很多狀態往往不可觀測，此外，大規模、多尺度和高維的數值模擬仿真也對算力提出了較高要求。作為數據驅動方法代表，人工智能及其相關的大數據、云計算和先進傳感計算技術有望成為解決分布式儲能建模、分析和控制的新型解決方案，從而避免復雜的數學建模過程，提升計算效率和準確性。

針對人工智能在分布式儲能技術中的應用問題，本文簡要回顧了人工智能在電力領域的發展歷程及其在分布式儲能技術中的應用適配性，歸納總結了人工智能在微電網、智能樓宇和車網協同(vehicle-to-grid，V2G)3種不同尺度場景下的分布式儲能中的具體應用方向和研究成果，并對未來人工智能在分布式儲能中的應用前景進行了展望，以期為分布式儲能的智能化研究和發展提供有益參考。

1 人工智能技術

人工智能是一種機器系統，對于人為給定的目標，可以做出影響真實或虛擬環境的預測、建議或決策。作為智能機器系統，人工智能嘗試去理解人類智能的實質，像人那樣思考，并且可能超過人的智能[8]。電力行業是人工智能的重要應用發展領域。在構建新型電力系統的過程中，各環節全面數字化和調控體系高度智能化成為其主要技術特征，體現了電力系統對人工智能技術的需求性。智能傳感芯片、通信技術與物聯網、邊緣計算與云邊融合等是新型電力系統正在發展的共性關鍵技術，將有力支撐人工智能在電力系統中的落地部署。

人工智能在電力系統中的應用方向可總結為分類、擬合和優化三大類問題。就具體場景而言，人工智能已應用于負荷和新能源發電預測[9-10]、暫態穩定性分析[11]、電力設備故障診斷[12]、電網優化運行[13]和儲能控制方法[14]等多種不同場合。從20世紀80年代開始，人工智能在電力系統的早期研究集中在專家系統的應用，例如：電氣操作票的自動開出和校核[15]。專家系統對數據量需求小，但知識獲取依賴領域專家的經驗，自主學習能力差。同期相關技術還包括形式簡單的反向傳播(back propagation，BP)人工神經網絡[16]。受限于當時電力系統的數據采集存儲和算力瓶頸，BP人工神經網絡訓練所需樣本短缺，且無法滿足在線使用需求。隨著電力系統中先進通信和計算機硬件技術的不斷更新發展，以及海量電力大數據的積累，新一代人工智能由傳統知識表示轉向深度、自主知識學習，深度學習成為電力系統近期研究熱點[17]。

目前，人工智能在電力系統中的應用研究已經廣泛涵蓋了網、源、荷、儲各個環節，未來分布式電源替代出力不確定性和電動汽車(electric vehicle，EV)的時空不確定性將帶來更多隨機性。傳統分析方法在調度、交易、管理等方面將面臨諸多挑戰，人工智能將是解決這一類問題的有力措施[18]。特別是在儲能側，人工智能技術在其建模、分析和控制應用中適配性高，具體體現為：1）儲能設備內部物理和電化學機理復雜，傳統數學模型法難以完整且準確地描述多變的真實工況[19]，而人工智能則是以數據驅動方法構建儲能模型，將儲能視作“黑箱”系統進行輸入與輸出的關系擬合，這個過程中僅需儲能外部端口的電壓、電流等可觀測變量，即可重構系統內外的復雜映射關系；2）儲能類型多樣，具有多時空尺度特點，且常與電力電子設備耦合，在進行穩定性和暫態響應分析時，一般使用數值積分法和實驗分析，但算力和成本代價要求高，當可以獲取足夠多的數據作為樣本時，人工智能能夠高效率、低成本地深度挖掘儲能的靜態和動態特性，實現穩定性能分析；3）大規模、分布式儲能的協調控制是一個多變量、多目標的時序控制問題，經典優化方法、基于規劃的方法和啟發式算法難以求解。人工智能中的深度強化學習(deep reinforcement learning，DRL)主要優點是不依賴于先驗知識，可以滿足實時調度要求，將儲能協調控制轉化為動態規劃問題，通過數據和環境交互，實現價值函數的不斷優化，表現出高效、準確的求解性能。

2 人工智能在車網協同中的應用

電動汽車的迅猛發展給電網的經濟、安全運行帶來了巨大的機遇與挑戰。V2G作為分布式儲能參與電網調度，引導其有序充放電，可以提供輔助服務[20]、平穩負荷[21]，促進可再生能源吸納[22]。充放電調度控制策略是發揮V2G效益實現的基礎和先決條件；采用人工智能技術對V2G實施合理調度，可以減少負荷對電力系統造成的負面影響，發揮V2G充放電控制的移動儲能效益[20]。

近年來，中低壓配電網中采用人工智能技術的V2G實時調度策略受到了廣泛關注。在實時調度的研究中，文獻[23]采用分布式人工智能算法中的交替方向乘子法制定了大規模EV的實時調度策略。文獻[24]實現了EV儲能與樓宇風電的實時統籌優化調度，但策略沒有研究風力的時間波動性；文獻[25-26]利用集群電動汽車平抑新能源波動，但實時調度的滾動優化造成了計算資源的消耗與浪費。Yao等人[27]開發了一種基于二進制編程的策略，以協調充電站中的多輛電動汽車充電，以響應電網公司的實時限電請求。Binetti等人[28]提出了協調電動充電問題的策略，其中考慮了插入和關閉頻率；然后，設計了一種實時貪心算法，分布式求解該問題。Liao等人[29]采用隨機動態規劃方法，使運營商的利潤最大化，以便實時調度配備光伏板的電動汽車充電站。Huang等人[30]提出了電動汽車調度問題的馬爾可夫決策過程公式，同時考慮了風能出力的不確定性和動態性。上述方法將電動汽車儲能調度問題描述為基于模型的控制問題。這些基于模型的人工智能方法對電動汽車的分布式儲能調度問題具有良好的效果。

最近，人工智能中不需要任何系統模型信息的無模型方法在復雜決策應用中取得了巨大成功[31]。這一成功啟發了智能電網應用的無模型方法的發展[31-33]。與人工智能算法中的基于模型方法相比，無模型人工智能方法的優勢在于，它可以基于強化學習學習良好的控制策略，并且不依賴于系統的先驗知識[34]。例如，Wen等人[31]使用Q表對電價和收費行為進行離散化，從而估算該函數。這種方法的局限性在于它只能處理少量的狀態和操作。為了克服Q表的缺點，采用線性基函數的組合來近似其中的作用值函數。然而，線性逼近器無法處理現實分時電價和通勤行為中的非線性[32]。除此線性近似器外，Chis等人[33]還應用非線性核平均回歸算子來擬合作用值函數。這種方法的缺點是核函數及其參數的確定對其性能有很大影響?？傊?，上述人工智能方法的有限近似能力阻礙了它們在現實場景中的實現。人工智能算法中的神經網絡具有通用逼近器的潛力，并已廣泛用于強化學習[35-37]。

近年來，人工智能中的深度神經網絡在從高維數據學習復雜映射方面取得了令人鼓舞的成果。通過利用深度神經網絡，DRL在復雜的決策應用中取得了顯著的成就。例如，深度Q網絡已經達到了與Atari 2600中的專業人員相當的水平[38]。EV優化調度的本質是對分布式儲能進行充放電狀態的最優時空調度，而DRL適用于在復雜場景下做出最優決策[39]，有限制反饋中實現序列決策問題的優化[40]。文獻[41]開展了新能源場景下基于DRL優化EV充電控制研究，但對EV的儲能和時空特性并未進行研究。文獻[42]提出了考慮用戶個人特性和動態電價的DRL實時調度方法，但所提策略僅靠獎懲函數反映車主需求，不能保證策略滿足用電需求。

人工智能算法中的多智能體強化學習(multiagent deep reinforcement learning，MADRL)遵循隨機博弈過程，經過數年的發展創新，MADRL誕生了眾多算法、規則、框架，并已廣泛應用于各類現實領域。文獻[43-44]制定單臺EV最優策略與整體EV最優MADRL策略后，根據優化結果的權重，在局部最優與整體最優二者間選擇最終決策，影響策略的具體應用。文獻[45]基于MADRL的多層電價響應機制對不同層級上復雜的源、網、荷結構進行協調，充分發揮高比例可再生能源和EV分布式儲能的潛力。

3 人工智能在微電網儲能中的應用

典型微電網通常包含分布式電源、儲能裝置、負荷、能量轉換器，以及監控、保護裝置和控制器等[46]。其中，各種類型的分布式電源和電力電子設備會給微電網帶來功率波動和低慣性問題，合理配置儲能系統，是提升微電網穩定性和可靠性的重要手段。此外，儲能裝置還能提高微電網和微電網群的運行經濟性。人工智能在含儲能的微電網中主要用于規劃和調度環節。在規劃環節，人工智能可以優化儲能配置，制定合理選型方案，進而提高系統慣性和電能質量，降低建設成本；在調度環節，人工智能可以提供儲能和其他電源的協調控制策略，進而實現削峰填谷，改善電壓/功率分布，降低運行成本。

儲能合理配置主要涉及儲能的類型、容量、數量、位置和充放電規則等變量，屬于混合整數優化問題。文獻[47]提出模糊邏輯算法對儲能容量、數量和充放電時間進行優化，有效降低了微電網的投資和運行成本。然而，對于多變量和多目標優化，模糊邏輯算法的維數災問題仍有待解決。文獻[48]采用多層感知器對儲能的容量和位置進行優化，能夠改善系統的電壓/功率分布，降低微電網的總成本。文獻[49]應用輕量級神經網絡和Q學習方法對儲能電池健康狀態(state of health，SOH)進行定量評估，在此基礎上優化儲能容量和充放電規則，兼顧了微電網的經濟性和電池壽命，提高了微電網的運行性能，但是沒有考慮新能源和負荷變動的影響。此外，相關學者已嘗試使用各種啟發式智能算法，如粒子群算法、和聲搜索、人工蜂群等[50]，來獲取儲能配置問題的優化解。啟發式智能算法不依賴模型內部機理，適用儲能類型廣，但無法保證優化解的質量和求解穩定性。

微電網中儲能的協調控制和能量管理屬于典型的時序控制，學者們通常采用經典優化方法、基于規劃的方法和啟發式算法進行控制，但是當實際場景較為復雜，難以用明確數學模型描述，且數據量巨大時，這些算法將很難適用。近年來興起的深度強化學習算法則為處理復雜微網控制提供了新的思路。經典強化學習方法之一的深度Q學習(deep Q-learning network，DQN)已被用于微電網儲能協調控制的分析中，例如：文獻[51]應用DQN實現微電網儲能調度策略，同時還使用深度卷積神經網絡提取微電網調度時間序列信息特征，使微電網獲得最大運行收益；文獻[52]針對含有多種異質類型電池的微電網場景，采用DQN控制不同電池系統的充放電周期，提高了微電網運行效率，但對于大量特性截然不同的電池，該方法需要額外的計算時間；文獻[53]提出了一種改進DQN模型指導微電網儲能的動態調度，使用蒙特卡洛樹搜索來估計DQN期望的最大動作值，并在DQN中內嵌了一些調度規則指導訓練；文獻[54]采用DQN制定微電網儲能系統在并網和孤島模式下的最優運行策略，并網模式下，目標是利潤最大化，孤島模式下，使整個系統的減載量最小。DQN本身存在顯著高估(overestimation)問題[55]，文獻[14,46,56]引入雙層深度Q網絡(double deep Q-learning network，DDQN)方法，緩解了訓練過程中的高估問題。其中，文獻[46]考慮了蓄電池(短期儲能)和儲氫設備(長期儲能)的時序安排方案，對于不同時刻、天氣、季節的場景均能有效處理，但沒有考慮并網的情況、電價以及規劃的部分；文獻[14]以儲能的實時充放電功率為控制變量，訓練得到儲能控制的優化策略，驗證了所提方法在優化購電費用上的有效性；文獻[56]提出儲能分布式運行策略，考慮了功率的不確定性，在并網和孤島場景的微電網中均具有良好的穩定性和經濟性。針對高估問題，還有學者使用TD3(twin delayed deep deterministic policy gradient)強化學習進行光儲充電站儲能系統全壽命周期優化運行[57]，制定基于移動儲能車的協調微網系統調度和微網資源調度的綜合業務恢復策略[58]。

除了強化學習，已有工作表明，還有多種人工智能方法適用于微電網儲能調控。文獻[59]提出結合注意力機制的模糊邏輯算法，能夠快速、準確平抑母線功率波動的同時保護儲能系統，提高微電網的經濟性和可靠性。文獻[60]則提出基于深度置信網絡的含儲能微電網電能質量評估方法。針對利用儲能實現微電網削峰填谷問題，文獻[61]引入基于決策樹的峰值負載管理算法，在不同負載的孤島微電網場景下，均有穩健的性能表現，但沒有考慮儲能系統最佳規模的配置。文獻[62]提出采用雙層多智能體算法實現含儲能的微電網能量管理，在底層，智能體決定單個微電網實體(如儲能、備用發電機和負載)的最優運行策略；在上層，利用中央微電網協調器協調多個智能體，進而使整個微電網能夠匹配電網運營商要求的減載。文獻[63]采用含卷積層的長短時記憶網絡進行孤島微電網的光伏和儲能的分布式協調控制，結果表明，相對于傳統集中式控制，該算法可以有效降低通信成本，保護用戶信息隱私。針對風電微電網中的電池能量管理系統，文獻[64]提出多層多核極限學習機自編碼器算法，提升了蓄電池壽命，且滿足本地負荷需求和電網調度，同時確保在風力發電差異下電池堆性能得到優化。

4 人工智能在智能樓宇儲能中的應用

相對于傳統大容量集中式發電，分布式新能源和儲能技術更靠近用戶側，伴隨著數字化家居的不斷發展，智能樓宇(社區)用電結構促進了能源局域網的用戶側主動需求響應。近年來，家庭能量管理系統(home energy management system，HEMS)、樓宇能源局域網(building energy local network，BELN)[65]以 及 云 儲 能(cloud energy storage，CES)[66]等相關新興概念受到學者高度關注。分布式儲能技術提供了能量雙向流動條件，新能源發電低谷時儲能可以填補電能缺額，新能源發電高峰時段，儲能多余的電能可以通過與大電網互聯，將電能輸送給大電網，使樓宇能量形成小型局域網，獨立儲能裝置能提升局域網的運行穩定性。

對于智能樓宇場景中的配套儲能，人工智能主要用于解決對應的主動需要響應、協同調度控制和合理配置等問題。我國電力市場改革通過合理的價格機制引導用戶通過儲能和可調節負荷，主動參與需求側響應，緩解了電網的供需壓力。文獻[67]基于分時電價的儲能電池需求響應，采用BP神經網絡和粒子群算法配置光儲容量，構建了以用戶用電成本最小化為目標的儲能運行策略和容量配置的協同優化模型。智能樓宇微網系統存在的非線性、時變、分布式發電不確定性等特點導致傳統數學建模方法難以全面反映系統復雜的運行狀態，文獻[65]提出了一種基于啟發式動態規劃算法用于儲能系統調度，建立數據驅動的智能樓宇儲能模型，結果表明，該算法能夠節約用電成本、避免蓄電池深度充放電，具有良好的經濟收益。文獻[68]提出一種能夠應對復雜環境的基于深度強化學習的家庭能量管理分層優化策略，通過調節儲能系統的充放電功率，解決因滿足用戶用電需求和減少電費所造成負荷集中至低電價時段導致的功率越限。云儲能是用戶側儲能領域的共享經濟儲能商業模式，不再由用戶自建儲能，而是由云儲能提供商投資建設實體儲能和云平臺，需要進行統一調度和控制。文獻[69]提出了一種基于門控循環單元多步預測技術的云儲能充放電策略形成方法，并在此基礎上建立了云儲能充放電決策滾動優化模型。文獻[65]以含有光伏和儲能裝置的樓宇為對象，采用改進離散二進制粒子群優化算法優化了可調度負荷的工作時間。文獻[70]將樓宇中的空調聚合成一個虛擬儲能系統，設計了人工神經網絡模型來預測虛擬儲能系統的能量容量，在不影響住戶舒適度的情況下，達到預期的經濟性運行。針對電力互聯的住宅建筑集群中共享屋頂光伏發電和儲能系統，文獻[71]采用長短時記憶網絡和Q學習，提供了優化的電價制定方法。智能樓宇的儲能系統合理配置是優化調度控制的重要前提之一，相關人工智能算法，如差分進化-粒子群BP神經網絡[72]、人工蜂群算法[73]、遺傳算法和CPLEX聯合算法[74]和模糊控制算法[75]等，已成功應用于儲能系統合理配置，提高了儲能的使用壽命，改善了系統的動態響應特性。除電能存儲外，熱水箱和暖通空調系統等儲熱系統也是智能樓宇中常見的儲能形式。已有多種人工智能算法分別應用于儲熱系統的建模[76]、配置[77]和控制[78]，對應的數據驅動模型為傳統耗時的熱力學數值仿真提供了替代方案，避免了復雜的物理建模過程，相關控制方法提高了數據利用率，對不確定性場景具有較強的魯棒性。

5 結論

人工智能技術的突破發展對電力系統分布式儲能環節的發展形式、運行方式和運行模式帶來了變革性的影響，也成為目前電力系統的前瞻性研究方向之一。未來人工智能在分布式儲能中的應用前景和研究方向，還有廣闊的探索空間：

1）模型可解釋性是人工智能在電力領域所面臨的共性難點之一，數據驅動的人工智能方法把研究對象視為“黑箱”系統，而實際工業行業對方法可靠性的要求需要明確模型內部機制。研發內嵌物理知識和專家經驗的人工智能以及數據-模型融合方法，有望進一步增強人工智能在分布式儲能應用中的模型可解釋性。

2）開發合理配套的算力、數據存儲和通信解決方案是將人工智能用于分布式儲能的重要前提。分布式儲能一般處于中低壓配電網和微電網中，統籌協調利用系統內和用戶側分散的算力和存儲空間，發展云計算、邊緣計算、先進傳感器技術以及分布式智能算法，能加快推動人工智能在分布式儲能中的應用落地。

3）分布式儲能類型和形式多樣，但功能性多有交集。研究用于分布式儲能的通用型人工智能方法和遷移學習架構，能夠更好地解決多元異構分布式儲能的協同優化和控制問題。