基于Stackelberg博弈定價的電力需求響應激勵方法

敬 超，李姍珊

(1.桂林理工大學 信息科學與工程學院，廣西 桂林 541004；2.桂林理工大學 廣西嵌入式技術與智能系統重點實驗室，廣西 桂林 541004； 3.桂林電子科技大學 可信軟件重點實驗室，廣西 桂林 541004)

0 引 言

需求響應(demand response，DR)是指電力用戶通過供電方發出的價格信號或者激勵政策，調整固有習慣用電模式，減少或者推移某個時段的用電負荷而響應電力供應，從而保證電網穩定，抑制電價上升的短期行為[1]。數據中心巨大的電力消耗和內部工作負載的靈活性及內部設備高度可調控能力，使其成為了需求響應的重要參與者[2]。考慮到數據中心在建造和維護上的龐大開銷，為節約成本和保證服務質量，很多公司和企業(如Twitter、Akama等)通過租賃數據中心安置服務器來實施和運營業務，即多租戶托管型數據中心(multi-tenant colocation data center)。然而與傳統的數據中心參與需求響應研究相比，多租戶數據中心參與需求響應面臨的首要問題是激勵分離問題(split-incentive problem)：由于用電合同的局限性和激勵方法的缺乏以及服務器的私有性，租戶不會主動參與需求響應。并且受到權限的制約，數據中心運營商也無法對該數據中心內部署的服務器進行電能調控。因此，研究如何設計激勵方法鼓勵租戶參與需求響應對電力市場的宏觀調控和保證電網的穩定運行都有著重要的意義。為解決上述問題，本文重點研究了多租戶數據中心的需求響應問題，以最大化需求方和響應方利益為目的，提出了一種基于Stackelberg博弈模型的交互式電力定價激勵方法，建立需求響應模型及相關的成本函數，并證明了納什均衡點的存在性，基于非線性規劃的思想，提出了一種高效的激勵定價方法(EIPM：efficient incentive pricing method based on non-linear programming)。實驗結果表明，EIPM算法可以獲得最佳的激勵定價，同時最大化需求方和響應方的收益。與典型的梯度法[3]及外罰函數[4]相比，EIPM效率高且具有較好的收斂性。

1 相關工作

在激勵方法中電力定價是最為核心的內容，因為合理的電力定價可以激勵更多的租戶參與需求響應。傳統的電力定價方法主要包括分時定價、尖峰定價、實時定價和基于合約的定價方法[5]。文獻[6]主要對分時定價方法進行了優化，討論了一種一般性的用戶電力需求隨機建模框架，結合分時電價合約特征，在建模過程考慮均值波動并建模為分數布朗運動，相比于傳統的分時定價，該方法可以更好地均衡電價并減少誤差。文獻[7]的工作不僅考慮了時間，而且還將位置因素考慮在內來進行電力定價。然而當遇到因突發事件造成的緊急需求響應時(emergency demand response，EDR)，無論是基于時間段的定價方法，還是根據租戶簽訂的合約來制定價格的方法，都無法解決可用電量不足的問題。

針對這一問題有的研究提出了基于負載均衡和調度的方法。Wang等[8]智能電網(smart grid，SG)引入，實現了一種SG和數據中心之間電力負載均衡的方法，在該方法中為了達到降低數據中心成本的目的，考慮了能源成本對定價的影響。文獻[9，10]是通過優化調度和負載轉移來滿足需求響應的電力需求，其中Xingjian Lu等[9]將分布式數據中心間批量數據傳輸的路由和調度問題建模為一個最小化成本的多商品流動問題，并提出了一種兩階段優化方法，該方法先將需求進行最優化劃分，然后再計算最優劃分中各部分的最佳路由和調度方案。該方法中考慮的成本支出包括網絡寬帶以及數據傳輸成本。考慮地理分布式數據中心電力價格產生的影響，文獻[10]提出了一種價格敏感的地理負載均衡方案，利用不同位置數據中心間的交互信息定義價格敏感系數，利用該系數決定負載的遷移。雖然通過負載均衡和調度方法可以在一定程度上解決需求響應時用電不足的情況。但是對于多租戶數據中心，由于激勵分離，缺乏激勵機制，當需求響應發生時，租戶不會主動參與。

面對這類問題，為了激勵租戶參與需求響應，有的研究基于博弈論的激勵方法，主要是通過拍賣方法支付報酬獎勵的方式，激勵租戶參與需求響應既可以滿足響應需求，又能最大化參與者的收益。云服務提供商(cloud service provider，CSP)為了激勵智能電網參與需求響應，文獻[11]提出了一種拍賣方法，使智能電網能夠自愿向CSP提交投標，從而使得CSP可以以不同的付款獲得不同數量的需求響應，以此來最大化社會福利。文獻[12]在托管數據中心的需求響應中提出了一種反向拍賣的近似比率MEDR機制，并采用動態規劃解決此問題，設計了一種融合高效FPTAS算法的拍賣系統最大化社會福利。文獻[13]提出了一種保證真實性的激勵機制Truth-DR滿足需求響應。它利用反向拍賣選擇租戶的投標，并根據租戶商定的能源減少量給予激勵報酬。雖然通過拍賣方法可以激勵租戶參與滿足需求響應，并保證需求方和響應方的收益，但是在這些方法中只是給定了激勵的定價參數并沒有考慮影響定價的因素，以及需求方和響應方博弈的互動過程。

具有主從結構的Stackelberg模型是一種經典的博弈模型可以反映實時供需互動[14]，文獻[15]將數據中心能源消耗問題建模為一個Stackelberg博弈，為了實現雙方博弈的利益最大化，在此系統，監視器作為領導者通過動態調整資源的供應來實現利益最大化，而作為跟隨者調度代理則可以通過選擇不同的資源數量來獲得最佳性能。文獻[16]則是基于Stackelberg博弈提出了一種綠色能源感知分配方案，主要是將用戶、云控制器、數據中心三者之間的交互建模為一個Stackelberg三層模型，其中云控制器作為中間層，接受來自用戶的請求，然后將請求分配給數據中心。通過該方法來維持數據中心的可持續發展，以達到最大化社會福利的目的。應用Stackelberg博弈模型的原理，為了最大化運營商和訂閱者的利益，Zhang等在工作[3]中提出了層次博弈模型來應對多個數據中心運營商同時服務多個服務訂閱者時的資源分配問題。文獻[17]則提出了一種兩階段Stackelberg博弈的定價方法來應對電力需求響應，該方法中主要結合了定價和負載轉移的方法，實現需求方和響應方利益最大化的目的，同時他們的工作還證明了該博弈納什均衡的存在性和唯一性。雖然這些方法基于博弈的思想實現了社會福利或者利益最大化，但是在尋找納什均衡點時還存在收斂性不夠好的問題。

綜上所述可知，過去的研究沒有考慮激勵分離進行電力定價，雖然有的研究采用了博弈論設計激勵方法但是沒有考慮需求響應的博弈互動，并且所提出的算法收斂性不夠好。

2 問題建模

2.1 系統模型

假設在某個區域內有M個數據中心C={C1，C2，…，CM}， 所對應的租戶數量為N，T={T1，T2，…，TN}。 這些數據中心都由數據中心運營商(data center operator，DCO)管理，但是由于受到合同的限制運營商不能隨意對數據中心內部租戶服務器進行調控，所以當在時刻t，運營商收到了電力需求響應請求后，綜合考慮自身利益制定激勵定價，并向租戶發起需求響應信號，租戶自愿參與需求響應。

2.2 基于Stackelberg博弈模型

為了反映需求方和響應方的互動，本文采用了Stackelberg博弈模型，通過博弈需求方和響應方都會達到一個均衡狀態，并最大化自身效益。在Stackelberg博弈模型中主要的角色包括領導者和跟隨者，領導者首先行動，跟隨者根據領導者的行動來選擇自己的策略。

本文將需求方和響應方建模為兩階段Stackelberg博弈問題，如圖1所示，需求方數據中心運營商作為領導者首先行動，根據請求給出電力總需求，并初始化激勵定價集合P，定義成本函數，需求方根據響應方的動態策略變化，不斷動態調整定價并最小化自己的成本。

圖1 電力需求響應下基于Stackelberg博弈交互

接著，作為跟隨者的響應方租戶則是根據需求以及自身能夠響應的最大電力數量和激勵定價集合，初始化自己響應的電力并根據領導者給出的激勵定價，動態調整自身的需求供應策略，由此，雙方完成第一輪博弈。在每一輪博弈中，跟隨者在得到領導者的電力需求和激勵定價集合后，根據上一輪其它租戶提供的電力供應量之和和收益公式計算出自己的最佳收益，計算完后進入下一輪博弈，如此重復，在經過多次博弈之后，直到響應方的租戶中沒有人愿意改變自己的策略，則供需雙方達到了納什均衡。

2.3 需求方與響應方模型

根據上述系統模型描述，本小節主要是對于需求方(運營商)和響應方(租戶)進行建模，具體的包括需求方成本模型和響應方收益模型。

2.3.1 需求方成本模型

在t時刻，影響需求方的成本主要包括激勵支出和成本節約兩種。其中激勵支出PIt為電力成本和激勵成本之和，而成本節約SIt則是指需求方直接采用后備電力系統供電的開銷與借助需求響應后帶來的開銷之差，具體的數學表達式如下

(1)

(2)

(3)

式(2)表示租戶提供的電力xi、電價成本pi，激勵增量Rt均需大于0；式(3)表示響應方提供的電量應該不小于需求電量et。

2.3.2 響應方收益模型

在t時刻作為響應方的租戶，其目的在滿足需求響應的前提下，最小化開銷以此來獲得最大收益。對于響應方租戶i，收益模型計算分為兩個部分：激勵收入TIt和損耗開銷TLt，響應方的收益計算函數如式(4)所示

(4)

(5)

2.4 問題描述

假設在t時刻需求響應事件發生，根據以往電力成本初始化電力成本價格集合為p1=p2=p3=…=pn。然而在本系統中，由于每個響應方的響應電力數量不同，因此相應的電力成本和激勵也是各不相同的，這樣做的目的是為了保證參與者之間的公平性。所以，在這樣的前提下，為了保證準確及時定價，分別建立了系統模型、需求方模型、響應方模型，以及基于Stackelberg博弈的電力定價模型，目的在于降低需求方的成本和最大化響應方的收益，對于需求方的成本最小化可以形式化表述為

(6)

(7)

(8)

式(6)是求需求方成本的最小值函數，其中式(7)中的各參數含義同式(1)。

響應方的收益最大化可以表述為

(9)

(10)

(11)

式(9)是求響應方收益的最大值函數，式中的各參數含義同式(4)，約束(10)的含義同式(5)，約束(11)是其它參數的正數約束。

3 定價博弈下的納什均衡證明

(12)

(13)

在本研究中需求方和響應方之間存在著唯一的納什均衡。由于響應方之間是相互獨立的且他們的目的都是最大化自身的收益，因此他們之間是屬于非合作博弈，另外為了保證真實性，我們會根據租戶以往的響應情況判斷他們的行為是否真實，以便保證響應的真實性。

證明：響應方收益最大化

在博弈中，每個響應方租戶都獨立的選擇自己的最優資源策略。因此對響應方的收益函數分別求一階導(14)和二階導(15)有

(14)

(15)

由上式可得二階導小于0，因此該成本函數是嚴格凹的，存在最大值，在需求方給定電力定價的情況下，響應方總是能夠找到對自己最有利的定價，使得自己的收益最大，因此博弈存在著唯一的納什均衡點。

針對以上式子，令一階導(14)為0可得

(16)

Bi-pi>0

(17)

(18)

可得

(19)

證明：需求方成本最小化

(20)

對其求二階導為

(21)

(22)

得

pi<4Bi-3w1·vi(li，ρi，Ai)

(23)

因此可以得到pi的范圍為

(24)

當pi滿足以上約束條件時，二者即達成納什均衡。

4 基于非線性規劃的高效激勵定價方法

4.1 算法概述

由以上問題描述和模型可以發現，本文所研究的問題可以規約為一個非線性優化問題，解決該問題可以通過非線性規劃的方法，設計一種求解目標函數或通過約束條件中有一個或幾個非線性函數對問題進行最優化求解。

因此，本文將求解Stackelberg博弈的納什均衡點建模為一個多目標的非線性規劃問題，采用非線性規劃法求解。首先，需求方初始化自己的各個參數以及定價集合，響應方租戶初始化自己響應的電力數量，進入第一輪博弈；根據相關約束條件，在每一輪博弈中，每個響應方租戶得到定價后，根據自身條件計算自身收益得到最佳策略，需求方計算自身的成本；不斷重復上述博弈過程，直到需求方和響應方都不再改變自身的策略時，則雙方達到博弈均衡點，即輸出最佳定價結果和需求-響應方的最優目標值。

4.2 算法實現細節

算法1：基于非線性規劃的高效激勵定價方法

Input:et,Rt,mi,q,w1,li,ri,Ai

(2) After receiving the demand request, give the demandetto Tenant;

(3) Initializepifor Tenant;

(4) Repeat:

(5) Start from each tenant

(8) Givexito DCO according topi;

(11) End For tenant

(13) Initializemt,qt,w1;

(15) Giving thepi,RttoTi;

(16)I++;

(18) DCO and Tenant reach Nash equilibrium

(19) Break;

(20) End If

(21)End Repeat

4.3 算法復雜度分析

5 仿真實驗

5.1 實驗參數設置

借鑒前人的工作[3，16，18]，本文主要通過仿真的方式進行實驗對比，實驗主要通過MATLAB編程實現，數據中心、租戶和數據中心運營商限定在某個區域，最大租戶數量為30，每個租戶相關的參數見表1，每個值在給定的范圍內隨機產生。

表1 仿真參數

5.2 實驗結果與分析

5.2.1 不同優化算法對比及分析

為了體現所提優化算法EIPM的有效性和優越性，分別對比梯度法及外罰函數在解決非線性問題時的結果，其中：

梯度法：是一種優化迭代算法，從某個初始點出發，不斷向著函數值減小的方向調整，直到函數值穩定在某個值。

外罰函數：是指根據約束函數和目標函數，構建出一種懲罰函數，然后將對有約束非線性規劃問題的求解轉化為無約束問題求解。

圖2主要展示了3種算法的對比結果，當參與需求響應的租戶數量分別為4、6、20時，需求方為了滿足需求響應所得到的成本開銷，從圖中可以發現所提出的EIPM的算法成本最少，優于其它兩種方法。主要的原因是采用梯度法的步長不太容易確定，容易導致所得解陷入局部最優；而外罰函數的罰因子會影響迭代次數，當計算量較大時，不一定會得到一個近似的最優解。由此可見，通過EIPM算法可以使得需求方進行合理定價減少成本支出，同時響應方也能最大化其收益滿足電力需求響應。

圖2 租戶數量不同時3種算法下需求方成本

表2、表3及表4主要展示了當租戶數量分別為4、6、20時，不同算法下租戶的收益。從以上3個表格我們可以看出，當租戶數量為4和6時，通過EIPM算法得到租戶的收益要比同等條件下，梯度法和外罰函數得到的收益高一些；當租戶數量為20時，通過EIPM算法得到的租戶收益中，存在小部分的租戶的收益小于梯度法和外罰函數獲得的收益。原因在于，當租戶數量增多時，梯度法和外罰函數求得的運營商成本要比EIPM法，因此存在個別租戶收益高稍高情況。綜上所述本文提出的EIPM算法從總體上來看具有更好的效果滿足租戶的收益最大化的目的。

表2 當租戶數量為4時不同算法下租戶的收益

表3 當租戶數量為6時不同算法下租戶的收益

表5展示了在最大迭代次數為3000時，3種算法運行結束后的時間開銷。由表可以發現，當響應方租戶數量分別為4、6和20時，本文所提算法的時間開銷最低，外罰函數稍高，而梯度法最高，這是因為梯度法的步長會影響收斂的速度，太大的話可能會發散，太小收斂速度又太慢，因此時間開銷較大；為了保證外罰函數解的可行性，初始時迭代因子較小，增加了計算量，時間相對長一點。由實驗結果可以知道，所提算法時間開銷較小。

5.2.2 參與需求響應的租戶數量不同對租戶的定價、電力響應數量、收益及時間復雜度的影響

本小節主要考察不同數量租戶參與需求響應對電力定價、電力響應數量、收益及時間復雜度的影響。表6主要列出了通過EIPM計算達到納什均衡得到的最優定價情況，分別對應參與的租戶數量為4、6和20的最優電力定價。表7則表示當參與響應的租戶的數量為分別4、6和20時，通過EIPM算法需求方和響應方達到納什均衡時，每個租戶響應的電力數量。表8統計了當響應方分別為4、6和20時，每個租戶的收益情況。表9給出了當響應方租戶為4、6和20時需求方的成本支出。通過以下4個表格可以觀察到，在不斷改變響應方租戶的數量時，通過EIPM計算能夠達到納什均衡，并且可以獲得最佳的電力定價及電力響應數量，滿足需求方成本最低和響應方收益最大化的目的。

表4 當租戶數量為20時不同算法下租戶的收益

表5 3種算法下的時間開銷，單位：秒/s

表6 不同數量租戶參與需求響應時的最優電力定價

表7 不同數量租戶參與需求響應時租戶的電力數量

圖3展示了參與需求響應的租戶分別為4、6和20時，通過提出算法計算博弈達到納什均衡時，所花費的時間分別為0.2 s，0.28 s，0.43 s。

圖4主要考察了不同數量租戶參與需求響應時需求方成本變化情況，其中參與需求響應的租戶數量分別為4、6和20時，當算法迭代次數大于35后，需求方的成本值趨于穩定，說明經過了35輪迭代后達到納什均衡，需求方得到最優成本。由此可得，隨著響應人數的變化通過EIPM計算均能達到納什均衡，并且迭代次數也相對比較穩定，因此具有較低的時間復雜度。

表8 不同數量租戶參與需求響應時租戶的收益

表9 不同數量租戶參與需求響應時需求方成本

圖3 不同數量租戶參與需求響應時的算法運行時間

圖4 租戶數量不同對EIPM迭代次數的影響

6 結束語

本文主要研究了多租戶數據中心下的電力需求響應問題，提出了一種基于Stackelberg博弈模型的電力定價激勵方法。首先為租戶和需求方建立了需求響應模型，并建立了相關的效益函數和模型。同時，為了反映需求方與響應方的定價交互，本文基于Stackelberg博弈模型形成了一種擁有領導者和跟隨者兩種角色的動態博弈，并在該模型下證明了其納什均衡點的存在；之后，為得到響應方和需求方雙方利益最大化的激勵定價，本文基于非線性規劃方法，提出了一種高效的激勵定價方法來求解。仿真實驗結果表明了所提方法的優越性，不僅能獲得最佳的電力定價滿足需求響應，而且與經典的優化方法--梯度法和外罰函數法相比，具有最低的時間開銷。