面向泛在電力物聯(lián)網(wǎng)的協(xié)同調(diào)度與應(yīng)用

劉 剛 （上海理工大學(xué) 管理學(xué)院，上海200093）

0 引言

2016年初，國家發(fā)改委、能源局和工信部發(fā)布了《關(guān)于推進(jìn)“互聯(lián)網(wǎng)+”智慧能源發(fā)展的指導(dǎo)意見》，表示我國現(xiàn)在即將開始建設(shè)能源物聯(lián)網(wǎng)，泛在電力物聯(lián)網(wǎng)作為能源物聯(lián)網(wǎng)的一部分，是泛在物聯(lián)在電力行業(yè)的具體表現(xiàn)形式。隨著信息技術(shù)的高速發(fā)展，智能網(wǎng)絡(luò)終端（如智能音箱、智能家居、其他電力終端等設(shè)備）開始進(jìn)入人們的生活，以泛在電力物聯(lián)網(wǎng)為節(jié)點的互聯(lián)設(shè)備的出現(xiàn)，使得泛在終端設(shè)備承載數(shù)據(jù)急劇增加。泛在電力物聯(lián)網(wǎng)絡(luò)設(shè)備可以滿足智能化感知、個性化服務(wù)、信息化運維等應(yīng)用場景，當(dāng)前的泛在電力物聯(lián)網(wǎng)既有電力的互聯(lián)互通，也有信息的互聯(lián)互通，因此可以通過“大云物移智鏈”技術(shù)，實現(xiàn)對泛在電力物聯(lián)網(wǎng)的協(xié)同調(diào)度。

國內(nèi)外的學(xué)者對泛在物聯(lián)網(wǎng)開展了深入的研究，文獻(xiàn)[1]主要是在泛在物聯(lián)網(wǎng)體系架構(gòu)的背景下研究了物聯(lián)網(wǎng)的基礎(chǔ)框架與構(gòu)成，而對于泛在電力物聯(lián)網(wǎng)絡(luò)協(xié)同調(diào)度應(yīng)用方面的研究不足。例如，文獻(xiàn)[2-3]探討了泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)采集計算感知能力以及能源協(xié)同發(fā)展體系架構(gòu)，但沒有考慮到數(shù)據(jù)間的協(xié)同應(yīng)用問題。文獻(xiàn)[4-5]從電力負(fù)荷角度考慮了電力資源調(diào)度問題，但僅考慮到電網(wǎng)資源間的調(diào)度，沒有研究電力資源上下游資源配置問題。

與傳統(tǒng)電力網(wǎng)絡(luò)調(diào)度不同，泛在電力物聯(lián)網(wǎng)將電力資源調(diào)度擴(kuò)展至整個電力網(wǎng)上下游，使得整個電力網(wǎng)絡(luò)終端以及發(fā)電機(jī)構(gòu)，經(jīng)由信息技術(shù)處理有力地銜接起來，從而打造出萬物互聯(lián)的電力物聯(lián)網(wǎng)的應(yīng)用場景，通過電力網(wǎng)上下游的信息互聯(lián)，實現(xiàn)信息化電力網(wǎng)資源的高效實時調(diào)度。目前，泛在電力網(wǎng)協(xié)同調(diào)度智能終端的研究已經(jīng)出現(xiàn)，如中國移動與國網(wǎng)黑龍江電力公司合作推行智能5G終端多變?nèi)诤险{(diào)度的解決方案，實現(xiàn)電力資源上云實時監(jiān)控狀態(tài)，打造出“平臺+AI+生態(tài)”一體化的智能協(xié)同調(diào)度技術(shù)路線可以滿足不同產(chǎn)業(yè)間的資源配置需求，從而突破電力網(wǎng)絡(luò)資源配給滯后的問題。文獻(xiàn)探討了泛在電力物聯(lián)網(wǎng)的生態(tài)發(fā)展路徑，助推了電力產(chǎn)業(yè)信息技術(shù)加速升級。以往的研究中沒有從互聯(lián)互通背景的上下游電力物聯(lián)網(wǎng)的調(diào)度與應(yīng)用方面進(jìn)行研究，因此，基于上述分析，本文提出面向泛在電力物聯(lián)網(wǎng)的協(xié)同調(diào)度方法，并引入改進(jìn)的強(qiáng)化學(xué)習(xí)Q-learning算法作為調(diào)度求解方法。

1 面向泛在物聯(lián)網(wǎng)協(xié)同調(diào)度模型

1.1 面向泛在電力物聯(lián)網(wǎng)的協(xié)同調(diào)度模型。進(jìn)入萬物互聯(lián)時代，為了合理并及時地滿足產(chǎn)品用電需求，需要強(qiáng)大的業(yè)務(wù)計算能力以保證承載設(shè)備的正常用電調(diào)度請求。本文構(gòu)建了上游電力供方和下游設(shè)備需方二者間的泛在電力物聯(lián)供網(wǎng)需求雙側(cè)技術(shù)規(guī)劃路線圖（如圖1所示），通過電網(wǎng)協(xié)同調(diào)度平臺描述了設(shè)備互聯(lián)過程中的實際路徑演化。

設(shè)上游供方可提供的電力資源為m，通過風(fēng)力、火力、水力等不同類型的發(fā)電設(shè)備提供能源并接入整個電力資源需求的互聯(lián)網(wǎng)絡(luò)；設(shè)下游需求方為n，由需要電力資源的海量物聯(lián)網(wǎng)設(shè)備組成，具體主要有大型工廠、個人居民、城市公用設(shè)施等。其中m,n=｛1,2,3,…,p｝為自然數(shù)組合。

在對上下游物聯(lián)網(wǎng)設(shè)備進(jìn)行調(diào)度過程中，為了保證調(diào)度業(yè)務(wù)操作的合規(guī)性對任務(wù)調(diào)度執(zhí)行進(jìn)行如下條件約束：（1）在進(jìn)行任意一次的上下游業(yè)務(wù)調(diào)度不受外界因素干擾，上游提供的方案可以為下游需求完成調(diào)度；（2）在完成一次任務(wù)調(diào)度過程中，能源供給受單次服務(wù)條件影響，一次僅能匹配一個服務(wù)窗口，并且上游m提供的能源mp與下游n所需的電力np相對應(yīng)；（3）對于mp供方調(diào)度順序不作限制；（4）依據(jù)時間次序依次調(diào)度。綜上得到泛在電力物聯(lián)網(wǎng)任務(wù)調(diào)度數(shù)學(xué)規(guī)劃模型：

圖1 智能電網(wǎng)協(xié)同調(diào)度平臺

式中：公式（1）是調(diào)度函數(shù)，Z表示泛在電力物聯(lián)網(wǎng)的最小化最大調(diào)度時間耗時。公式（2）是調(diào)度設(shè)定的條件約束，xmn表示任務(wù)調(diào)度下游用電資源n對上游發(fā)電企業(yè)m進(jìn)行資源完工所耗用的加工時間，tmn表示其資源配置所用時間，β∈∞且ymhn表示上游發(fā)電網(wǎng)絡(luò)對下游用戶需求的任務(wù)調(diào)度先后關(guān)系；公式（3）表示任務(wù)調(diào)度的限定約束，以協(xié)同上下游之間的調(diào)度問題為目的，wmbn表示上游發(fā)電網(wǎng)絡(luò)m與上游發(fā)電網(wǎng)絡(luò)b在下游電力需求端口n的先后調(diào)度順序；公式（4）用于表示完成一次電力資源調(diào)度所需要的時間約束；公式（5）表示ymhn與wmbn的取值關(guān)系，其中ymhn=1表示上游發(fā)電網(wǎng)h先于發(fā)電網(wǎng)n對下游用戶m提供資源分配，以進(jìn)行調(diào)度，wmbn=1表示上游發(fā)電網(wǎng)b先于發(fā)電網(wǎng)n對下游用戶m進(jìn)行資源調(diào)度分配，反之，則ymhn,wmbn=0。公式（6）表示數(shù)值h,b對電力資源的需求等候序列編號，其取值范圍是從1到p的自然數(shù)。

1.2 基于Q-learning算法的泛在電力網(wǎng)調(diào)度目標(biāo)函數(shù)。泛在電力物聯(lián)網(wǎng)的上下游供需資源配置，進(jìn)行事先設(shè)定若干個調(diào)度執(zhí)行流程以及與之對應(yīng)的5個運行情況如表1所示。其中約束1表示調(diào)度電力資源需求延后的情景；約束2表示對資源調(diào)度時間損耗最小的需求情景；約束3表示當(dāng)前電力資源調(diào)度情景；約束4表示電力資源調(diào)度中時間損耗最大的情景；約束5表示當(dāng)前無調(diào)度需求情景。

考慮到電力資源調(diào)度過程中可能遇到當(dāng)前無可調(diào)度的執(zhí)行狀態(tài)以及滿足調(diào)度需求的可執(zhí)行等候情景。對于兩種不同的調(diào)度執(zhí)行動作有不同的策略方案，但是Q-learning算法并沒有上述兩種情景的直接應(yīng)對解決思路，因此本文根據(jù)表1列出的5種調(diào)度流程執(zhí)行標(biāo)準(zhǔn)來進(jìn)行智能匹配可能出現(xiàn)的資源配給。根據(jù)電力資源上游發(fā)電網(wǎng)絡(luò)對下游電力需求用戶的雙邊資源匹配協(xié)同，給出如下兩種獎懲舉措：

（1）電力資源均衡下的資源調(diào)度流程執(zhí)行的效率越高，得到的獎勵因素越高

表1 調(diào)度流程執(zhí)行標(biāo)準(zhǔn)

其中：DC代指工序調(diào)度執(zhí)行一個周期的完工效率：TFT表示完成一個調(diào)度周期總用時間；ET表示單次調(diào)度完工所用的時間。可以得到TFT與ET呈負(fù)相關(guān)變化趨勢，在TFT總用時不變的狀態(tài)下，單次ET用時越短，意味著此次調(diào)度執(zhí)行效率越高。

泛在電力物聯(lián)網(wǎng)電力資源協(xié)同調(diào)度過程中，上游電力供應(yīng)商有不同的發(fā)電操作形式，在某一發(fā)電網(wǎng)絡(luò)出現(xiàn)故障時，可能存在著電力供給任務(wù)先后延遲的現(xiàn)象，因此合理地預(yù)估這種情況的發(fā)生，對于控制調(diào)度完工時間把握很是必要。此外，在調(diào)度配給時，有效完成一次資源調(diào)度所花費的時間是不少于實際固定資源調(diào)度時間的消耗。消耗的時間與固定需求時間匹配值越高，表示此次調(diào)度方案執(zhí)行的可行性越高。

（2）電力資源均衡下的資源調(diào)度流程執(zhí)行時間成本越大，懲罰越大

研究了均衡任務(wù)調(diào)度下的執(zhí)行效率值，對評判單次任務(wù)調(diào)度的信用值提供了參考。但同時在方案實際應(yīng)用中，又存在著一些其他成本缺失，因此構(gòu)建一個與獎勵措施對應(yīng)的懲罰機(jī)制尤為必要。在調(diào)度初始狀態(tài)下來自下游用戶端需求不確定性因素的漸增，保證現(xiàn)有上游電力資源的正常供給是需要實現(xiàn)的舉措，從而確保整個調(diào)度環(huán)節(jié)的正常運轉(zhuǎn)，本文構(gòu)建了公式（8）所示的獎懲機(jī)制函數(shù)：

其中：SCT表示當(dāng)前調(diào)度狀態(tài)剩余操作時間，用TFT-SCT表示當(dāng)前任務(wù)調(diào)度時間；CP表示此次任務(wù)調(diào)度的完工狀態(tài)，對實際任務(wù)調(diào)度完工執(zhí)行情況用當(dāng)前任務(wù)調(diào)度時間與當(dāng)前調(diào)度操作時間的比值來表示，1.0×10-6×CP2表示任務(wù)調(diào)度的一個獎懲函數(shù)因子。由此可知在接近任務(wù)調(diào)度的末端環(huán)節(jié)，引發(fā)懲罰機(jī)制的幾率相對任務(wù)調(diào)度開始階段會高出很多，因此執(zhí)行合理的任務(wù)調(diào)度是不容忽視的重要節(jié)點。

2 算例應(yīng)用

2.1 算例參數(shù)。以某一地區(qū)發(fā)電網(wǎng)上游3種形式發(fā)電機(jī)組組成的電力資源站點為下游用戶組提供匹配需求。具體的數(shù)據(jù)參數(shù)如下，上游有x=15個電力資源站點可提供資源調(diào)度；y=10個下游需求電力資源的用戶組，構(gòu)成x*y=15×10的矩陣。電力資源供需調(diào)度數(shù)據(jù)集如表2所示：

表2 電力資源供需調(diào)度數(shù)據(jù)集

其中（xi, yj）表示第i行、第j列的數(shù)據(jù)調(diào)度需求，以具體數(shù)值（x1,y3）=（6,7 2）為例，其代表的意思是第1個電力資源站點為第3個下游需求電力資源的用戶組提供資源，資源完工所耗用的加工時間為6個時間單位成本，資源配置所用時間為72個時間單位成本；數(shù)據(jù)集（x9,y7）=（5,3 5）代表著第9個電力資源站點為第7個下游需求電力資源的用戶組提供資源，資源完工所耗用的加工時間為5個時間單位成本，資源配置所用時間為35個時間單位成本。

2.2 算例求解。由于數(shù)據(jù)集調(diào)度的求解流程過于復(fù)雜，通過Python軟件編程進(jìn)行求解。通過不斷地迭代更新逐步逼近理想值，在經(jīng)歷5 000次迭代可以達(dá)到較優(yōu)結(jié)果（如圖2所示）；在cost time=860s開始，從2 400代開始迭代進(jìn)程至結(jié)束第5 000代時始終保持不變，從而獲得最優(yōu)解。從圖3所示迭代變化歷程來看，從第800代開始迭代持續(xù)到達(dá)第2 000代時cost time=1 400s始終保持不變，從而獲得最優(yōu)解。

2.3 算例對比分析。為了保證所提的Q-learning算法對論文求解調(diào)度的廣泛適用性，本文通過引入其他算法進(jìn)行直觀對比驗證。這里使用鯨魚算法進(jìn)行同樣迭代5 000次，在相同的數(shù)據(jù)集（表2）進(jìn)行結(jié)果論證，其結(jié)果對比如表3所示。

圖2 電力調(diào)度Reward獎懲迭代趨勢圖

圖3 電力調(diào)度時間cost-time曲線迭代變化

表3 不同算法結(jié)果對比驗證

如上所述，通過數(shù)據(jù)集表2進(jìn)行算法結(jié)果驗證，可以得到如表3所示的分析結(jié)果，對比改進(jìn)的Q-learning算法求解而言，傳統(tǒng)Q-learning算法用時為920、鯨魚優(yōu)化算法用時為914，據(jù)此可以基本確定本文所提的改進(jìn)的Q-learning算法模型更為理想，滿足帕累托最優(yōu)求解理論，對泛在電力物聯(lián)網(wǎng)下的電力資源上下游資源配置是合理有效的。

3 結(jié)束語

本文探討了產(chǎn)業(yè)中的電力資源物聯(lián)網(wǎng)的上下游資源調(diào)度與應(yīng)用問題，通過構(gòu)建泛在電力物聯(lián)網(wǎng)的調(diào)度模型，并使用改進(jìn)的Q-learning算法進(jìn)行求解，解決了泛在電力物聯(lián)網(wǎng)資源的分工不均、電網(wǎng)資源的信息傳輸滯后等問題。