基于云原生的水電能源通用模型框架探究與實(shí)踐

中國長(zhǎng)江電力股份有限公司 楊旭 張玉柱

當(dāng)前水電能源是我國的重要能源之一，水電數(shù)學(xué)模型是其開發(fā)過程的重要組成部分。三峽是我國重要的水利樞紐工程，流域內(nèi)水系狀況復(fù)雜，存在多個(gè)大型水庫形成梯級(jí)水庫，水電能源資源開發(fā)潛力大，且三峽流域內(nèi)水資源模型復(fù)雜多樣，當(dāng)前缺乏統(tǒng)一的通用模型開發(fā)體系。本文以三峽模型利用現(xiàn)狀及水利信息化建設(shè)為基礎(chǔ)，基于擁有自主知識(shí)產(chǎn)權(quán)的模型云平臺(tái)構(gòu)建了高效的水電能源開發(fā)框架，可為三峽水電能源開發(fā)、研究模型通用框架體系提供相關(guān)參考。

智慧水利建設(shè)需要在頂層設(shè)計(jì)的指導(dǎo)下，分目標(biāo)、分階段、分層次逐步推進(jìn)[1]。數(shù)字水利通常要求在完整體系框架下，進(jìn)行數(shù)字的采集、組織、存儲(chǔ)、整合與標(biāo)準(zhǔn)化轉(zhuǎn)換，在具體的數(shù)學(xué)模型之上建立完備的數(shù)據(jù)信息服務(wù)架構(gòu)[2]，水利建設(shè)項(xiàng)目施工一般具有施工地環(huán)境復(fù)雜、施工難度較大等特點(diǎn)，導(dǎo)致施工過程中事故發(fā)生可能性大。然而目前在水利工程項(xiàng)目過程中的風(fēng)險(xiǎn)評(píng)估多由現(xiàn)場(chǎng)相關(guān)管理人員手動(dòng)分析，出錯(cuò)的可能性大，費(fèi)時(shí)費(fèi)力，且現(xiàn)有的水利模型無法對(duì)水利項(xiàng)目風(fēng)險(xiǎn)進(jìn)行精準(zhǔn)的分析和預(yù)測(cè)[3]。

當(dāng)前隨著國家對(duì)電力改革的不斷推進(jìn)，流域水電站調(diào)度目標(biāo)更加注重發(fā)電綜合效益的最大化[4]，我國大水電快速發(fā)展，長(zhǎng)江三峽流域有大型梯級(jí)水電站群，如何使梯級(jí)電站的效益最大化，大范圍優(yōu)化配置水資源十分重要[5]，長(zhǎng)江三峽流域水電數(shù)學(xué)模型多樣化，做好水資源的預(yù)報(bào)調(diào)度十分必要，然而當(dāng)前水電能源統(tǒng)一框架還不完善，基于貴仁模型云平臺(tái)利用云原生技術(shù)研發(fā)的水電能源通用框架可大幅提升水電能源利用效率。

1 總體設(shè)計(jì)

基于貴仁模型云平臺(tái)利用云原生的水電能源通用模型建設(shè)功能模塊，主要有水資源大數(shù)據(jù)中臺(tái)和模型標(biāo)準(zhǔn)化平臺(tái)，如圖1 所示。其中水資源大數(shù)據(jù)中臺(tái)包括數(shù)據(jù)管理平臺(tái)、業(yè)務(wù)中臺(tái)和集成中臺(tái)；基于云原生的水電能源通用模型標(biāo)準(zhǔn)化平臺(tái)包括通用模型組件庫、用戶空間、模型管理、方案管理、參數(shù)率定、模型評(píng)價(jià)、交互式編碼以及模型成果集等。

圖1 模型標(biāo)準(zhǔn)化平臺(tái)整體系統(tǒng)功能架構(gòu)Fig.1 Overall system function architecture of model standardization platform

2 應(yīng)用實(shí)例

2.1 通用模型框架建設(shè)背景

長(zhǎng)江電力水資源相關(guān)業(yè)務(wù)系統(tǒng)多為相對(duì)獨(dú)立的應(yīng)用系統(tǒng)，不同系統(tǒng)內(nèi)部集成程度高，導(dǎo)致數(shù)據(jù)分散在各個(gè)應(yīng)用系統(tǒng)數(shù)據(jù)庫中，業(yè)務(wù)系統(tǒng)使用的算法模型參數(shù)不能提供給其他系統(tǒng)進(jìn)行調(diào)用。系統(tǒng)的快速研發(fā)會(huì)加劇應(yīng)用分散、數(shù)據(jù)分散、重復(fù)建設(shè)、使用率不充分的現(xiàn)象出現(xiàn)。同時(shí)，快速的需求變化要求敏捷開發(fā)快速滿足應(yīng)用要求。

為支撐金沙江下游——三峽梯級(jí)的調(diào)度運(yùn)行，三峽梯調(diào)積累了大量預(yù)報(bào)、調(diào)度等模型研究成果，有效支撐了梯級(jí)水電站的實(shí)際生產(chǎn)運(yùn)行。然而，由于氣候變化與人類活動(dòng)影響，上游梯級(jí)水庫群陸續(xù)建成投運(yùn)，預(yù)報(bào)、調(diào)度模型面臨各種變化因素，實(shí)時(shí)評(píng)價(jià)模型在實(shí)際生產(chǎn)應(yīng)用中的效果，并針對(duì)變化的條件對(duì)模型進(jìn)行針對(duì)性的升級(jí)和改造，是保持模型長(zhǎng)效服務(wù)的關(guān)鍵。目前，模型應(yīng)用效果評(píng)價(jià)主要依靠調(diào)度人員的經(jīng)驗(yàn)，由于水資源領(lǐng)域研發(fā)的模型眾多，在實(shí)際應(yīng)用過程中缺乏長(zhǎng)效、系統(tǒng)的模型評(píng)價(jià)機(jī)制，大量模型研發(fā)成果未能有效地在生產(chǎn)中發(fā)揮作用。模型研究的更新迭代主要依靠重新立項(xiàng)研發(fā)，模型研發(fā)成果的累計(jì)效益未能充分發(fā)揮。因此，亟待在現(xiàn)有的大量模型研發(fā)成果的基礎(chǔ)上，研發(fā)一套基于貴仁模型云的梯級(jí)調(diào)度科學(xué)研究開放平臺(tái)，通過標(biāo)準(zhǔn)接口接入模型研發(fā)成果，并基于模擬的生產(chǎn)環(huán)境為各類模型研發(fā)成果提供實(shí)時(shí)數(shù)據(jù)接入，依據(jù)相應(yīng)的評(píng)價(jià)指標(biāo)體系對(duì)科研成果進(jìn)行實(shí)時(shí)評(píng)價(jià)，以實(shí)現(xiàn)科學(xué)研究成果的高效積累、提高科學(xué)研究成果的質(zhì)量，促進(jìn)科研成果的轉(zhuǎn)化落地。

2.2 標(biāo)準(zhǔn)化模型平臺(tái)體系

貴仁模型云的模型標(biāo)準(zhǔn)化平臺(tái)依托長(zhǎng)江電力工業(yè)互聯(lián)網(wǎng)基礎(chǔ)設(shè)施平臺(tái)提供的物理設(shè)備和基礎(chǔ)軟件服務(wù)，包括服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)集群以及Docker、容器管理、資源虛擬化等。模型管理平臺(tái)內(nèi)部集成了一套數(shù)據(jù)管理平臺(tái)，將模型組件和方案計(jì)算過程中需要的數(shù)據(jù)從已有業(yè)務(wù)系統(tǒng)中做統(tǒng)一的抽取存儲(chǔ)，模型標(biāo)準(zhǔn)化平臺(tái)對(duì)上層的應(yīng)用支撐服務(wù)提供相應(yīng)的模型計(jì)算服務(wù)及模型計(jì)算的成果數(shù)據(jù)服務(wù)。

模型標(biāo)準(zhǔn)化平臺(tái)主要包含數(shù)據(jù)管理平臺(tái)和模型管理平臺(tái)兩部分，如圖2 所示。數(shù)據(jù)管理平臺(tái)包括數(shù)據(jù)源管理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)整合計(jì)算、數(shù)據(jù)資源目錄、數(shù)據(jù)分析展示以及數(shù)據(jù)服務(wù)等功能；模型標(biāo)準(zhǔn)化平臺(tái)包括可視化建模、通用模型組件集合管理、用戶空間、模型在線編碼等。

圖2 標(biāo)準(zhǔn)模型體系圖Fig.2 Standard model system diagram

2.3 構(gòu)建原則

作為科學(xué)計(jì)算模型標(biāo)準(zhǔn)化運(yùn)行基礎(chǔ)平臺(tái)，建設(shè)過程中采用云計(jì)算、虛擬化等技術(shù)，保證各項(xiàng)業(yè)務(wù)的正常運(yùn)行。軟件開發(fā)采用DevOps 等主流的軟件開發(fā)和部署方案，測(cè)試和開發(fā)同步進(jìn)行，及時(shí)修補(bǔ)各類軟件故障，保證代碼的完備性，以確保平臺(tái)的穩(wěn)定性。

在建設(shè)過程中需保證各類數(shù)據(jù)資源和計(jì)算資源的可用性，采用負(fù)載均衡、彈性伸縮、冗余備份、異地備份等方式，提高系統(tǒng)的健壯程度。在正式部署后，進(jìn)行各類壓力測(cè)試，保證系統(tǒng)在多用戶、多任務(wù)的情況下穩(wěn)定運(yùn)行。

2.3.1 模型框架數(shù)據(jù)結(jié)構(gòu)

數(shù)據(jù)組織結(jié)構(gòu)中按照不同專業(yè)類型分為氣象類、水文類、電站類、電力市場(chǎng)、調(diào)度類以及電廠運(yùn)行計(jì)劃方式等。通過數(shù)據(jù)管理平臺(tái)將數(shù)據(jù)抽取（ETL）、數(shù)據(jù)交互、數(shù)據(jù)同步、數(shù)據(jù)導(dǎo)入等方式，從相關(guān)的數(shù)據(jù)庫、文檔等存儲(chǔ)介質(zhì)中導(dǎo)入各項(xiàng)水利工程實(shí)時(shí)數(shù)據(jù)、行業(yè)相關(guān)數(shù)據(jù)以及統(tǒng)計(jì)數(shù)據(jù)等，同時(shí)利用網(wǎng)絡(luò)爬取行業(yè)相關(guān)的水利、發(fā)電生產(chǎn)、電力市場(chǎng)等網(wǎng)絡(luò)數(shù)據(jù)。所有的數(shù)據(jù)通過數(shù)據(jù)清理、真值識(shí)別、質(zhì)量控制等相關(guān)的去重去偽操作之后，存入數(shù)據(jù)服務(wù)平臺(tái)提供的數(shù)據(jù)庫中。

所有的服務(wù)統(tǒng)一在調(diào)度數(shù)據(jù)與計(jì)算服務(wù)平臺(tái)中注冊(cè)，并對(duì)外發(fā)布。調(diào)度數(shù)據(jù)與計(jì)算服務(wù)平臺(tái)提供各類接口的管理功能，實(shí)現(xiàn)資源的統(tǒng)一管理。主要負(fù)責(zé)協(xié)調(diào)內(nèi)外的服務(wù)注冊(cè)、路由、資源檢索、調(diào)用監(jiān)控、安全認(rèn)證，并制定統(tǒng)一的標(biāo)準(zhǔn)，形成API 管理中心。

基于云原生的水電能源通用模型標(biāo)準(zhǔn)化平臺(tái)提供一個(gè)數(shù)據(jù)管理平臺(tái)的模塊，數(shù)據(jù)管理平臺(tái)能接入水調(diào)自動(dòng)化系統(tǒng)、氣象業(yè)務(wù)系統(tǒng)、泥沙管理系統(tǒng)、文檔系統(tǒng)、水工程系統(tǒng)、外部互聯(lián)網(wǎng)數(shù)據(jù)等結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)等，按照數(shù)據(jù)業(yè)務(wù)的類型，對(duì)數(shù)據(jù)進(jìn)行采集、清理、存儲(chǔ)和管理。將各個(gè)系統(tǒng)中的離散數(shù)據(jù)統(tǒng)一匯聚于大數(shù)據(jù)中臺(tái)平臺(tái)內(nèi)，同時(shí)提供數(shù)據(jù)整合功能，對(duì)數(shù)據(jù)進(jìn)行再處理，以及以接口的形式對(duì)外提供對(duì)應(yīng)的數(shù)據(jù)服務(wù)。

2.3.2 通用模型運(yùn)行框架主要類型

（1）ModelExecutor：模型、方案的執(zhí)行類，負(fù)責(zé)具體模型或方案的執(zhí)行。采用深度優(yōu)先遍歷算法對(duì)由模型組件構(gòu)成的方案（有向無環(huán)圖結(jié)構(gòu)）進(jìn)行遍歷，多線程執(zhí)行方案的圖數(shù)據(jù)結(jié)構(gòu)中的所有未執(zhí)行的非依賴節(jié)點(diǎn)。并將節(jié)點(diǎn)的返回?cái)?shù)據(jù)綁定到依賴其結(jié)果的模型組件節(jié)點(diǎn)。依次迭代執(zhí)行，直到所有節(jié)點(diǎn)都被執(zhí)行完畢。

（2）AbstractModel：模型組件的抽象類，平臺(tái)所有模型組件的模型類必須實(shí)現(xiàn)的父類，包括數(shù)倉數(shù)據(jù)類、文件數(shù)據(jù)類、模型算法類、方案類等。

（2）RunStatus：模型組件運(yùn)行狀態(tài)類，主要有Success、Failed、Doing 三種狀態(tài)。

（4）DataModel：數(shù)倉數(shù)據(jù)接入類，其按照設(shè)置的數(shù)據(jù)源及檢索條件從數(shù)倉中讀取數(shù)據(jù)，由方案執(zhí)行類將數(shù)據(jù)綁定到依賴其結(jié)果的模型組件節(jié)點(diǎn)。

（5）FileModel：文件數(shù)據(jù)接入類，可以通過文件數(shù)據(jù)接入類接收臨時(shí)上傳的文件數(shù)據(jù)，并作為數(shù)據(jù)源輸出給依賴的模型組件作為輸入。

（6）AlgorithmModel：模型算法類，指除了數(shù)據(jù)接入模型組件之外的所有數(shù)據(jù)處理類模型組件，可以是數(shù)據(jù)質(zhì)量處理模型組件、預(yù)報(bào)類模型組件、調(diào)度類模型組件、機(jī)器學(xué)習(xí)類模型組件或者模型評(píng)價(jià)類模型組件。

（7）PlanModel：方案類，方案同樣可以作為其他方案中的一個(gè)模型組件被集成到一個(gè)更大范圍的方案中，以支持多人多方案多流域多模型協(xié)作。

2.3.3 模型通用框架部署

為了能夠接入現(xiàn)存的各類“異形”模型，需要了解這些模型的具體要求，并提供一個(gè)能滿足這些要求的基礎(chǔ)設(shè)施來適配各種模型，這個(gè)基礎(chǔ)設(shè)施就是模型適配器。同時(shí)，為了能夠支持各種模型的運(yùn)行環(huán)境，使用容器技術(shù)對(duì)各自的運(yùn)行環(huán)境進(jìn)行隔離且后續(xù)可以更好地對(duì)運(yùn)行環(huán)境進(jìn)行擴(kuò)展。模型適配器為模型的外殼程序，將異構(gòu)的模型包裝起來，對(duì)外提供統(tǒng)一的接口。主要職責(zé)為模型的數(shù)據(jù)輸入、數(shù)據(jù)輸出、啟動(dòng)模型、收集模型反饋信息和結(jié)果數(shù)據(jù)。用Java 語言開發(fā)，可以直接由Java 集成并調(diào)用。模型服務(wù)層則負(fù)責(zé)與外部服務(wù)進(jìn)行通信，用于接收外部參數(shù)并返回計(jì)算結(jié)果。在接收到啟動(dòng)指令后，根據(jù)接口查找對(duì)應(yīng)適配器并實(shí)例化運(yùn)行。

服務(wù)層內(nèi)部主要分為API 接口層和執(zhí)行器層。API 層主要負(fù)責(zé)與外部服務(wù)進(jìn)行通信，進(jìn)行模型計(jì)算任務(wù)的啟動(dòng)、獲取進(jìn)度、日志等控制；執(zhí)行器層主要負(fù)責(zé)對(duì)各類接入的模型進(jìn)行調(diào)用。其中，可以無縫接入Java、Python和動(dòng)態(tài)庫三類實(shí)現(xiàn)標(biāo)準(zhǔn)模型（即實(shí)現(xiàn)標(biāo)準(zhǔn)化平臺(tái)接口標(biāo)準(zhǔn)的模型，同理，未實(shí)現(xiàn)標(biāo)準(zhǔn)化平臺(tái)接口的標(biāo)準(zhǔn)，稱為非標(biāo)模型）。其他非標(biāo)模型，則可統(tǒng)一使用Java 實(shí)現(xiàn)對(duì)應(yīng)的模型適配器，“偽裝”成標(biāo)準(zhǔn)Java 模型進(jìn)行接入。

2.3.4 模型運(yùn)行調(diào)用流程

模型標(biāo)準(zhǔn)化平臺(tái)的整體架構(gòu)分層有兩層，上層是模型標(biāo)準(zhǔn)化平臺(tái)基于標(biāo)準(zhǔn)對(duì)象數(shù)據(jù)結(jié)構(gòu)的調(diào)用體系流程；下層是對(duì)接各具體業(yè)務(wù)模型的模型適配層，標(biāo)準(zhǔn)對(duì)象數(shù)據(jù)結(jié)構(gòu)參考業(yè)界相關(guān)軟件主流標(biāo)準(zhǔn)，最大限度地與物理實(shí)體映射。模型適配層通過適配器將標(biāo)準(zhǔn)對(duì)象的參數(shù)結(jié)構(gòu)轉(zhuǎn)換成具體模型需要的參數(shù)格式。解析模型輸出結(jié)構(gòu)為標(biāo)準(zhǔn)對(duì)象結(jié)構(gòu)返回到模型標(biāo)準(zhǔn)化平臺(tái)調(diào)用運(yùn)行體系中去。

3 結(jié)語

三峽水電能用模型通用框架體系的建立，整合并充分利用了三峽現(xiàn)有的模型資源，結(jié)合貴仁模型云工具集成了模型標(biāo)準(zhǔn)化平臺(tái)。基于云原生的三峽水電能源模型通用框架的建設(shè)與完善將不斷提升三峽水利信息化水平，帶動(dòng)智慧水利相關(guān)產(chǎn)業(yè)發(fā)展，促使產(chǎn)業(yè)結(jié)構(gòu)更加多元化。

模型標(biāo)準(zhǔn)化平臺(tái)的建立，可為長(zhǎng)江流域防洪提供更加精準(zhǔn)化的防汛調(diào)度決策支持，并為當(dāng)?shù)厝嗣竦纳a(chǎn)生活提供保障。三峽基于貴仁模型云的水電能源通用模型框架建設(shè)是按照智慧水利建設(shè)“全國一盤棋”思路，統(tǒng)籌考慮水利部和流域機(jī)構(gòu)相關(guān)規(guī)劃，進(jìn)行針對(duì)性建設(shè)的智慧水利先行先試工程，是響應(yīng)國家智慧水利建設(shè)的重要體現(xiàn)，具有技術(shù)攻關(guān)和示范引領(lǐng)作用，有助于推進(jìn)長(zhǎng)江流域水利（水文）信息化向水利（水文）智慧化轉(zhuǎn)變。