數(shù)據(jù)驅(qū)動的燃氣應(yīng)急搶修系統(tǒng)設(shè)計與實現(xiàn)

肖文凱

(1.申能(集團)有限公司，上海 201103；2.上海智慧能源工程技術(shù)研究中心，上海 201103)

0 引言

隨著軟硬件技術(shù)的不斷發(fā)展，云計算、大數(shù)據(jù)、北斗定位技術(shù)、深度學(xué)習算法等極大豐富了各行業(yè)信息技術(shù)應(yīng)用的內(nèi)涵和智能化水平，如何將這些技術(shù)應(yīng)用于上海燃氣專業(yè)管理領(lǐng)域，并為燃氣行業(yè)規(guī)劃未來發(fā)展戰(zhàn)略至關(guān)重要[1]。數(shù)字化燃氣及上海燃氣地理數(shù)字平臺的推廣使實時感知的數(shù)據(jù)急劇增長，采用統(tǒng)一采集和存儲的能源數(shù)字平臺，能整合并統(tǒng)一管理上海燃氣數(shù)據(jù)資產(chǎn)。在技術(shù)方面則側(cè)重于推動GIS、SCADA、應(yīng)急處置、車載定位(北斗/GPS)、燃氣綜合信息平臺、視頻監(jiān)控平臺、移動信息管理等孤島化系統(tǒng)的整合和共享[2]。

上海燃氣地下管網(wǎng)超過26 000 km，覆蓋用戶數(shù)約700萬戶，具有感知功能的設(shè)施和測點超過10萬個，規(guī)模在國內(nèi)同行中名列前茅。隨著城市數(shù)字化管理轉(zhuǎn)型及上海燃氣地理數(shù)字信息等平臺的推廣，實時感知的燃氣管網(wǎng)和調(diào)度等數(shù)據(jù)也急劇增長，即為實現(xiàn)燃氣科學(xué)化管理和城市應(yīng)急響應(yīng)提供了數(shù)據(jù)來源[3]。如何構(gòu)建城市燃氣應(yīng)急搶修數(shù)字平臺，建立多源異構(gòu)數(shù)據(jù)的標準化采集、治理和存儲的方法和機制，提高數(shù)據(jù)利用率，形成能源燃氣行業(yè)數(shù)據(jù)驅(qū)動業(yè)務(wù)創(chuàng)新的應(yīng)用示范，為提高上海城市燃氣管理與公共服務(wù)的水平等帶來了諸多新的挑戰(zhàn)。

燃氣數(shù)據(jù)標準趨于統(tǒng)一，但是數(shù)據(jù)標準的落實和數(shù)據(jù)生產(chǎn)維護的工具有緊密的關(guān)系。燃氣數(shù)據(jù)來源多樣且數(shù)據(jù)結(jié)構(gòu)各不相同，核心數(shù)據(jù)無統(tǒng)一編碼標準，彼此間無法有效共享交換數(shù)據(jù)[4]。用于采集和處理燃氣數(shù)據(jù)的方法和流程沒有統(tǒng)一，數(shù)據(jù)的準確性有待提高[5]。本文對多源數(shù)據(jù)統(tǒng)一采集和存儲，形成高效、統(tǒng)一的多源異構(gòu)燃氣數(shù)據(jù)采集方法與處理機制。采用“內(nèi)部數(shù)據(jù)+外部數(shù)據(jù)=知識庫”的方式，將自有數(shù)據(jù)和外部獲取數(shù)據(jù)結(jié)合在一起，實現(xiàn)核心數(shù)據(jù)的標準化、規(guī)范化管理，提高數(shù)據(jù)準確性和質(zhì)量。通過對搶修事故數(shù)據(jù)的實時動態(tài)數(shù)據(jù)分析，建立智能分析模型，從而實現(xiàn)調(diào)度優(yōu)化、應(yīng)急事故分析、站點管理、路徑推薦等功能。

本文主要從燃氣數(shù)字化轉(zhuǎn)型出發(fā)，對數(shù)據(jù)標準化提出解決方案，實現(xiàn)燃氣智能應(yīng)急搶修系統(tǒng)，并對實際運行結(jié)果進行分析。

1 燃氣數(shù)據(jù)標準化方法

建立良好高效快速的數(shù)據(jù)平臺對后續(xù)的算法模型的快速實現(xiàn)提供了有效的支撐[6]。面向大數(shù)據(jù)分析的數(shù)據(jù)結(jié)構(gòu)存在多樣性與及時性等各類要求，所以數(shù)據(jù)架構(gòu)需包含邏輯分區(qū)設(shè)計、多樣化數(shù)據(jù)存儲設(shè)計、及時數(shù)據(jù)處理設(shè)計等。通過燃氣數(shù)據(jù)互聯(lián)建立一套統(tǒng)一的標準體系和指標體系，實現(xiàn)數(shù)據(jù)的清洗與整合。數(shù)據(jù)知識庫是數(shù)據(jù)知識服務(wù)的支撐，是利用數(shù)據(jù)和分析數(shù)據(jù)的基礎(chǔ)，在一個穩(wěn)健的知識庫基礎(chǔ)之上，才能夠進行更為精準的數(shù)據(jù)分析。

1.1 燃氣數(shù)據(jù)治理體系

燃氣服務(wù)和應(yīng)用過程中產(chǎn)生的燃氣數(shù)據(jù)，是燃氣企業(yè)的重要資產(chǎn)，需要采用科學(xué)的方法進行有效管理和長期治理。2017年頒布的ISO/IEC 38505-1《信息技術(shù)IT治理數(shù)據(jù)治理第1部分：ISO/IEC 38500在數(shù)據(jù)治理中的應(yīng)用》，為企業(yè)大數(shù)據(jù)治理提供了可供參考的規(guī)范框架?；诖耍虾Ｈ細饷鞔_數(shù)據(jù)治理標準并逐步搭建起數(shù)據(jù)治理平臺，主要工作如下。

(1)參照ISO/IEC 38500大數(shù)據(jù)治理標準和國家標準《信息技術(shù)服務(wù)治理第5 部分：數(shù)據(jù)治理規(guī)范》，針對數(shù)據(jù)標準不統(tǒng)一、分散維護、數(shù)據(jù)不一致等數(shù)據(jù)治理問題，明確數(shù)據(jù)管理標準、管理責任單位和管理流程，以及相應(yīng)的監(jiān)督機制。

(2)根據(jù)數(shù)據(jù)治理“E(評估)—D(指導(dǎo))—M(監(jiān)督)”方法論，面向開發(fā)、應(yīng)用、運維管理等多種場景，合理分配數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)發(fā)布、數(shù)據(jù)維護等相關(guān)治理任務(wù)，配置統(tǒng)一的數(shù)據(jù)治理工作環(huán)境。圖1為數(shù)據(jù)治理過程示意圖。

圖1 燃氣數(shù)據(jù)統(tǒng)一治理過程

(3)逐步構(gòu)建燃氣企業(yè)數(shù)據(jù)標準，包括體系梳理、元數(shù)據(jù)采集分類、數(shù)據(jù)標準整合和發(fā)布等。體系梳理主要通過現(xiàn)狀調(diào)研、主題編制等傳統(tǒng)手段梳理企業(yè)現(xiàn)有數(shù)據(jù)標準，結(jié)合數(shù)據(jù)治理平臺元數(shù)據(jù)自動化智能化采集等功能對元數(shù)據(jù)進行分析和分類，最終整合出適合企業(yè)應(yīng)用，又便于更新維護，同時又涵蓋業(yè)務(wù)屬性、技術(shù)屬性和管理屬性等特征的企業(yè)級數(shù)據(jù)標準[7]，如圖2所示。

圖2 構(gòu)建企業(yè)數(shù)據(jù)標準

(4)通過匯聚多源數(shù)據(jù)，按企業(yè)數(shù)據(jù)標準進行加工整合，形成基礎(chǔ)數(shù)據(jù)集和各專題數(shù)據(jù)集，保障數(shù)據(jù)服務(wù)平臺通過數(shù)據(jù)服務(wù)網(wǎng)關(guān)對外輸出合規(guī)的高質(zhì)量數(shù)據(jù)，同時增強數(shù)據(jù)監(jiān)控管理和數(shù)據(jù)資產(chǎn)管理等功能，逐步搭建起完善的燃氣數(shù)據(jù)治理平臺，如圖3所示。

圖3 大數(shù)據(jù)治理平臺

1.2 數(shù)據(jù)采集與處理

數(shù)據(jù)采集與互聯(lián)的總體方案是利用現(xiàn)有數(shù)據(jù)，即燃氣公司提供的內(nèi)部數(shù)據(jù)，結(jié)合網(wǎng)上數(shù)據(jù)，即通過網(wǎng)絡(luò)爬蟲爬取的數(shù)據(jù)，按照互聯(lián)規(guī)則與標準，實現(xiàn)互聯(lián)，建立知識庫[8]。利用標簽體系、指標體系、智慧引擎(包括使用到的各類智能算法和模型)等模塊形成數(shù)據(jù)引擎。通過數(shù)據(jù)引擎對各個應(yīng)用點提供技術(shù)與信息支撐。具體過程如圖4所示。

圖4 燃氣數(shù)據(jù)采集和處理過程

實現(xiàn)上海燃氣行業(yè)基礎(chǔ)數(shù)據(jù)和燃氣基礎(chǔ)管網(wǎng)數(shù)據(jù)以及監(jiān)測和保護數(shù)據(jù)的在線共享與服務(wù)功能，包括燃氣行業(yè)專業(yè)數(shù)據(jù)的共享交換功能，以及支持行業(yè)基礎(chǔ)信息處理的空間分析和綜合應(yīng)用。結(jié)合數(shù)據(jù)治理成果，集中對燃氣數(shù)據(jù)的模型、規(guī)范、標準和質(zhì)量進行管控，規(guī)范GIS數(shù)據(jù)、管網(wǎng)數(shù)據(jù)、輸配數(shù)據(jù)、應(yīng)急搶修等燃氣數(shù)據(jù)管理流程。

1.3 燃氣數(shù)據(jù)互聯(lián)

數(shù)據(jù)互聯(lián)的第一步是將自有數(shù)據(jù)標準化，建立標簽體系和指標體系，以統(tǒng)一的標準聯(lián)合網(wǎng)上數(shù)據(jù)，以方便快捷地構(gòu)建知識庫[9]。通過燃氣大數(shù)據(jù)平臺實現(xiàn)公司基礎(chǔ)地理信息數(shù)據(jù)在統(tǒng)一標準下的互聯(lián)互通，以此為基礎(chǔ)開發(fā)數(shù)據(jù)產(chǎn)品和相關(guān)功能，實現(xiàn)SCADA系統(tǒng)、GPS/北斗系統(tǒng)通過數(shù)據(jù)接口按需接入或調(diào)用，便于公司以更加精細和動態(tài)的方式管理各自的日常業(yè)務(wù)，以提高各種管理信息資源的利用率，實現(xiàn)上海燃氣的智能服務(wù)和精細化管理[10]。

數(shù)據(jù)互聯(lián)是根據(jù)燃氣用戶的地址信息進行匹配。將收集到的分散數(shù)據(jù)實現(xiàn)數(shù)據(jù)匯集，建立標簽體系和指標體系，以統(tǒng)一的標準聯(lián)合外部數(shù)據(jù)。接著，進行數(shù)據(jù)的分治和分布計算，形成需要的智能結(jié)果，匯總所有的處理數(shù)據(jù)和智能結(jié)果，聯(lián)合建立一個共享數(shù)據(jù)庫，為數(shù)據(jù)分析和拓展行業(yè)開放性提供強大數(shù)據(jù)支撐。最后，將自有數(shù)據(jù)與網(wǎng)上數(shù)據(jù)按照經(jīng)緯度坐標進行匹配，即可以將2條數(shù)據(jù)整合為1條數(shù)據(jù)。

將全上海市劃分為柵格，最后將各類離散數(shù)據(jù)按照所處柵格坐標進行數(shù)據(jù)互聯(lián)，實現(xiàn)地下燃氣管網(wǎng)與地上用戶數(shù)據(jù)互聯(lián)。將燃氣公司內(nèi)部已有管道數(shù)據(jù)與地上用戶數(shù)據(jù)進行互聯(lián)，形成一個全新的數(shù)據(jù)庫。將地上客戶數(shù)據(jù)與地下管網(wǎng)數(shù)據(jù)根據(jù)柵格形成互聯(lián)，互聯(lián)后的數(shù)據(jù)可以為數(shù)據(jù)視圖分析提供強力的數(shù)據(jù)支持。

1.4 數(shù)據(jù)鄰域處理與分析

通過對上海市地圖劃分成眾多的方格，可以很容易地運用領(lǐng)域的概念來進行模擬計算。根據(jù)用戶所留地址信息，通過百度地圖提供的地址轉(zhuǎn)換功能，生成相應(yīng)的經(jīng)緯度坐標[11]。

數(shù)據(jù)縮放鄰域計算需要同時對方格的鄰域進行快速計算，充分利用計算資源，達到快速計算的目的，方形鄰域可以轉(zhuǎn)換為條帶鄰域，如式(1)所示，

Ν3(Ν4(Ai,j))=Ν4(Ν3(Ai,j))=Ν(Ai,j)

(1)

其中，Ai,j表示目標點，N(Ai,j)表示目標點Ai,j的正方形鄰域中所有方格的集合，鄰域大小為n。

方形鄰域信息計算可以轉(zhuǎn)換為條帶鄰域信息計算，從而避免重復(fù)計算，減低計算復(fù)雜度，式(2)給出具體算法：

(2)

其中，目標信息計算in(N(Ai,j))就是相應(yīng)鄰域信息的一個綜合計算(in=info)。式(2)表示可以先計算方格列鄰域信息，匯集到本方格中然后基于匯聚信息進一步計算行的鄰域信息進行匯聚就得到了方格周邊整個方向鄰域的聚合信息，這種在計算列的時候進一步觀察推進的方式可以將橫向推進實現(xiàn)為完全并發(fā)，而列向推進實現(xiàn)為順序計算，也就是對于每一列可以同時進行列向順序計算，進一步將列減少運算次數(shù)。當基本信息單元集合本身可以單機存儲或者進行稀疏化存儲和相應(yīng)序列化技術(shù)壓縮，之后可以進行單機存儲，那么此時可以通過查詢層并行查詢實現(xiàn)加速計算，主要過程包括創(chuàng)建分布式共享數(shù)據(jù)集，將數(shù)據(jù)分發(fā)到不同機器上，并且對待計算鄰域進行適當切分，每個機器計算一部分鄰域標號集的鄰域信息，從而實現(xiàn)并行計算。具體過程如圖5所示。

圖5 鄰域計算過程

2 智能應(yīng)急搶修系統(tǒng)設(shè)計

智能應(yīng)急搶修系統(tǒng)是燃氣公司用戶在日常工作中監(jiān)測、預(yù)防、處置應(yīng)急事件應(yīng)用的在線輔助系統(tǒng)，為能夠更為全面地提供應(yīng)急參考信息，系統(tǒng)提供跨系統(tǒng)數(shù)據(jù)轉(zhuǎn)換引擎，能夠與SCADA數(shù)據(jù)、應(yīng)急處置數(shù)據(jù)進行交互，實現(xiàn)PC端和移動端的應(yīng)急輔助處置、應(yīng)急狀態(tài)監(jiān)測應(yīng)用功能，便于用戶從系統(tǒng)中及時地獲取應(yīng)急支持，正確制定應(yīng)急策略。具體過程如圖5所示，主要功能包括下述幾點。

(1)開發(fā)系統(tǒng)間數(shù)據(jù)接口。將SCADA系統(tǒng)數(shù)據(jù)接入，使數(shù)據(jù)能在系統(tǒng)的GIS地圖上撒點展示，通過技術(shù)的融合應(yīng)用實現(xiàn)數(shù)據(jù)信息的進一步交互，以能夠為用戶提供更為全面、直觀的信息參考，方便用戶在輸配調(diào)度過程中加強對供氣用氣平衡和安全的監(jiān)測。

(2)應(yīng)急處置交互系統(tǒng)。應(yīng)急處置系統(tǒng)讀取應(yīng)急業(yè)務(wù)交互系統(tǒng)中的GIS基礎(chǔ)地理數(shù)據(jù)、門站數(shù)據(jù)、管網(wǎng)數(shù)據(jù)等數(shù)據(jù)信息，與其采集到的事故信息、事故位置、事故處置過程信息等進行匹配，使應(yīng)急事故數(shù)據(jù)具有地理信息屬性，并再次推送回應(yīng)急業(yè)務(wù)交互系統(tǒng)，在應(yīng)急業(yè)務(wù)交互系統(tǒng)中得到可視化展示和便捷應(yīng)用。具體過程如圖6所示。

圖6 應(yīng)急處置交互系統(tǒng)

(3)移動應(yīng)急輔助處置系統(tǒng)。移動應(yīng)急輔助處置系統(tǒng)通過安裝在手持移動端的App系統(tǒng)幫助用戶實時進行管網(wǎng)分析、圖檔調(diào)閱、道路導(dǎo)航等操作，使用戶能夠不受辦公空間的限制，限時限地實現(xiàn)數(shù)據(jù)信息的應(yīng)急輔助。

(4)應(yīng)急搶修數(shù)據(jù)分析與智能化應(yīng)用。利用天氣數(shù)據(jù)、管網(wǎng)信息以及地理信息數(shù)據(jù)等，將新一代信息技術(shù)與互聯(lián)網(wǎng)實現(xiàn)深度融合，確定安全事件數(shù)據(jù)來源?；谏疃葘W(xué)習、強化學(xué)習、高維大數(shù)據(jù)集成與分解、多維時間序列處理技術(shù)、內(nèi)存數(shù)據(jù)庫、時間片等技術(shù)實現(xiàn)應(yīng)急搶修數(shù)據(jù)智能分析。功能包括：實時對上海市燃氣事故處理分布、精準定位和智能分析；實時確定上海市所有應(yīng)急站點的科學(xué)覆蓋范圍；實時科學(xué)計算上海某地點發(fā)生事故后能有哪些站點到達；實時進行上海市站點無法達到的柵格定位；實時確定上海每一塊土地(柵格)內(nèi)的事故數(shù)，從而實時科學(xué)計算上海市每一塊土地的安全情況；科學(xué)計算全上海市范圍內(nèi)最能提高急修到場及時率的新增站點位置(序列)；科學(xué)云計算全上海市范圍內(nèi)最能減少隱患柵格(規(guī)定時間內(nèi)無站點可達的柵格)的新增站點位置(序列)；急修站點的智能排班；事故搶修跨區(qū)域?qū)崟r智能調(diào)度功能。應(yīng)用上海燃氣城市地理數(shù)據(jù)，實現(xiàn)燃氣智能預(yù)測、管網(wǎng)預(yù)警、區(qū)域燃氣供求實時分析等。利用天氣數(shù)據(jù)、管網(wǎng)信息和地理信息等，實現(xiàn)管網(wǎng)安全事件智能預(yù)測與處理。對管網(wǎng)壓力點進行統(tǒng)一管理，為事故預(yù)警和遠程診斷提供數(shù)據(jù)支持。

3 智能應(yīng)急搶修系統(tǒng)實現(xiàn)

基于華為Fusion Insight Farmer數(shù)據(jù)服務(wù)平臺，實現(xiàn)燃氣數(shù)據(jù)的實時采集、存儲和智能挖掘等功能。通過對搶修事故數(shù)據(jù)的實時動態(tài)分析，建立智能分析模型。實現(xiàn)調(diào)度優(yōu)化、應(yīng)急事故分析、站點管理、路徑推薦等功能，進一步實現(xiàn)以數(shù)據(jù)驅(qū)動業(yè)務(wù)創(chuàng)新，提升公司應(yīng)急搶修管理和服務(wù)水平。

事故數(shù)據(jù)包含14條屬性，包括事故ID、受理時間(年月日)、受理時間(時分)、負責人、受理類型、事故地址、信息來源、聯(lián)系人是否已知、聯(lián)系人電話、客戶性質(zhì)、所屬區(qū)域、時限、處理狀態(tài)和責任單位。事故處理信息數(shù)據(jù)，每條記錄有23條屬性，包括搶修ID、事故ID、派發(fā)單位、派發(fā)時間(年月日)、派發(fā)時間(時分)、事故處理狀態(tài)、所屬區(qū)域、事故類型、搶修站點、事故等級、責任人、出車時間、到場時間、完工時間、銷根時間、接收類型、地址、信息來源、客戶類型、所屬區(qū)域、時限、處理狀態(tài)和責任單位。

在位置分布上，采用領(lǐng)域技術(shù)將事故地理位置信息轉(zhuǎn)成經(jīng)緯度信息，基于事故地址顯示在地圖上，可以通過各項組合選擇自己需要的視圖。在未選擇距離時，確定好各項組合選擇之后，點擊事故詳情信息，可以將滿足條件的事故詳細信息進行展示，包括滿足條件的事故總數(shù)量、事故ID、接受報警時間、事故地址等信息。具體結(jié)果如圖7所示。

圖7 應(yīng)急事故處理結(jié)果

鄰域分析主要是用戶選擇好各個條件之后，用戶選擇希望查看的鄰域范圍并在地圖上進行點擊，選擇位置，然后會在地圖上顯示符合條件的事故的地理位置分布，并在右邊顯示該鄰域范圍內(nèi)在該時間段發(fā)生事故的總數(shù)，事故類型分別對應(yīng)的總數(shù)。將事故點的經(jīng)緯度轉(zhuǎn)換成柵格坐標，計算出事故發(fā)生的柵格到所有站點在不同條件下的距離，然后篩選出符合條件的站點。隨機點擊地圖上一點能夠顯示可達站點，白色站點為可達站點，黑色為不可達站點，并按照優(yōu)先順序進行排序，可以進行優(yōu)先調(diào)度。若此時事故點周圍發(fā)生大面積事故，可達站點無人員可用時，可以優(yōu)先調(diào)度離事故點最近的黑色站點。具體結(jié)果如圖8所示。

圖8 應(yīng)急事故鄰域分析結(jié)果

若是無站點則返回-1；若事故周圍所有站點都被調(diào)走則處于等待狀態(tài)返回0；若是類型轉(zhuǎn)換出錯則返回-2。最終返回結(jié)果顯示在屏幕右邊，能夠調(diào)度站點的顯示：站點X正在支援事故n；若事故無站點可以調(diào)度且處于等待狀態(tài),則顯示事故n處于等待狀態(tài)；若此事故無站點能到，也就是該事故處于0柵格，那么顯示事故n無站點可達。

采用k-means聚類算法對數(shù)據(jù)進行聚類分析。選擇k-means算法，多次調(diào)參后，當簇為4時結(jié)果較優(yōu)，如圖9所示。

圖9 應(yīng)急數(shù)據(jù)聚類和分析結(jié)果

采用k-means聚類算法對數(shù)據(jù)進行聚類分析。選擇k-means算法，多次調(diào)參后，當簇為4時結(jié)果較優(yōu)，如圖9所示(橫坐標為事故數(shù)，縱坐標為聚類系數(shù))。由圖9可知，事故結(jié)果共分為4簇，取其中較為集中的2和3簇。由于簇3下面的部分較為稀疏，最為集中且數(shù)量最多的時間段為簇2部分及簇3上面的部分，所以取簇2部分的上限為白班結(jié)束的時間。多次實驗得出的平均值為0.724 4，換算成時間為17：23，與之前推測的17：30結(jié)果接近。所以聚類算法實驗?zāi)茯炞C其結(jié)果，推薦白班時間為7：30—17：30。

4 總結(jié)

燃氣大數(shù)據(jù)是大數(shù)據(jù)技術(shù)在燃氣領(lǐng)域的深入應(yīng)用，是能源生產(chǎn)、消費及相關(guān)技術(shù)革命與大數(shù)據(jù)理念的深度融合。本文提出對不同來源的燃氣數(shù)據(jù)進行數(shù)據(jù)整理、清洗和集成，以保證燃氣數(shù)據(jù)質(zhì)量。智能挖掘燃氣數(shù)據(jù)資源與價值，拓展基于互聯(lián)網(wǎng)的燃氣智能化服務(wù)，動態(tài)分析應(yīng)急站點和流動搶修設(shè)施信息，實現(xiàn)通過新增5個搶修站點合理布局、搶修人員智能排班和事故搶修智能調(diào)度，上海燃氣事故半小時內(nèi)應(yīng)急搶修及時率從51%提高到83%以上(得到有效提高)，應(yīng)急搶修覆蓋范圍也顯著增加，通過有針對性地提供精細化服務(wù)，形成城市燃氣行業(yè)的發(fā)展轉(zhuǎn)型和基于物聯(lián)網(wǎng)的“城市大腦”核心競爭力。