探討天然氣管網(wǎng)大數(shù)據(jù)分析方法及發(fā)展建議

王興軍 王瑞林

河北省任丘市華北油田華港燃?xì)饧瘓F(tuán)有限公司 河北 任丘 062552

1 天然氣管網(wǎng)大數(shù)據(jù)概述

1.1 天然氣管網(wǎng)大數(shù)據(jù)的內(nèi)涵

在長(zhǎng)期運(yùn)行過程中，天然氣管網(wǎng)積累了大量的運(yùn)行數(shù)據(jù)與管理數(shù)據(jù)，例如故障數(shù)據(jù)、歷史負(fù)荷數(shù)據(jù)、性能監(jiān)測(cè)數(shù)據(jù)等，需利用大數(shù)據(jù)分析技術(shù)開展數(shù)據(jù)采集與處理等工作，加強(qiáng)管網(wǎng)建設(shè)[1]。

1.2 天然氣管網(wǎng)大數(shù)據(jù)的特點(diǎn)

（1）數(shù)據(jù)量大。首先，天然氣管網(wǎng)的SCADA 系統(tǒng)、智能視頻監(jiān)控系統(tǒng)與設(shè)備運(yùn)行監(jiān)測(cè)系統(tǒng)等系統(tǒng)在運(yùn)行過程中會(huì)產(chǎn)生和積累大量的運(yùn)行數(shù)據(jù)。其次，天然氣管網(wǎng)的運(yùn)行管理會(huì)受到市場(chǎng)供需、環(huán)境以及天氣等各個(gè)方面因素的影響應(yīng)收集外部數(shù)據(jù)，為運(yùn)行管理提供關(guān)鍵依據(jù)。

（2）采集速度跨度大。天然氣管網(wǎng)具有多種不同類型的傳感器與業(yè)務(wù)場(chǎng)景，且數(shù)據(jù)采集覆蓋管網(wǎng)的各個(gè)階段，毫秒級(jí)數(shù)據(jù)、日常檢修記錄等都需要采集，數(shù)據(jù)類型不同，具有不同的實(shí)效性，對(duì)相應(yīng)速度也有不同要求。

（3）類型多樣。天然氣管網(wǎng)的數(shù)據(jù)來(lái)自多個(gè)環(huán)節(jié)與部門的數(shù)據(jù)系統(tǒng)，例如調(diào)度運(yùn)行、市場(chǎng)營(yíng)銷等環(huán)節(jié)以及管道生產(chǎn)管理系統(tǒng)、SCADA 系統(tǒng)等。同時(shí)，天然氣管網(wǎng)的數(shù)據(jù)類型較多，其中常見類型有結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化等類型。非結(jié)構(gòu)化數(shù)據(jù)即圖像、視頻等，半結(jié)構(gòu)化數(shù)據(jù)有地質(zhì)與氣象等信息數(shù)據(jù)，這些數(shù)據(jù)不斷增加，導(dǎo)致分析工作愈加困難。

（4）價(jià)值密度差異大。天然氣管網(wǎng)的數(shù)據(jù)類型多樣，其信息含量與價(jià)值密度也不同。

（5）數(shù)據(jù)具有較強(qiáng)的關(guān)聯(lián)性、時(shí)序性與復(fù)雜性。天然氣管道的可靠性決定于設(shè)備、環(huán)境等狀態(tài)，所以數(shù)據(jù)具有關(guān)聯(lián)性；天然氣管網(wǎng)的運(yùn)行工藝是環(huán)環(huán)相扣的，所以運(yùn)行數(shù)據(jù)的時(shí)序性較強(qiáng)；天然氣管網(wǎng)的運(yùn)行管理覆蓋了多個(gè)平臺(tái)，業(yè)務(wù)場(chǎng)景十分復(fù)雜，數(shù)據(jù)的復(fù)雜性也較強(qiáng)。

2 天然氣管網(wǎng)大數(shù)據(jù)分析方法

近年來(lái)，我國(guó)不斷研究天然氣管道數(shù)字化，積累了數(shù)據(jù)處理的經(jīng)驗(yàn)。因此中石油、中石化等企業(yè)以管道智慧化發(fā)展為目標(biāo)進(jìn)行了天然氣管網(wǎng)大數(shù)據(jù)分析基本邏輯與思路的探索（圖1），也明確了大數(shù)據(jù)分析方法（圖2）。

圖1 天然氣管網(wǎng)大數(shù)據(jù)分析的基本邏輯

2.1 數(shù)據(jù)處理方法

當(dāng)前，在處理天然氣管網(wǎng)數(shù)據(jù)時(shí)出現(xiàn)了諸多問題，需明確問題并解決。第一，管網(wǎng)運(yùn)行數(shù)據(jù)可能會(huì)丟失或重復(fù)。第二，管網(wǎng)數(shù)據(jù)會(huì)出現(xiàn)噪聲。第三，管網(wǎng)數(shù)據(jù)具有多源異構(gòu)的特點(diǎn)。第四，天然氣管網(wǎng)中的傳感器較多，數(shù)據(jù)間的非線性關(guān)系較為復(fù)雜，需要通過降維處理解決信息冗余等問題。為了解決這些問題，應(yīng)當(dāng)深入研究數(shù)據(jù)清洗、特征篩選與特征重構(gòu)等方法。

（1）數(shù)據(jù)清洗。數(shù)據(jù)清洗是解決數(shù)據(jù)處理問題的關(guān)鍵手段，其準(zhǔn)備工作是利用數(shù)據(jù)解析以及一致性驗(yàn)證等不同的方法檢測(cè)數(shù)據(jù)，從而發(fā)現(xiàn)數(shù)據(jù)當(dāng)中的問題，例如值域格式錯(cuò)誤、語(yǔ)法錯(cuò)誤等。之后，需要通過相關(guān)統(tǒng)計(jì)方法與數(shù)據(jù)轉(zhuǎn)換方法進(jìn)行異常數(shù)據(jù)的修正與剔除。天然氣管道的生產(chǎn)數(shù)據(jù)是以時(shí)間序列為主的，常出現(xiàn)的數(shù)據(jù)異常情況包括傳感器故障等因素造成的數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)等，需要通過插值、統(tǒng)計(jì)分析以及聚類等方法進(jìn)行異常數(shù)據(jù)的檢測(cè)與糾正[2]。同時(shí)，若數(shù)據(jù)噪聲影響到了分析結(jié)果，需要利用小波分解、濾波等方法消除噪聲。

（2）數(shù)據(jù)特征篩選。一般情況下，數(shù)據(jù)處理人員都會(huì)直接將數(shù)據(jù)特征輸入數(shù)據(jù)分析模型當(dāng)中，模型雖然可以處理這些問題，但是會(huì)加大計(jì)算量，降低運(yùn)行效率，且過多的數(shù)據(jù)特征也會(huì)導(dǎo)致模型專注學(xué)習(xí)數(shù)據(jù)當(dāng)中的偽規(guī)律，降低分析結(jié)果的準(zhǔn)確性。這一問題需通過數(shù)據(jù)特征篩選解決，即從天然氣管網(wǎng)數(shù)據(jù)特征集合當(dāng)中篩選出具有代表性的數(shù)據(jù)特征子集，減小分析模型的計(jì)算量，提高運(yùn)行效率，且通過篩選不會(huì)改變數(shù)據(jù)特征的表現(xiàn)形式。

（3）數(shù)據(jù)特征重構(gòu)。數(shù)據(jù)處理人員會(huì)以數(shù)據(jù)- 任務(wù)映射關(guān)系為基礎(chǔ)選擇天然氣管網(wǎng)數(shù)據(jù)特征。但是，由于數(shù)據(jù)分析具有復(fù)雜的分析場(chǎng)景，若情況復(fù)雜，便無(wú)法明確數(shù)據(jù)與任務(wù)之間的映射關(guān)系，便無(wú)法有效選擇數(shù)據(jù)特征。為此，需要進(jìn)行數(shù)據(jù)特征重構(gòu)。重構(gòu)數(shù)據(jù)特征即在保證原始數(shù)據(jù)不發(fā)生改變的基礎(chǔ)上，通過有效措施將原始數(shù)據(jù)轉(zhuǎn)變?yōu)樾碌臄?shù)據(jù)特征。常用的轉(zhuǎn)換方法為無(wú)監(jiān)督學(xué)習(xí)，例如成分分析等，可為數(shù)據(jù)特征的降維處理提供幫助。但是這種方法比較適用于線性數(shù)據(jù)特征重構(gòu)，對(duì)于非線性數(shù)據(jù)特征重構(gòu)來(lái)說(shuō)，需要應(yīng)用多層神經(jīng)網(wǎng)絡(luò)的無(wú)監(jiān)督學(xué)習(xí)方法，例如深度自編碼器模型。

2.2 數(shù)據(jù)挖掘

在天然氣管網(wǎng)大數(shù)據(jù)分析中，數(shù)據(jù)挖掘占據(jù)著重要地位，進(jìn)行數(shù)據(jù)挖掘是利用數(shù)據(jù)分析模型與算法在海量數(shù)據(jù)中選取有效數(shù)據(jù)。從智慧管網(wǎng)的實(shí)際需求來(lái)看，需要通過預(yù)測(cè)預(yù)警、模式識(shí)別等手段挖掘數(shù)據(jù)。

（1）預(yù)測(cè)預(yù)警。智慧管網(wǎng)有兩大功能的實(shí)現(xiàn)難度較大，即預(yù)測(cè)預(yù)警可控與綜合性預(yù)判，只有利用預(yù)測(cè)預(yù)警才能夠?qū)崿F(xiàn)這兩個(gè)功能。管網(wǎng)中的預(yù)測(cè)預(yù)警方法包括兩種類型，一是預(yù)測(cè)天然氣管網(wǎng)運(yùn)行壓力流量、用戶需求等方面參數(shù)的方法，二是預(yù)測(cè)管網(wǎng)運(yùn)行異常的方法。

（2）模式識(shí)別，有利于實(shí)現(xiàn)智慧管網(wǎng)的全方位感知。天然氣管網(wǎng)中的數(shù)據(jù)模式識(shí)別方法有模式挖掘與模式區(qū)分。挖掘模式的依據(jù)有先驗(yàn)知識(shí)與數(shù)據(jù)關(guān)系。若想明確天然氣管網(wǎng)數(shù)據(jù)的模式就需要明確表征數(shù)據(jù)與量化數(shù)據(jù)之間的屬性差異，完整這一項(xiàng)任務(wù)后需要進(jìn)行模式區(qū)分，繼而形成聚類方法。有很多常用的聚類方法，例如距離聚類、層次與密度聚類等，不同聚類方法的應(yīng)用場(chǎng)景與適用的數(shù)據(jù)類型不同。其中距離聚類方法的應(yīng)用范圍最為廣泛，可以通過距離判斷數(shù)據(jù)對(duì)象間的相似度。假設(shè)兩個(gè)數(shù)據(jù)對(duì)象分別為a 和b，兩者之間的相似度為Sim（a,b），兩者之間的距離為d（a,b），可以通過Sim（a,b）=1/［1+d（a,b）］這一公式得到兩者之間的相似度。

（3）模式區(qū)分。模式挖掘可以解決數(shù)據(jù)認(rèn)識(shí)問題，而模式區(qū)分可以解決數(shù)據(jù)識(shí)別問題。模式挖掘即判斷數(shù)據(jù)對(duì)象的所屬模式，常用的模式區(qū)分方法包括判別式與生成式這兩種類型。判別式區(qū)分方法主要是通過學(xué)習(xí)歷史數(shù)據(jù)，在特征與模式類別之間構(gòu)建相應(yīng)聯(lián)系，繼而建模。生成式區(qū)分方法是根據(jù)大量數(shù)據(jù)的特點(diǎn)進(jìn)行分布學(xué)習(xí)，算出給定特征條件下不同類別出現(xiàn)的概率分布情況。

2.3 數(shù)據(jù)分析與決策

天然氣管網(wǎng)的子系統(tǒng)較多，所以其決策場(chǎng)景較為復(fù)雜，涉及諸多數(shù)據(jù)，而多元化數(shù)據(jù)之間存在人為阻隔或天然壁壘，阻礙了智慧管網(wǎng)的發(fā)展。只有突破這些壁壘才能夠?yàn)橹悄軟Q策奠定基礎(chǔ)，常用的方法有多源異構(gòu)數(shù)據(jù)的綜合分析方法、跨部門數(shù)據(jù)的協(xié)同分析方法。

（1）多源異構(gòu)數(shù)據(jù)的綜合分析方法。天然氣管網(wǎng)的數(shù)據(jù)類型較多，具有多源異構(gòu)的特點(diǎn)，加大了數(shù)據(jù)應(yīng)用的難度。需要通過多種手段發(fā)展天然氣管網(wǎng)多源異構(gòu)數(shù)據(jù)的多模態(tài)學(xué)習(xí)方法，從而解決數(shù)據(jù)分析問題。首先，需要發(fā)展管網(wǎng)數(shù)據(jù)的多模態(tài)表示學(xué)習(xí)。對(duì)于結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)表示學(xué)習(xí)可以將原始信息轉(zhuǎn)變?yōu)橛?jì)算機(jī)可處理的數(shù)值向量，主要是將結(jié)構(gòu)性數(shù)據(jù)映射到統(tǒng)一表示空間當(dāng)中或者將不同模態(tài)的信息映射到各自滿足統(tǒng)一約束的表示空間[3]。其次，需要發(fā)展管網(wǎng)數(shù)據(jù)的多模態(tài)融合學(xué)習(xí)。多模態(tài)融合學(xué)習(xí)可以整合多個(gè)模態(tài)的信息，從而提高分析與決策質(zhì)量。

（2）跨部門數(shù)據(jù)的協(xié)同分析方法。人為壁壘也是數(shù)據(jù)間的主要壁壘，需要通過有效手段打破這些壁壘，進(jìn)行跨部門數(shù)據(jù)的協(xié)同分析。近年來(lái)，醫(yī)療、金融業(yè)等多個(gè)領(lǐng)域都深入研究了人為壁壘這一問題，掌握了邊緣計(jì)算、加密算法等解決方法，其中企業(yè)對(duì)企業(yè)的數(shù)據(jù)可以稱為B2B 模式，企業(yè)對(duì)客戶的數(shù)據(jù)屬于B2C 模式。在天然氣管網(wǎng)建設(shè)中，管道企業(yè)與政府之間的數(shù)據(jù)屬于B2B 模式，管道運(yùn)營(yíng)部門利用個(gè)體用戶的消費(fèi)數(shù)據(jù)與員工的移動(dòng)設(shè)備數(shù)據(jù)屬于B2C 模式。在B2B 模式中，可以利用縱向聯(lián)邦學(xué)習(xí)架構(gòu)進(jìn)行數(shù)據(jù)分析模型的構(gòu)建，而在B2C 模式中可以利用面向隱私保護(hù)的分布式加密機(jī)器學(xué)習(xí)方法構(gòu)建個(gè)體隱私數(shù)據(jù)的模型。

3 天然氣管網(wǎng)大數(shù)據(jù)分析發(fā)展建議

大數(shù)據(jù)分析在天然氣管網(wǎng)運(yùn)行管理中發(fā)揮著重要作用，但是從實(shí)際情況來(lái)看，天然氣管網(wǎng)大數(shù)據(jù)分析方法在發(fā)展過程中仍存在一些問題。

（1）需完善天然氣管網(wǎng)的大數(shù)據(jù)應(yīng)用環(huán)境。首先，天然氣管網(wǎng)數(shù)據(jù)的分析場(chǎng)景復(fù)雜，且具有多源異構(gòu)的特點(diǎn)，數(shù)據(jù)分析會(huì)跨越多個(gè)學(xué)科與領(lǐng)域，只通過幾個(gè)簡(jiǎn)單的框架與技術(shù)無(wú)法完成這項(xiàng)工作。同時(shí)，天然氣管網(wǎng)大數(shù)據(jù)分析發(fā)展需要很多專家根據(jù)業(yè)務(wù)場(chǎng)景進(jìn)行數(shù)據(jù)分析軟件的開發(fā)，從而形成完善的天然氣管網(wǎng)大數(shù)據(jù)分析技術(shù)體系。其次，需要完善大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)，為數(shù)據(jù)采集等提供支持，繼而提高數(shù)據(jù)維度與質(zhì)量。與此同時(shí)，應(yīng)當(dāng)完善與世界接軌的傳感器接口、各方面技術(shù)標(biāo)準(zhǔn)，優(yōu)化軟件研發(fā)環(huán)境，增強(qiáng)算法兼容性。

（2）需深入研究天然氣管網(wǎng)大數(shù)據(jù)分析的核心算法。當(dāng)前，互聯(lián)網(wǎng)領(lǐng)域中的大數(shù)據(jù)分析方法在計(jì)算機(jī)視覺、推薦系統(tǒng)、自然語(yǔ)言處理等方面較為完善，但是天然氣管網(wǎng)在數(shù)據(jù)運(yùn)行管理、分析以及決策等各方面的需求與互聯(lián)網(wǎng)領(lǐng)域的數(shù)據(jù)分析需求不同。且天然氣管網(wǎng)內(nèi)部中有多個(gè)部門，不同部門采用的數(shù)據(jù)分析方法不同。這就要求相關(guān)人員研究適用天然氣管網(wǎng)系統(tǒng)特點(diǎn)以及業(yè)務(wù)邏輯的數(shù)據(jù)分析方法。在數(shù)據(jù)驅(qū)動(dòng)機(jī)制的“黑箱”特質(zhì)這一因素的限制下，主流機(jī)器學(xué)習(xí)模型的輸出結(jié)果可能會(huì)出現(xiàn)較大的誤差，甚至?xí)?dǎo)致分析結(jié)果不符合常識(shí)，若盲目應(yīng)用不合適的數(shù)據(jù)分析方法可能會(huì)加大安全隱患。為此，在解決天然氣管網(wǎng)運(yùn)行管理、分析評(píng)價(jià)等方面的問題時(shí)，需要深入研究人工智能算法并發(fā)展管網(wǎng)大數(shù)據(jù)分析方法體系。

4 結(jié)語(yǔ)

大數(shù)據(jù)分析在智慧管網(wǎng)中處于核心地位，需加強(qiáng)重視，并不斷完善大數(shù)據(jù)基礎(chǔ)設(shè)施，從而為數(shù)據(jù)采集、傳輸、存儲(chǔ)、計(jì)算等各個(gè)方面奠定基礎(chǔ)，并根據(jù)實(shí)際情況發(fā)展適用天然氣管網(wǎng)系統(tǒng)特性的數(shù)據(jù)分析方法，提高管網(wǎng)智能化水平。