999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

探討天然氣管網(wǎng)大數(shù)據(jù)分析方法及發(fā)展建議

2022-03-11 01:30:38王興軍王瑞林
石油化工建設(shè) 2022年1期
關(guān)鍵詞:特征方法

王興軍 王瑞林

河北省任丘市華北油田華港燃?xì)饧瘓F(tuán)有限公司 河北 任丘 062552

1 天然氣管網(wǎng)大數(shù)據(jù)概述

1.1 天然氣管網(wǎng)大數(shù)據(jù)的內(nèi)涵

在長(zhǎng)期運(yùn)行過程中,天然氣管網(wǎng)積累了大量的運(yùn)行數(shù)據(jù)與管理數(shù)據(jù),例如故障數(shù)據(jù)、歷史負(fù)荷數(shù)據(jù)、性能監(jiān)測(cè)數(shù)據(jù)等,需利用大數(shù)據(jù)分析技術(shù)開展數(shù)據(jù)采集與處理等工作,加強(qiáng)管網(wǎng)建設(shè)[1]。

1.2 天然氣管網(wǎng)大數(shù)據(jù)的特點(diǎn)

(1)數(shù)據(jù)量大。首先,天然氣管網(wǎng)的SCADA 系統(tǒng)、智能視頻監(jiān)控系統(tǒng)與設(shè)備運(yùn)行監(jiān)測(cè)系統(tǒng)等系統(tǒng)在運(yùn)行過程中會(huì)產(chǎn)生和積累大量的運(yùn)行數(shù)據(jù)。其次,天然氣管網(wǎng)的運(yùn)行管理會(huì)受到市場(chǎng)供需、環(huán)境以及天氣等各個(gè)方面因素的影響應(yīng)收集外部數(shù)據(jù),為運(yùn)行管理提供關(guān)鍵依據(jù)。

(2)采集速度跨度大。天然氣管網(wǎng)具有多種不同類型的傳感器與業(yè)務(wù)場(chǎng)景,且數(shù)據(jù)采集覆蓋管網(wǎng)的各個(gè)階段,毫秒級(jí)數(shù)據(jù)、日常檢修記錄等都需要采集,數(shù)據(jù)類型不同,具有不同的實(shí)效性,對(duì)相應(yīng)速度也有不同要求。

(3)類型多樣。天然氣管網(wǎng)的數(shù)據(jù)來(lái)自多個(gè)環(huán)節(jié)與部門的數(shù)據(jù)系統(tǒng),例如調(diào)度運(yùn)行、市場(chǎng)營(yíng)銷等環(huán)節(jié)以及管道生產(chǎn)管理系統(tǒng)、SCADA 系統(tǒng)等。同時(shí),天然氣管網(wǎng)的數(shù)據(jù)類型較多,其中常見類型有結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化等類型。非結(jié)構(gòu)化數(shù)據(jù)即圖像、視頻等,半結(jié)構(gòu)化數(shù)據(jù)有地質(zhì)與氣象等信息數(shù)據(jù),這些數(shù)據(jù)不斷增加,導(dǎo)致分析工作愈加困難。

(4)價(jià)值密度差異大。天然氣管網(wǎng)的數(shù)據(jù)類型多樣,其信息含量與價(jià)值密度也不同。

(5)數(shù)據(jù)具有較強(qiáng)的關(guān)聯(lián)性、時(shí)序性與復(fù)雜性。天然氣管道的可靠性決定于設(shè)備、環(huán)境等狀態(tài),所以數(shù)據(jù)具有關(guān)聯(lián)性;天然氣管網(wǎng)的運(yùn)行工藝是環(huán)環(huán)相扣的,所以運(yùn)行數(shù)據(jù)的時(shí)序性較強(qiáng);天然氣管網(wǎng)的運(yùn)行管理覆蓋了多個(gè)平臺(tái),業(yè)務(wù)場(chǎng)景十分復(fù)雜,數(shù)據(jù)的復(fù)雜性也較強(qiáng)。

2 天然氣管網(wǎng)大數(shù)據(jù)分析方法

近年來(lái),我國(guó)不斷研究天然氣管道數(shù)字化,積累了數(shù)據(jù)處理的經(jīng)驗(yàn)。因此中石油、中石化等企業(yè)以管道智慧化發(fā)展為目標(biāo)進(jìn)行了天然氣管網(wǎng)大數(shù)據(jù)分析基本邏輯與思路的探索(圖1),也明確了大數(shù)據(jù)分析方法(圖2)。

圖1 天然氣管網(wǎng)大數(shù)據(jù)分析的基本邏輯

2.1 數(shù)據(jù)處理方法

當(dāng)前,在處理天然氣管網(wǎng)數(shù)據(jù)時(shí)出現(xiàn)了諸多問題,需明確問題并解決。第一,管網(wǎng)運(yùn)行數(shù)據(jù)可能會(huì)丟失或重復(fù)。第二,管網(wǎng)數(shù)據(jù)會(huì)出現(xiàn)噪聲。第三,管網(wǎng)數(shù)據(jù)具有多源異構(gòu)的特點(diǎn)。第四,天然氣管網(wǎng)中的傳感器較多,數(shù)據(jù)間的非線性關(guān)系較為復(fù)雜,需要通過降維處理解決信息冗余等問題。為了解決這些問題,應(yīng)當(dāng)深入研究數(shù)據(jù)清洗、特征篩選與特征重構(gòu)等方法。

(1)數(shù)據(jù)清洗。數(shù)據(jù)清洗是解決數(shù)據(jù)處理問題的關(guān)鍵手段,其準(zhǔn)備工作是利用數(shù)據(jù)解析以及一致性驗(yàn)證等不同的方法檢測(cè)數(shù)據(jù),從而發(fā)現(xiàn)數(shù)據(jù)當(dāng)中的問題,例如值域格式錯(cuò)誤、語(yǔ)法錯(cuò)誤等。之后,需要通過相關(guān)統(tǒng)計(jì)方法與數(shù)據(jù)轉(zhuǎn)換方法進(jìn)行異常數(shù)據(jù)的修正與剔除。天然氣管道的生產(chǎn)數(shù)據(jù)是以時(shí)間序列為主的,常出現(xiàn)的數(shù)據(jù)異常情況包括傳感器故障等因素造成的數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)等,需要通過插值、統(tǒng)計(jì)分析以及聚類等方法進(jìn)行異常數(shù)據(jù)的檢測(cè)與糾正[2]。同時(shí),若數(shù)據(jù)噪聲影響到了分析結(jié)果,需要利用小波分解、濾波等方法消除噪聲。

(2)數(shù)據(jù)特征篩選。一般情況下,數(shù)據(jù)處理人員都會(huì)直接將數(shù)據(jù)特征輸入數(shù)據(jù)分析模型當(dāng)中,模型雖然可以處理這些問題,但是會(huì)加大計(jì)算量,降低運(yùn)行效率,且過多的數(shù)據(jù)特征也會(huì)導(dǎo)致模型專注學(xué)習(xí)數(shù)據(jù)當(dāng)中的偽規(guī)律,降低分析結(jié)果的準(zhǔn)確性。這一問題需通過數(shù)據(jù)特征篩選解決,即從天然氣管網(wǎng)數(shù)據(jù)特征集合當(dāng)中篩選出具有代表性的數(shù)據(jù)特征子集,減小分析模型的計(jì)算量,提高運(yùn)行效率,且通過篩選不會(huì)改變數(shù)據(jù)特征的表現(xiàn)形式。

(3)數(shù)據(jù)特征重構(gòu)。數(shù)據(jù)處理人員會(huì)以數(shù)據(jù)- 任務(wù)映射關(guān)系為基礎(chǔ)選擇天然氣管網(wǎng)數(shù)據(jù)特征。但是,由于數(shù)據(jù)分析具有復(fù)雜的分析場(chǎng)景,若情況復(fù)雜,便無(wú)法明確數(shù)據(jù)與任務(wù)之間的映射關(guān)系,便無(wú)法有效選擇數(shù)據(jù)特征。為此,需要進(jìn)行數(shù)據(jù)特征重構(gòu)。重構(gòu)數(shù)據(jù)特征即在保證原始數(shù)據(jù)不發(fā)生改變的基礎(chǔ)上,通過有效措施將原始數(shù)據(jù)轉(zhuǎn)變?yōu)樾碌臄?shù)據(jù)特征。常用的轉(zhuǎn)換方法為無(wú)監(jiān)督學(xué)習(xí),例如成分分析等,可為數(shù)據(jù)特征的降維處理提供幫助。但是這種方法比較適用于線性數(shù)據(jù)特征重構(gòu),對(duì)于非線性數(shù)據(jù)特征重構(gòu)來(lái)說(shuō),需要應(yīng)用多層神經(jīng)網(wǎng)絡(luò)的無(wú)監(jiān)督學(xué)習(xí)方法,例如深度自編碼器模型。

2.2 數(shù)據(jù)挖掘

在天然氣管網(wǎng)大數(shù)據(jù)分析中,數(shù)據(jù)挖掘占據(jù)著重要地位,進(jìn)行數(shù)據(jù)挖掘是利用數(shù)據(jù)分析模型與算法在海量數(shù)據(jù)中選取有效數(shù)據(jù)。從智慧管網(wǎng)的實(shí)際需求來(lái)看,需要通過預(yù)測(cè)預(yù)警、模式識(shí)別等手段挖掘數(shù)據(jù)。

(1)預(yù)測(cè)預(yù)警。智慧管網(wǎng)有兩大功能的實(shí)現(xiàn)難度較大,即預(yù)測(cè)預(yù)警可控與綜合性預(yù)判,只有利用預(yù)測(cè)預(yù)警才能夠?qū)崿F(xiàn)這兩個(gè)功能。管網(wǎng)中的預(yù)測(cè)預(yù)警方法包括兩種類型,一是預(yù)測(cè)天然氣管網(wǎng)運(yùn)行壓力流量、用戶需求等方面參數(shù)的方法,二是預(yù)測(cè)管網(wǎng)運(yùn)行異常的方法。

(2)模式識(shí)別,有利于實(shí)現(xiàn)智慧管網(wǎng)的全方位感知。天然氣管網(wǎng)中的數(shù)據(jù)模式識(shí)別方法有模式挖掘與模式區(qū)分。挖掘模式的依據(jù)有先驗(yàn)知識(shí)與數(shù)據(jù)關(guān)系。若想明確天然氣管網(wǎng)數(shù)據(jù)的模式就需要明確表征數(shù)據(jù)與量化數(shù)據(jù)之間的屬性差異,完整這一項(xiàng)任務(wù)后需要進(jìn)行模式區(qū)分,繼而形成聚類方法。有很多常用的聚類方法,例如距離聚類、層次與密度聚類等,不同聚類方法的應(yīng)用場(chǎng)景與適用的數(shù)據(jù)類型不同。其中距離聚類方法的應(yīng)用范圍最為廣泛,可以通過距離判斷數(shù)據(jù)對(duì)象間的相似度。假設(shè)兩個(gè)數(shù)據(jù)對(duì)象分別為a 和b,兩者之間的相似度為Sim(a,b),兩者之間的距離為d(a,b),可以通過Sim(a,b)=1/[1+d(a,b)]這一公式得到兩者之間的相似度。

(3)模式區(qū)分。模式挖掘可以解決數(shù)據(jù)認(rèn)識(shí)問題,而模式區(qū)分可以解決數(shù)據(jù)識(shí)別問題。模式挖掘即判斷數(shù)據(jù)對(duì)象的所屬模式,常用的模式區(qū)分方法包括判別式與生成式這兩種類型。判別式區(qū)分方法主要是通過學(xué)習(xí)歷史數(shù)據(jù),在特征與模式類別之間構(gòu)建相應(yīng)聯(lián)系,繼而建模。生成式區(qū)分方法是根據(jù)大量數(shù)據(jù)的特點(diǎn)進(jìn)行分布學(xué)習(xí),算出給定特征條件下不同類別出現(xiàn)的概率分布情況。

2.3 數(shù)據(jù)分析與決策

天然氣管網(wǎng)的子系統(tǒng)較多,所以其決策場(chǎng)景較為復(fù)雜,涉及諸多數(shù)據(jù),而多元化數(shù)據(jù)之間存在人為阻隔或天然壁壘,阻礙了智慧管網(wǎng)的發(fā)展。只有突破這些壁壘才能夠?yàn)橹悄軟Q策奠定基礎(chǔ),常用的方法有多源異構(gòu)數(shù)據(jù)的綜合分析方法、跨部門數(shù)據(jù)的協(xié)同分析方法。

(1)多源異構(gòu)數(shù)據(jù)的綜合分析方法。天然氣管網(wǎng)的數(shù)據(jù)類型較多,具有多源異構(gòu)的特點(diǎn),加大了數(shù)據(jù)應(yīng)用的難度。需要通過多種手段發(fā)展天然氣管網(wǎng)多源異構(gòu)數(shù)據(jù)的多模態(tài)學(xué)習(xí)方法,從而解決數(shù)據(jù)分析問題。首先,需要發(fā)展管網(wǎng)數(shù)據(jù)的多模態(tài)表示學(xué)習(xí)。對(duì)于結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)表示學(xué)習(xí)可以將原始信息轉(zhuǎn)變?yōu)橛?jì)算機(jī)可處理的數(shù)值向量,主要是將結(jié)構(gòu)性數(shù)據(jù)映射到統(tǒng)一表示空間當(dāng)中或者將不同模態(tài)的信息映射到各自滿足統(tǒng)一約束的表示空間[3]。其次,需要發(fā)展管網(wǎng)數(shù)據(jù)的多模態(tài)融合學(xué)習(xí)。多模態(tài)融合學(xué)習(xí)可以整合多個(gè)模態(tài)的信息,從而提高分析與決策質(zhì)量。

(2)跨部門數(shù)據(jù)的協(xié)同分析方法。人為壁壘也是數(shù)據(jù)間的主要壁壘,需要通過有效手段打破這些壁壘,進(jìn)行跨部門數(shù)據(jù)的協(xié)同分析。近年來(lái),醫(yī)療、金融業(yè)等多個(gè)領(lǐng)域都深入研究了人為壁壘這一問題,掌握了邊緣計(jì)算、加密算法等解決方法,其中企業(yè)對(duì)企業(yè)的數(shù)據(jù)可以稱為B2B 模式,企業(yè)對(duì)客戶的數(shù)據(jù)屬于B2C 模式。在天然氣管網(wǎng)建設(shè)中,管道企業(yè)與政府之間的數(shù)據(jù)屬于B2B 模式,管道運(yùn)營(yíng)部門利用個(gè)體用戶的消費(fèi)數(shù)據(jù)與員工的移動(dòng)設(shè)備數(shù)據(jù)屬于B2C 模式。在B2B 模式中,可以利用縱向聯(lián)邦學(xué)習(xí)架構(gòu)進(jìn)行數(shù)據(jù)分析模型的構(gòu)建,而在B2C 模式中可以利用面向隱私保護(hù)的分布式加密機(jī)器學(xué)習(xí)方法構(gòu)建個(gè)體隱私數(shù)據(jù)的模型。

3 天然氣管網(wǎng)大數(shù)據(jù)分析發(fā)展建議

大數(shù)據(jù)分析在天然氣管網(wǎng)運(yùn)行管理中發(fā)揮著重要作用,但是從實(shí)際情況來(lái)看,天然氣管網(wǎng)大數(shù)據(jù)分析方法在發(fā)展過程中仍存在一些問題。

(1)需完善天然氣管網(wǎng)的大數(shù)據(jù)應(yīng)用環(huán)境。首先,天然氣管網(wǎng)數(shù)據(jù)的分析場(chǎng)景復(fù)雜,且具有多源異構(gòu)的特點(diǎn),數(shù)據(jù)分析會(huì)跨越多個(gè)學(xué)科與領(lǐng)域,只通過幾個(gè)簡(jiǎn)單的框架與技術(shù)無(wú)法完成這項(xiàng)工作。同時(shí),天然氣管網(wǎng)大數(shù)據(jù)分析發(fā)展需要很多專家根據(jù)業(yè)務(wù)場(chǎng)景進(jìn)行數(shù)據(jù)分析軟件的開發(fā),從而形成完善的天然氣管網(wǎng)大數(shù)據(jù)分析技術(shù)體系。其次,需要完善大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè),為數(shù)據(jù)采集等提供支持,繼而提高數(shù)據(jù)維度與質(zhì)量。與此同時(shí),應(yīng)當(dāng)完善與世界接軌的傳感器接口、各方面技術(shù)標(biāo)準(zhǔn),優(yōu)化軟件研發(fā)環(huán)境,增強(qiáng)算法兼容性。

(2)需深入研究天然氣管網(wǎng)大數(shù)據(jù)分析的核心算法。當(dāng)前,互聯(lián)網(wǎng)領(lǐng)域中的大數(shù)據(jù)分析方法在計(jì)算機(jī)視覺、推薦系統(tǒng)、自然語(yǔ)言處理等方面較為完善,但是天然氣管網(wǎng)在數(shù)據(jù)運(yùn)行管理、分析以及決策等各方面的需求與互聯(lián)網(wǎng)領(lǐng)域的數(shù)據(jù)分析需求不同。且天然氣管網(wǎng)內(nèi)部中有多個(gè)部門,不同部門采用的數(shù)據(jù)分析方法不同。這就要求相關(guān)人員研究適用天然氣管網(wǎng)系統(tǒng)特點(diǎn)以及業(yè)務(wù)邏輯的數(shù)據(jù)分析方法。在數(shù)據(jù)驅(qū)動(dòng)機(jī)制的“黑箱”特質(zhì)這一因素的限制下,主流機(jī)器學(xué)習(xí)模型的輸出結(jié)果可能會(huì)出現(xiàn)較大的誤差,甚至?xí)?dǎo)致分析結(jié)果不符合常識(shí),若盲目應(yīng)用不合適的數(shù)據(jù)分析方法可能會(huì)加大安全隱患。為此,在解決天然氣管網(wǎng)運(yùn)行管理、分析評(píng)價(jià)等方面的問題時(shí),需要深入研究人工智能算法并發(fā)展管網(wǎng)大數(shù)據(jù)分析方法體系。

4 結(jié)語(yǔ)

大數(shù)據(jù)分析在智慧管網(wǎng)中處于核心地位,需加強(qiáng)重視,并不斷完善大數(shù)據(jù)基礎(chǔ)設(shè)施,從而為數(shù)據(jù)采集、傳輸、存儲(chǔ)、計(jì)算等各個(gè)方面奠定基礎(chǔ),并根據(jù)實(shí)際情況發(fā)展適用天然氣管網(wǎng)系統(tǒng)特性的數(shù)據(jù)分析方法,提高管網(wǎng)智能化水平。

猜你喜歡
特征方法
抓住特征巧觀察
新型冠狀病毒及其流行病學(xué)特征認(rèn)識(shí)
如何表達(dá)“特征”
不忠誠(chéng)的四個(gè)特征
學(xué)習(xí)方法
抓住特征巧觀察
可能是方法不對(duì)
用對(duì)方法才能瘦
Coco薇(2016年2期)2016-03-22 02:42:52
四大方法 教你不再“坐以待病”!
Coco薇(2015年1期)2015-08-13 02:47:34
賺錢方法
主站蜘蛛池模板: 黄色网址手机国内免费在线观看| 免费三A级毛片视频| 国产亚洲视频在线观看| 精品撒尿视频一区二区三区| 无码福利日韩神码福利片| 日韩av无码DVD| 国产AV无码专区亚洲A∨毛片| 乱人伦视频中文字幕在线| 国产乱人伦偷精品视频AAA| 99ri精品视频在线观看播放| 一级在线毛片| 国产精品午夜电影| 久久综合色88| 亚洲看片网| 高清免费毛片| 热九九精品| 婷婷午夜影院| 亚洲天堂色色人体| 欧美全免费aaaaaa特黄在线| 天天摸天天操免费播放小视频| 久久伊人久久亚洲综合| 美女无遮挡免费视频网站| 内射人妻无码色AV天堂| 国产成人精品一区二区| 久久精品视频亚洲| 国产成人福利在线视老湿机| 一本大道无码高清| 欧美一区二区精品久久久| 色成人综合| 久久视精品| 凹凸国产熟女精品视频| 久久精品无码一区二区日韩免费| 日韩精品一区二区深田咏美| 欧美色视频日本| 亚洲欧美色中文字幕| 成人在线综合| 日韩无码白| 98精品全国免费观看视频| 国产十八禁在线观看免费| 亚洲欧洲综合| 久久综合九色综合97婷婷| 九九九国产| 麻豆精品在线播放| 不卡无码h在线观看| 国产久草视频| 青草免费在线观看| 在线免费无码视频| 青草视频网站在线观看| 国产激情无码一区二区APP| 亚洲二区视频| 99偷拍视频精品一区二区| 人妻一本久道久久综合久久鬼色| 中文字幕在线免费看| 久久综合九色综合97网| 国产亚洲欧美另类一区二区| jizz在线观看| 日韩视频福利| 啪啪免费视频一区二区| 日韩欧美中文字幕在线韩免费| 免费在线国产一区二区三区精品| 国产SUV精品一区二区6| 久久人人妻人人爽人人卡片av| 久久人搡人人玩人妻精品一| 午夜性爽视频男人的天堂| 中文字幕va| 不卡网亚洲无码| 国产女人在线视频| 亚洲中文字幕在线一区播放| 99一级毛片| aa级毛片毛片免费观看久| 国产不卡在线看| 欧美特黄一免在线观看| 日本AⅤ精品一区二区三区日| 蜜桃视频一区| 欧美福利在线播放| 国产精品冒白浆免费视频| 国产激爽爽爽大片在线观看| 亚洲第一精品福利| 亚洲欧美精品一中文字幕| 毛片国产精品完整版| 欧美另类精品一区二区三区| 欧美中文字幕一区二区三区|