基于大數(shù)據(jù)的天然氣風(fēng)險(xiǎn)管理體系研究

姚衎　高雅田

摘 要 研究圍繞著天然氣風(fēng)險(xiǎn)評估技術(shù)問題展開，使用基于Hadoop大數(shù)據(jù)系統(tǒng)構(gòu)建適應(yīng)天然氣企業(yè)生產(chǎn)情況的管線風(fēng)險(xiǎn)評價(jià)體系。對天然氣生產(chǎn)使用的數(shù)據(jù)進(jìn)行分布式存儲以及對隨時(shí)產(chǎn)生的流式數(shù)據(jù)進(jìn)行實(shí)時(shí)處理并繪制成報(bào)表。采用基于大數(shù)據(jù)的天然氣風(fēng)險(xiǎn)評價(jià)技術(shù)實(shí)現(xiàn)對天然氣企業(yè)及用戶的天然氣生產(chǎn)使用數(shù)據(jù)進(jìn)行風(fēng)險(xiǎn)評估及風(fēng)險(xiǎn)預(yù)警，為天然氣的安全生產(chǎn)和使用提供保障。

關(guān)鍵詞 Hadoop 管道運(yùn)輸 風(fēng)險(xiǎn)評價(jià) 肯特法

0引言

天然氣開發(fā)作為一個高危作業(yè)行業(yè)，安全生產(chǎn)占有極其重要的地位。風(fēng)險(xiǎn)作為一種客觀存在威脅著天然氣行業(yè)的生產(chǎn)與開發(fā)，而且在一定條件下也帶有某些規(guī)律性，通過風(fēng)險(xiǎn)控制來提高生產(chǎn)安全，減少由于不能夠及時(shí)發(fā)現(xiàn)風(fēng)險(xiǎn)及安全隱患帶來的巨大經(jīng)濟(jì)損失和社會損失，保障天然氣開采和生產(chǎn)過程中的安全性。

將Hadoop等大數(shù)據(jù)技術(shù)引入天然氣風(fēng)險(xiǎn)管理中，可以快速形成動態(tài)的風(fēng)險(xiǎn)評價(jià)方式，開拓安全風(fēng)險(xiǎn)工作的新途徑，也能夠?qū)嵸|(zhì)性的提高天然氣生產(chǎn)安全水平。天然氣生產(chǎn)風(fēng)險(xiǎn)評價(jià)工作涉及眾多數(shù)據(jù)，將大數(shù)據(jù)技術(shù)結(jié)合天然氣風(fēng)險(xiǎn)管理不但可以解決數(shù)據(jù)管理、數(shù)據(jù)處理效率等問題，更是可以從海量的風(fēng)險(xiǎn)數(shù)據(jù)中發(fā)現(xiàn)其規(guī)律和趨勢。

1相關(guān)技術(shù)分析

研究中使用了天然氣的油氣風(fēng)險(xiǎn)評價(jià)法Kent法，Hadoop的相關(guān)數(shù)據(jù)存儲技術(shù)，以及Spark相關(guān)的實(shí)時(shí)處理技術(shù)。

1.1 Kent法

油氣長輸管線評價(jià)法Kent法使用半定量的方法對管道運(yùn)輸進(jìn)行識別。其建立于獨(dú)立性假設(shè)，最壞情況假設(shè)，相對性假設(shè)以及在加權(quán)計(jì)算的基礎(chǔ)上。應(yīng)用時(shí)，Kent法需要將管道按照標(biāo)準(zhǔn)劃分為多段，對每一個段可能引起管道失效的主要因素建立合理的風(fēng)險(xiǎn)評價(jià)指標(biāo)，根據(jù)每段的第三方指數(shù)、腐蝕指數(shù)、設(shè)計(jì)指數(shù)和誤操作指數(shù)四個指數(shù)的影響程度進(jìn)行管道風(fēng)險(xiǎn)評價(jià)，依據(jù)有效建立的評分標(biāo)準(zhǔn)對各個管段引起故障的重要因素逐項(xiàng)評分，然后以每個評分值與其對應(yīng)的權(quán)重相乘，將所有的有關(guān)因素評分相加得到失效總分，再與泄露風(fēng)險(xiǎn)數(shù)相除得到相對風(fēng)險(xiǎn)數(shù)，并與風(fēng)險(xiǎn)指標(biāo)指數(shù)對應(yīng)后確定風(fēng)險(xiǎn)。

1.2 Hadoop以及Spark相關(guān)技術(shù)

Hadoop是大數(shù)據(jù)平臺，支持對海量數(shù)據(jù)分布式、準(zhǔn)確高效的處理。其中HDFS主要用于數(shù)據(jù)存儲的基礎(chǔ)操作。其強(qiáng)大的容錯能力能夠保障數(shù)據(jù)存儲服務(wù)的安全。HBase是一個面向列式存儲的、能夠?qū)Ρ砀窨缮炜s處理的分布式存儲系統(tǒng)，建立在HDFS之上的HBase在給用戶提供高性能的同時(shí)也能保證數(shù)據(jù)的完整性。

Spark Streaming使用的是基于實(shí)時(shí)數(shù)據(jù)流的的數(shù)據(jù)處理方式。而Kafka 是一個基于主題發(fā)布、訂閱的消息系統(tǒng)。它可以作為消息隊(duì)列，流計(jì)算系統(tǒng)的數(shù)據(jù)源。

2實(shí)現(xiàn)原理

2.1系統(tǒng)設(shè)計(jì)

天然氣風(fēng)險(xiǎn)管理體系的研究建立在大數(shù)據(jù)技術(shù)的基礎(chǔ)上，分析生產(chǎn)數(shù)據(jù)與安全系數(shù)的相關(guān)性，并依據(jù)Kent法和大量數(shù)據(jù)不斷調(diào)整各個指數(shù)的權(quán)重，尋找適應(yīng)于當(dāng)?shù)厣a(chǎn)情況的評價(jià)指標(biāo)。使用HDFS完善非結(jié)構(gòu)化數(shù)據(jù)的管理方案，并結(jié)合HBase完成數(shù)據(jù)的讀、寫操作，實(shí)現(xiàn)數(shù)據(jù)的完整性管理。使用Spark Streaming和Kafka相結(jié)合的方式搭建實(shí)時(shí)計(jì)算框架，使用Kent法以及以數(shù)據(jù)驅(qū)動的風(fēng)險(xiǎn)評價(jià)指標(biāo)，對實(shí)時(shí)信息進(jìn)行加工處理，實(shí)現(xiàn)天然氣風(fēng)險(xiǎn)管理的實(shí)時(shí)分析、實(shí)時(shí)報(bào)表。并將所有的計(jì)算數(shù)據(jù)存入數(shù)據(jù)庫中，以不斷的數(shù)據(jù)積累增強(qiáng)對風(fēng)險(xiǎn)的評價(jià)水平。

2.2 Kent法的優(yōu)化

將生產(chǎn)地點(diǎn)的歷史數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、清洗、裝載后，利用原始的相關(guān)數(shù)據(jù)調(diào)整風(fēng)險(xiǎn)評價(jià)指標(biāo)，并調(diào)整相關(guān)指數(shù)權(quán)重形成可以不斷依據(jù)現(xiàn)實(shí)情況更新的風(fēng)險(xiǎn)評價(jià)體系，在調(diào)整權(quán)重時(shí)應(yīng)注意以下幾項(xiàng)。

（1）基于Kent法的應(yīng)用情況以及國內(nèi)生產(chǎn)情況，需要更改某些相關(guān)指標(biāo)，例如國內(nèi)的管線大氣腐蝕情況與國外的情況相差巨大，國內(nèi)管道運(yùn)輸以埋地為主，不考慮大氣腐蝕。

（2）對于已經(jīng)發(fā)生過安全風(fēng)險(xiǎn)的管道數(shù)據(jù)加以注重，并根據(jù)當(dāng)時(shí)的評價(jià)結(jié)果是否準(zhǔn)確來調(diào)整：如果評價(jià)結(jié)果正確，則需要加固當(dāng)前權(quán)重的穩(wěn)定；如果評價(jià)結(jié)果并不能夠匹配歷史數(shù)據(jù)，就需要不斷調(diào)整指數(shù)權(quán)重，不斷接近歷史結(jié)果。

（3）在進(jìn)行風(fēng)險(xiǎn)評價(jià)調(diào)整權(quán)重時(shí)，應(yīng)過濾掉不適用的數(shù)據(jù)，例如：有人蓄意破壞、罕見的氣候環(huán)境等極端情況影響導(dǎo)致評估結(jié)果不正確，這類數(shù)據(jù)的可預(yù)估性太低，不值得去消耗大量的運(yùn)算力做無意義的事情。

（4）隨著天然氣風(fēng)險(xiǎn)管理的不斷糾正，隨時(shí)都有可能添加或減少指標(biāo)，對于權(quán)重較低的指標(biāo)可以被剔除，管理人員也應(yīng)該能夠加入新的指標(biāo)增加風(fēng)險(xiǎn)評價(jià)的正確率。

2.3風(fēng)險(xiǎn)評價(jià)系統(tǒng)的架構(gòu)

結(jié)合海量的天然氣風(fēng)險(xiǎn)管理數(shù)據(jù)，風(fēng)險(xiǎn)評價(jià)管理采用了分布式、分層結(jié)構(gòu)，整體上將系統(tǒng)劃分為數(shù)據(jù)層、模型層、數(shù)據(jù)處理層、應(yīng)用層四層結(jié)構(gòu)。

數(shù)據(jù)層數(shù)據(jù)主要分為采集數(shù)據(jù)和結(jié)果數(shù)據(jù)。采集數(shù)據(jù)是管道的第三方指數(shù)、腐蝕指數(shù)、設(shè)計(jì)指數(shù)、誤操作指數(shù)以及有關(guān)的Kent評價(jià)數(shù)據(jù)。結(jié)果數(shù)據(jù)涵蓋歷史評價(jià)結(jié)果，評價(jià)方案，評價(jià)因素、評價(jià)人員和最終實(shí)際結(jié)果等基本數(shù)據(jù)。數(shù)據(jù)層使用HDFS存儲數(shù)據(jù)，利用HBase數(shù)據(jù)工具將數(shù)據(jù)整理入庫。

模型層針對Kent法建立評價(jià)數(shù)據(jù)模型，結(jié)果數(shù)據(jù)模型、評價(jià)指標(biāo)數(shù)據(jù)模型等基礎(chǔ)模型，通過對數(shù)據(jù)層的訪問獲取數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的規(guī)范化處理并將數(shù)據(jù)提供給其他層使用。

數(shù)據(jù)處理層是整個系統(tǒng)的關(guān)鍵，其根據(jù)上文的Kent法優(yōu)化方案，處理相關(guān)數(shù)據(jù)模型，不斷優(yōu)化評價(jià)算法并將算法建立模型，針對不同生產(chǎn)地點(diǎn)建立不同的模型以適應(yīng)更多區(qū)域。實(shí)時(shí)計(jì)算框架將不斷生產(chǎn)的數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，并將計(jì)算得到的數(shù)據(jù)存入數(shù)據(jù)層中，在用戶需要時(shí)提供給用戶。

應(yīng)用層是最外層，主要負(fù)責(zé)與用戶交互，根據(jù)數(shù)據(jù)模型將評價(jià)數(shù)據(jù)進(jìn)行展示，因?yàn)槭褂昧藢?shí)時(shí)計(jì)算框架，能夠完成實(shí)時(shí)報(bào)表。設(shè)置配置文件使管理者能夠配置指數(shù)相關(guān)信息，使系統(tǒng)更加靈活。

3結(jié)語

基于大數(shù)據(jù)的天然氣風(fēng)險(xiǎn)管理體系研究的應(yīng)用前景并不局限于天然氣風(fēng)險(xiǎn)，其主要針對的是風(fēng)險(xiǎn)評價(jià)領(lǐng)域。例如在金融領(lǐng)域，任何金融公司都需要準(zhǔn)確地預(yù)測風(fēng)險(xiǎn)，大數(shù)據(jù)解決方案能夠利用有效的評估數(shù)據(jù)進(jìn)一步評價(jià)信貸風(fēng)險(xiǎn)，在一定程度上幫助金融公司提高風(fēng)險(xiǎn)預(yù)測的準(zhǔn)確度。使用Hadoop等解決方案可以分析海量的相關(guān)數(shù)據(jù)來不斷確定風(fēng)險(xiǎn)狀況，使企業(yè)在面對風(fēng)險(xiǎn)時(shí)做出更好、更明智的選擇。相信隨著自動監(jiān)控評價(jià)系統(tǒng)的逐步研究，數(shù)據(jù)采集、數(shù)據(jù)類型多樣化、數(shù)據(jù)保留時(shí)間的加長勢必會形成更加完整的自動監(jiān)控，實(shí)時(shí)評價(jià)的大數(shù)據(jù)系統(tǒng)。

參考文獻(xiàn)

[1] 陳璽，馬修軍，呂欣.Hadoop生態(tài)體系安全框架綜述[J].信息安全研究，2016，2（08）：684-698.

[2] 李爽.基于Spark的數(shù)據(jù)處理分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京交通大學(xué)，2015.