用大數(shù)據(jù)技術進行實時風險評估的設想

謝榮(西南油氣田通信與信息技術中心川北總站,四川 遂寧 629000)

用大數(shù)據(jù)技術進行實時風險評估的設想

謝榮(西南油氣田通信與信息技術中心川北總站,四川 遂寧 629000)

隨著SCADA系統(tǒng)的普及，數(shù)據(jù)采集點、數(shù)據(jù)類型、數(shù)據(jù)保留時間的增加勢必會形成SCADA系統(tǒng)的大數(shù)據(jù)。本文以油氣集輸管道系統(tǒng)為例，講述應用大數(shù)據(jù)分析技術對油氣輸送管道進行風險評估、智能推薦和輔助決策的設想。通過SCADA系統(tǒng)的大數(shù)據(jù)分析處理，實現(xiàn)在事故發(fā)生前能提前預知事故，從而規(guī)避事故的發(fā)生，降低事故發(fā)生的可能性；而在事故發(fā)生中和事故發(fā)生后，能幫助決策者做出更合理的事故緩解措施和應急救援，從而減輕事故的嚴重性和危害性。

SCADA系統(tǒng)；大數(shù)據(jù)；實時風險評估

我國油氣集輸管道所采用的監(jiān)控系統(tǒng)是數(shù)據(jù)采集與監(jiān)控系統(tǒng)(SCADA)。在實際運行過程中，由于應用方面的實際需求，通常需要把采集的數(shù)據(jù)保留很長一段時間，用于查詢、分析和統(tǒng)計。另一方面，管道上的數(shù)據(jù)采集點和類型很多，包括溫度、流量、壓力、腐蝕等多項監(jiān)測數(shù)據(jù)；采集要求實時性較高，需要保持著較高的采集頻率，形成了SCADA系統(tǒng)的大數(shù)據(jù)(big data)[1]。現(xiàn)在所采集的數(shù)據(jù)大多只是用來產(chǎn)生班報、日報、月報、年報等生產(chǎn)報表，或者用來實現(xiàn)追溯事故原因、責任等基本功能，還沒有很好地被用作預測事故等。

1 大數(shù)據(jù)的相關定義

1.1 大數(shù)據(jù)

“大數(shù)據(jù)”是一個體量特別大，數(shù)據(jù)類別特別大的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進行抓取、管理和處理。其滿足四個特點：規(guī)模性(Volumes)、多樣性(Variety)、高速性(Velocity)、真實性(Veracity)。

1.2 大數(shù)據(jù)的分析

(1)可視化分析 大數(shù)據(jù)的可視化分析，是將集中的大型數(shù)據(jù)以圖形圖像的形式呈現(xiàn)，并利用數(shù)據(jù)分析和開發(fā)工具挖掘其中的未知信息與潛在價值的處理過程。

(2)數(shù)據(jù)挖掘算法 大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式才能更加科學的呈現(xiàn)出數(shù)據(jù)本身具備的特點，挖掘出公認的價值。另一個方面也正是因為有這些數(shù)據(jù)挖掘的算法才能更快速的處理大數(shù)據(jù)，從中尋找出有助于輔助制定決策的信息。

(3)預測性分析能力 大數(shù)據(jù)分析最重要的應用領域之一就是預測性分析，從大數(shù)據(jù)中挖掘出特點，通過科學的建立模型，之后便可通過模型帶入新的數(shù)據(jù)，從而預測未來的數(shù)據(jù)，為實際生產(chǎn)中生產(chǎn)動態(tài)的變化和事故發(fā)生的可能性進行預先分析和測算。

(4)語義引擎 語義引擎需要被設計成能夠從“文檔”中智能提取信息，以MapReduce和Hadoop[2]為代表的分析技術在這方面取得了重大進展，而優(yōu)化多值查詢的索引技術也可增加大數(shù)據(jù)的分析能力[3]。

(5)數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理 數(shù)據(jù)量大并不意味著信息量和數(shù)據(jù)價值就大，反之，很多時候會導致信息垃圾的泛濫，因此提高數(shù)據(jù)管理能力，改進大數(shù)據(jù)的去冗降噪技術顯得尤為重要[4]。同時，數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實踐，通過標準化的流程和工具對數(shù)據(jù)進行處理可以保證一個預先定義好的高質(zhì)量的分析結果。

2 大數(shù)據(jù)處理流程

2.1 采集

大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端(Web、App或者傳感器形式等)的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。

2.2 導入/預處理

雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應該將這些來自前端的數(shù)據(jù)導入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作。

2.3 統(tǒng)計/分析

統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求[5]。

2.4 挖掘

與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預先設定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預測(Predict)的效果，實現(xiàn)一些高級別數(shù)據(jù)分析的需求。

3 大數(shù)據(jù)與風險分析的結合

3.1 油氣輸送管道主要存在的風險

(1)與時間相關的風險 與時間相關的風險主要為三種：內(nèi)力腐蝕、外力腐蝕、應力腐蝕。我公司所產(chǎn)為高含硫、高壓、高溫的三高油氣，對管道的腐蝕尤為嚴重；其它事物對管道施加的非正常力對管道造成腐蝕；而由于輸送壓力波動、流速變化、地層運動等對管道的腐蝕也是不可忽視的，這就要求要加強油氣管線的監(jiān)控，增加了實時數(shù)據(jù)的采集、傳輸、處理任務。

(2)與時間無關的風險 與時間無關的風險包括三類：第三方破壞(承包商作業(yè)等)、誤操作、自然環(huán)境因素。承包商作業(yè)、市政建設等對管道的破壞；管道工人、站場工人在日常生產(chǎn)、維護等操作時的失誤造成對管道的破壞；而南方的酸性土壤等外界因素對管道的腐蝕也是明顯的，這些都將增加管道輸送的風險。

(3)固有風險 固有風險是指制造缺陷、焊接制造缺陷、設備的因素(o型墊片、密封、填料)等。就是這些風險的存在才直接或間接導致管道泄漏、燃燒、爆炸等事故的發(fā)生，所以通過實時采集各種類型的數(shù)據(jù)并進行相關的風險分析，得出減小風險的智能推薦和輔助決策從一定程度上就可以防止事故的發(fā)生。

3.2 智能推薦和輔助決策的內(nèi)容

(1)智能推薦 針對管道存在的風險，得出的智能推薦主要包括五個方面：①運用SCADA系統(tǒng)采集的腐蝕、流量等一系列信息分析進行大數(shù)據(jù)分析，來確定管道腐蝕發(fā)展情況，向用戶及時推送管道腐蝕情況，并在腐蝕達到最大允許量時通知負責人及時維修與更換。②結合管道的振動數(shù)據(jù)，或者政府有關部門發(fā)出的有關第三方作業(yè)信息，及時告知工廠負責人有關第三方(承包商)作業(yè)的情況；通過定位施工作業(yè)位置與管道存在位置、作業(yè)人員相關資質(zhì)等來分析是否需要工廠派出相關人員去監(jiān)督或者警告第三方(承包商)作業(yè)。③連接網(wǎng)絡上發(fā)布的天氣狀況(暴雨、洪水、閃電、溫度、臺風等)，分析每一段管路上可能遭受的自然環(huán)境狀況，實時采集管道內(nèi)的各種數(shù)據(jù)并進行數(shù)據(jù)相關分析，盡可能實時地預測可能發(fā)生的事故，警告工程師提前采取相應措施。④記錄并分析操作人員的操作步驟，判斷操作人員是否應該進行安全培訓以及確定安全培訓的側重點，實時分析并聯(lián)系操作人員的相關不安全行為、不良工作情緒，確定是否會導致人員誤操作引發(fā)事故。⑤關于消除固有風險的智能推薦，大數(shù)據(jù)分析技術可以做的是通過分析已有的第三方作業(yè)數(shù)據(jù)，選擇合適、有資質(zhì)的承包商對管道進行焊接。

（2）輔助決策 輔助決策主要包括：結合分析管道內(nèi)物質(zhì)危險性、油氣泄漏量、泄漏處的周邊狀況(溫度、濕度、是否密閉等)、泄露處人員密集情況等方面的數(shù)據(jù)，進行事故的預測與后果分析，確定最佳的處理方式，進而輔助負責人進行應急救援和人員疏散的決策。

在大數(shù)據(jù)的智能推薦和輔助決策的幫助下，可有效幫助生產(chǎn)經(jīng)營單位實現(xiàn)風險的預測和規(guī)避，在事故發(fā)生前做到提前預知、提前預防從而避免事故的發(fā)生。而在事故發(fā)生中和事故發(fā)生后，可有效幫助決策者做出更合理、高效的事故緩解措施和應急救援從而減輕事故的嚴重性和危害性。

4 結語

要想實現(xiàn)大數(shù)據(jù)的智能推薦和輔助決策功能，首要克服大數(shù)據(jù)分析的局限性，其主要包括以下兩個方面：①對于智能推薦和輔助決策方面的結果沒有一個良好的標準進行評定，或者其控制風險的功能也有待進一步檢驗；②大數(shù)據(jù)技術存在嚴峻的信息安全問題，尤其是對于石油天然氣行業(yè)，屬于國家命脈，其控制數(shù)據(jù)與信息絕不能泄露，所以大數(shù)據(jù)在應用過程中，必須要考慮其本身風險的問題。

運用大數(shù)據(jù)技術對管道風險進行的實時分析雖然只是一個設想，實現(xiàn)大數(shù)據(jù)的智能推薦和輔助決策將大大降低我公司的安全事故，為生產(chǎn)保駕護航，促進健康、安全、環(huán)境友好型企業(yè)的建設。

[1]李國杰,程學旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領域——大數(shù)據(jù)的研究現(xiàn)狀與科學思考[J].中國科學院院刊,2012.6,27(6):647-657.

[2]Borthakur D, Gray J, Sarma J S, et al. Apache Hadoop goes realtime at Facebook[C]//Prose of SIGMOD 2011. New York: ACM, 2011: 1071-1080.

[3]王珊,王會舉，等.架構大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與發(fā)展[J].計算機學報,2011,10,34(10):1741-1752.

[4]孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術與挑戰(zhàn)[J].計算機研究與發(fā)展，2013,50(1):146-169.

[5]鄧仲華,李志芳.科學研究范式的演化——大數(shù)據(jù)時代的科學研究第四范式[J].情報資料工作，2013,4,19-23.