大數(shù)據(jù)技術(shù)在流域梯級水電企業(yè)的應用

王文斌，于遠鵬

（雅礱江流域水電開發(fā)有限公司，四川省成都市 610051）

大數(shù)據(jù)技術(shù)在流域梯級水電企業(yè)的應用

王文斌，于遠鵬

（雅礱江流域水電開發(fā)有限公司，四川省成都市 610051）

本文簡要介紹了大數(shù)據(jù)技術(shù)的特點和相關(guān)背景，結(jié)合流域梯級水電企業(yè)生產(chǎn)、管理方面的問題，分析了大數(shù)據(jù)技術(shù)的一些典型應用場景，提出了流域梯級水電企業(yè)大數(shù)據(jù)應用平臺的架構(gòu)，以期其對解決目前水電企業(yè)發(fā)展中的問題具有建設性的意義。

大數(shù)據(jù)技術(shù)；流域調(diào)度；狀態(tài)檢修

0 引言

隨著信息技術(shù)的不斷發(fā)展，傳統(tǒng)行業(yè)也能夠生產(chǎn)出與大型電商企業(yè)同樣數(shù)量級的數(shù)據(jù)。一方面，原始數(shù)據(jù)背后的巨大價值等待著人們?nèi)ネ诰颍硪环矫妫瑢τ跀?shù)據(jù)處理的難度也是制約這一進程的關(guān)鍵因素。大數(shù)據(jù)技術(shù)的出現(xiàn)，改變了人們認識客觀事物規(guī)律的方法，即從以前的對事物由大到小的逐步剖析演變?yōu)閷⑹挛锓诺礁蟮沫h(huán)境中去尋找共性、特性與趨勢。新一輪數(shù)字化浪潮已經(jīng)到來，作為傳統(tǒng)行業(yè)的水電企業(yè)如何把握住歷史機遇，利用大數(shù)據(jù)技術(shù)將企業(yè)經(jīng)營管理水平提高到一個新的高度，值得所有從業(yè)人員的思考。

1 大數(shù)據(jù)技術(shù)的背景

大數(shù)據(jù)是指由數(shù)量巨大、結(jié)構(gòu)復雜、類型眾多的數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)是指通過對數(shù)據(jù)進行整合計算、交叉分析，推導出趨勢和知識的能力，簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力。大數(shù)據(jù)有三個特性，可以概括為三“V”：一是規(guī)模性（Volume），依靠豐富的數(shù)據(jù)采集存儲手段，目前數(shù)據(jù)的規(guī)模已經(jīng)從GB級別、TB級別躍升到PB、EB、ZB級別，據(jù)國際權(quán)威機構(gòu)研究顯示，現(xiàn)在全球一年產(chǎn)生的數(shù)據(jù)量，比過去幾千年產(chǎn)生的數(shù)據(jù)量還要大，現(xiàn)今世界上90%的數(shù)據(jù)量是在過去一年多里產(chǎn)生的；二是多樣性（Variety），從日志、視頻、圖片到地理位置信息、企業(yè)生產(chǎn)數(shù)據(jù)等，數(shù)據(jù)不再是傳統(tǒng)意義上的數(shù)字，諸如天氣等因素都將成為數(shù)據(jù)采集的對象；三是高速性（Velocity），數(shù)據(jù)的時效性是很重要的，數(shù)據(jù)的采集和處理幾乎是同時發(fā)生的，即延時很小，這需要先進的算法和分布式的計算架構(gòu)，這一點也是大數(shù)據(jù)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)的本質(zhì)區(qū)別。

2 國內(nèi)外發(fā)展現(xiàn)狀

單個數(shù)據(jù)的價值有限，但海量的數(shù)據(jù)累加，量變就會引起質(zhì)變，這個準則在幾乎所有行業(yè)都是通用的。

國內(nèi)電商企業(yè)京東早在2011年就開始了大數(shù)據(jù)的相關(guān)工作。通過收集用戶的購買習慣和購買能力，京東為每位用戶做了用戶畫像，根據(jù)用戶購買和瀏覽歷史，用戶的資料被細分成了包含年齡、學歷、婚否、性別、收入、愛好等要素，按照系統(tǒng)預測向客戶推送存在潛在需求的產(chǎn)品信息，同時針對地區(qū)的需求分析，優(yōu)化每個區(qū)域中心倉庫的庫存結(jié)構(gòu)。做到了預測銷售和倉庫自動補貨，實現(xiàn)了按需向用戶銷售，按需向供應商訂購。一個經(jīng)典的閉環(huán)流程就是：京東從用戶近期所購物品分析出用戶即將出門旅游，其立即向用戶推送了戶外用品的信息，在用戶下單后立即自動向供貨商下單進行補貨，同時通過保險合作者向用戶推銷短期旅途保險，甚至還能預測用戶的目的地，提前推送景點門票的網(wǎng)購鏈接。通過強化大數(shù)據(jù)這一工具的應用，京東的銷售額從2011年的210億元增長到2014年的1000億元。

美國通用電氣公司（簡稱GE）在使用大數(shù)據(jù)上走在了世界的前列。GE是一家傳統(tǒng)行業(yè)的公司，其產(chǎn)品涵蓋了航空、醫(yī)療、能源等領(lǐng)域。過去，GE生產(chǎn)的航空發(fā)動機中的傳感器只能發(fā)出警報，即：故障發(fā)生后才會在儀表盤上以警報燈顯示。這類傳感器包括：溫度傳感器、氣壓傳感器和電壓傳感器，這些數(shù)據(jù)過去得不到重視，一般情況下，發(fā)動機只會保留三個平均值，分別是起飛、巡航和降落數(shù)據(jù)。從2010年起，GE在其新生產(chǎn)的航空發(fā)動機上大規(guī)模安裝智能傳感器，飛機飛行過程的全部基礎數(shù)據(jù)都將會保存并上傳至GE的全球數(shù)據(jù)分析中心，甚至飛機可以在飛行過程中實時地將傳輸數(shù)據(jù)到分析中心。依靠GE在全球航空市場的規(guī)模，GE建立了一個超大規(guī)模的工業(yè)物聯(lián)網(wǎng)，通過分析海量數(shù)據(jù)，發(fā)動機的故障預測率接近70%，為客戶節(jié)省了一大筆開支。

3 大數(shù)據(jù)技術(shù)在流域梯級水電企業(yè)應用的場景

水電行業(yè)是技術(shù)密集型行業(yè)，特點是設備種類多，自動化程度高，設備上安裝了數(shù)量龐大的傳感器，存儲了海量的設備運行數(shù)據(jù)；同時，由于流域梯級水電企業(yè)要兼顧流域不同電站的運營維護，必然會產(chǎn)生大量的備品備件的流轉(zhuǎn)信息，這些數(shù)據(jù)都為開展大數(shù)據(jù)分析的工作打下了堅實的基礎。

3.1 流域梯級水電企業(yè)電力營銷管理

流域梯級開發(fā)水電資源具有巨大的梯級補償效益，多電站運營也會產(chǎn)生一些不確定因素，如：不同的電站電量消納地區(qū)的不同導致的上下游水庫水位消落不同步，這將削弱水庫聯(lián)合優(yōu)化調(diào)度的優(yōu)勢；同時，由于電量消納地區(qū)的經(jīng)濟變動，導致電力需求的變化，使得在電力需求高峰到來之前水庫蓄水不足或者電力需求低谷到來前水庫蓄水過多，都不利于優(yōu)化發(fā)電的需求。

通過采集大量的電力消納地區(qū)的經(jīng)濟指標，組成一個大數(shù)據(jù)集，預測一段時期以后目標地區(qū)的經(jīng)濟增長情況，依此推斷出目標地區(qū)的電力需求信息，并且與流域歷年水庫消落數(shù)據(jù)聯(lián)合來預測今后一段時間的發(fā)電情況，從而可以提前做好水庫水位的準備工作，使流域發(fā)電綜合耗水率降低，提高流域梯級補償效益。

3.2 流域主輔設備狀態(tài)檢修

水輪發(fā)電機組長期頻繁跨越振動區(qū)運行會導致機械損耗、固定連接件松動，給安全穩(wěn)定運行埋下隱患。通過監(jiān)測設備振動信號和分析倍頻信號，可以判斷出設備是否處于健康狀態(tài)。但流域水輪機組種類繁多，運行工況不盡相同，如果以單一機組為目標來做設備健康分析，要對每臺機組單獨建立數(shù)學模型，將會耗費很大的人力、物力。

統(tǒng)計流域所有機組出現(xiàn)故障的時間點，提取這一時間點前后機組的振動數(shù)據(jù)變化，用大數(shù)據(jù)的聚類分析方法找出每臺機組的特征參數(shù)，分析相同和不同類型的數(shù)據(jù)，相當于為每臺機組畫像，當機組運行參數(shù)出現(xiàn)這些故障特征值時，就可以預測機組處于將要出現(xiàn)故障的邊緣，由此可提前采取防范措施，從而為機組故障診斷和開展狀態(tài)檢修打下基礎。通過應用大數(shù)據(jù)技術(shù)，再結(jié)合具有故障診斷功能的專家系統(tǒng)，水電廠狀態(tài)檢修的應用場景如圖1所示。

圖1 水電廠狀態(tài)檢修應用場景Fig. 1 Application scenario of condition based maintenance in hydropower plant

3.3 流域梯級水庫的優(yōu)化調(diào)度

上文提到了利用預測電力銷售情況來提前準備水庫水位，而如何在當前來水情況下提前準備水庫水位則要依靠對河流徑流量的預測，否則會造成空庫等不到來水或者滿庫被迫放水的情況。

河流歷年的徑流量是不同的，而且受天氣等因素的影響較大。通過將流域歷年氣象預報、歷年徑流量信息、各電站發(fā)電流量信息等數(shù)據(jù)進行大數(shù)據(jù)分析，可以預測出流域各水庫的蓄水起始時間點，對于預測產(chǎn)生的誤差，可通過具有前饋的BP神經(jīng)網(wǎng)絡與基于Markov過程的模型進行聯(lián)合優(yōu)化而消除，并且預測期越長，其預測結(jié)果越接近多年實際徑流量，最后結(jié)合各電站每年供電曲線優(yōu)化出實際的蓄水起始時間，從而降低蓄水的時間成本，還能同時滿足發(fā)電和防汛的需求。

3.4 流域備品備件管理及優(yōu)化

流域各機組進入檢修期的時間并不同步，而各機組由于各種原因需要更換的備品備件也不相同。遇到突發(fā)的故障需要更換零部件，由于備品沒有足夠的庫存而采購會拉長機組的檢修期，降低機組的并網(wǎng)時間。

將各機組歷年更換的備品備件情況進行統(tǒng)計，按照需求數(shù)量和緩急程度梳理出各種備品備件的排行榜，依照優(yōu)先級準備不同數(shù)量的備品，即：數(shù)量需求大的大量采購，各電站備品庫都安排庫存；數(shù)量需求小的按各電站出現(xiàn)故障的頻率依次遞減采購數(shù)量，對于數(shù)量需求極小的備品采購較小數(shù)量，存放于流域備品中心庫。結(jié)合分析各機組出現(xiàn)故障的平均時間和故障類型，提前安排備品的出庫和運輸，從而可以實現(xiàn)在故障到來之前將備品送至現(xiàn)場，縮短備品的物流時間。

如果設備出現(xiàn)故障時相應備品數(shù)量不足，將延長設備的消缺時間，降低設備的可靠系數(shù)。建立面向備品供應商的采購平臺，通過大數(shù)據(jù)分析工具，預測到備品即將出現(xiàn)短缺信息時，提前向供應商下單，從而縮短備品的采購時間。

3.5 企業(yè)文化管理及優(yōu)化

企業(yè)文化對于企業(yè)發(fā)展有著重要的戰(zhàn)略意義。企業(yè)文化的提煉和發(fā)展關(guān)系著企業(yè)未來的命運，關(guān)系著企業(yè)的戰(zhàn)斗力和凝聚力。如何讓企業(yè)文化深入員工心中則是企業(yè)文化管理的重中之重。

企業(yè)內(nèi)網(wǎng)每天都會發(fā)布很多新聞，但不同新聞的點擊率和閱讀量都存在差距，甚至同一類新聞的點擊率都相差巨大。

利用企業(yè)內(nèi)網(wǎng)新聞網(wǎng)站抓取每位員工的點擊和瀏覽記錄，對每位員工的新聞閱讀習慣和閱讀領(lǐng)域進行大數(shù)據(jù)分析，為每個員工畫像，要素可以包括：新聞類型、新聞的寫作特點、新聞的焦點等，依照每位員工的畫像為其推送感興趣的新聞，同時通過搜集到的閱讀點擊數(shù)據(jù)來優(yōu)化新聞的寫作方法，可以實現(xiàn)每一篇新聞稿都是員工喜歡的類型和寫作風格，這樣可以在潛移默化中將企業(yè)的文化價值導向以員工喜聞樂見的方式傳播下去，從而大大提高了企業(yè)文化的作用。

4 相關(guān)技術(shù)手段

4.1 大數(shù)據(jù)計算框架

要組建流域水電企業(yè)的大數(shù)據(jù)平臺，需要將大量不同類型的數(shù)據(jù)收集在一起進行處理，各種數(shù)據(jù)對處理的延時敏感程度不同，尤其像機組狀態(tài)數(shù)據(jù)對處理的實時性要求較高，這就要求平臺的搭建應將系統(tǒng)響應時間最小放在第一位，同時由于隨著數(shù)據(jù)的積累，數(shù)據(jù)文件的容量也將會越來越大，因此系統(tǒng)還要兼顧大容量數(shù)據(jù)文件的處理，目前行業(yè)內(nèi)應用最廣的是基于Hadoop的分布式計算框架。

Hadoop是以分布式文件系統(tǒng)為基礎的一種高效并行計算框架，由于采用了開源結(jié)構(gòu)，Hadoop能夠顯著地降低企業(yè)部署時的成本。Hadoop由數(shù)臺x86架構(gòu)的服務器組成計算節(jié)點，其中一臺為管理節(jié)點，數(shù)據(jù)文件分散存放于各節(jié)點上，文件類型為Hadoop分布式文件系統(tǒng)（HDFS），該文件系統(tǒng)能夠提供完全冗余功能，保障數(shù)據(jù)的安全；通過高效的調(diào)度機制實現(xiàn)數(shù)據(jù)的容錯與超大規(guī)模的數(shù)據(jù)吞吐能力，利用Map/Reduce編程架構(gòu)實現(xiàn)并行計算，降低大規(guī)模數(shù)據(jù)處理的復雜度，當數(shù)據(jù)文件增長到TB級別時仍能提供較強的并發(fā)處理能力。

4.2 存量數(shù)據(jù)的挖掘

企業(yè)在運營過程中會產(chǎn)生大量的數(shù)據(jù)，許多數(shù)據(jù)都在使用后沉淀到電子報表中，甚至是紙質(zhì)文檔里，其后果是產(chǎn)生了許多數(shù)據(jù)孤島，掩蓋了數(shù)據(jù)的價值。將存量電子表格的數(shù)據(jù)按照一定規(guī)則自動導入到大數(shù)據(jù)平臺的文件存儲系統(tǒng)中，同時改造企業(yè)獲取信息的手段，將新增的數(shù)據(jù)導入HDFS中，努力消除數(shù)據(jù)孤島，使數(shù)據(jù)在所有平臺流動起來。

4.3 超大規(guī)模傳感器網(wǎng)絡的應用

設備的狀態(tài)信號需要傳感器的采集，目前機組安裝的傳感器數(shù)量有限，采集速率也不利于開展機組實時狀態(tài)分析，改造機組的傳感器網(wǎng)絡，使用數(shù)量更多、反應更靈敏、檢測更精確的傳感器將成為搭建大數(shù)據(jù)平臺的先決條件。

目前備品備件的存放還依賴于倉庫管理人員手動清點后再錄入倉庫臺賬，其缺點是效率低、容易出錯。采用物聯(lián)網(wǎng)的思維，在每一個備品上貼上唯一的射頻識別標簽（RFID）識別碼，可以精確定位到每一個備品的位置，出庫和退庫的狀態(tài)都由系統(tǒng)自動錄入，降低了人為操作的誤差，同時結(jié)合流域各電站自建庫和流域中心庫的分布，可以極大地優(yōu)化備品備件的管理模式。

4.4 異構(gòu)數(shù)據(jù)分析軟件

傳統(tǒng)數(shù)據(jù)分析軟件是采用定向識別后進行進行和知識發(fā)現(xiàn)的，存在處理流水過長的弊端，采用異構(gòu)數(shù)據(jù)分析軟件，可以根據(jù)分析目標發(fā)散式的識別數(shù)據(jù)，在識別的同時進行挖掘和分析，提高了分析效率，縮短了分析時間，增加了分析的實時性。

5 結(jié)論

通過大數(shù)據(jù)平臺的搭建，企業(yè)可以實現(xiàn)各種數(shù)據(jù)的內(nèi)部流動，并能基于外部因素對未來數(shù)據(jù)進行預測，平臺結(jié)構(gòu)如圖2所示。

圖2 流域梯級水電企業(yè)大數(shù)據(jù)應用平臺架構(gòu)Fig. 2 Platform architecture for big data application in cascade hydropower company

各子系統(tǒng)數(shù)據(jù)導入大數(shù)據(jù)平臺后，通過算法規(guī)則生成具有參考價值的數(shù)據(jù)提供給企業(yè)決策層使用，同時當企業(yè)外部因素變動后，決策層可以通過改變算法規(guī)則來調(diào)整生成的數(shù)據(jù)，使之不斷滿足企業(yè)發(fā)展的需求。

德國在2013年提出了工業(yè)4.0的概念，即：繼蒸汽機的應用、規(guī)模化生產(chǎn)和電子信息技術(shù)等三次工業(yè)革命后，人類將迎來以信息物理融合系統(tǒng)（CPS）為基礎，以生產(chǎn)高度數(shù)字化、網(wǎng)絡化、機器自組織為標志的第四次工業(yè)革命。中國在2015年“兩會”期間提出了“互聯(lián)網(wǎng)+”的概念，即充分發(fā)揮互聯(lián)網(wǎng)在生產(chǎn)要素配置中的優(yōu)化和集成作用，將互聯(lián)網(wǎng)的創(chuàng)新成果深度融合于傳統(tǒng)行業(yè)，提升實體經(jīng)濟的創(chuàng)新力和生產(chǎn)力，形成更廣泛的以互聯(lián)網(wǎng)為基礎設施和實現(xiàn)工具的經(jīng)濟發(fā)展新形態(tài)。“互聯(lián)網(wǎng)+”代表一種新的經(jīng)濟形態(tài)，推動了社會以用戶創(chuàng)新、開放創(chuàng)新、大眾創(chuàng)新、協(xié)同創(chuàng)新為特點的創(chuàng)新2.0，改變了我們的生產(chǎn)、工作、生活方式，也引領(lǐng)了創(chuàng)新驅(qū)動發(fā)展的“新常態(tài)”。

大數(shù)據(jù)作為一個具有極大潛力的載體工具，在融入了先進理念后將為企業(yè)運營提供極大的戰(zhàn)略支撐作用。流域梯級水電企業(yè)在運營中產(chǎn)生的海量數(shù)據(jù)為開展大數(shù)據(jù)分析工作提供了堅實的物質(zhì)基礎，運用好這一工具，有利于企業(yè)增強自身競爭力，順應當今社會萬眾創(chuàng)新的“新常態(tài)”，對提高我國經(jīng)濟實力和創(chuàng)新能力有著積極的作用。

流域梯級水電企業(yè)肩負著為國家提供優(yōu)質(zhì)清潔能源、優(yōu)化能源結(jié)構(gòu)的戰(zhàn)略性任務，應用大數(shù)據(jù)技術(shù)，使之服務于國家能源戰(zhàn)略。運用科學手段優(yōu)化企業(yè)運營、提高企業(yè)精細化管理的水平將成為“經(jīng)濟新常態(tài)”下的企業(yè)愿景。

[1] 白晟，李榮香.大數(shù)據(jù)應用發(fā)展及挑戰(zhàn)[J].赤峰學院學報（自然科學版）.2016，14：20-21.

[2] 陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學報.2013，S1：142-146.

[3] Thomas Sandholm，Kevin Lai.MapReduce optimization using regulated dynamic prioritization[J]. ACM SIGMETRICS Performance Evaluation Review.2009，1：299-310.

2016-04-30

2016-05-20

王文斌（1985—），男，中級工程師，主要研究方向：電力市場改革、大數(shù)據(jù)應用等。E-mail：wangwenbin@ylhdc.com.cn

于遠鵬（1974—），男，中級工程師，主要研究方向：水電站運營管理。E-mail：yuyuanpeng@ylhdc.com.cn

The Application of Big Data Technology in Cascade Hydropower Company

WANG Wenbin，YU Yuanpeng
（Yalong River Hydropower Development Company，Chengdu 610051，China）

A brief introduction to the characteristics and background of the big data technology with the problems in production and administration of cascade hydropower company was presented，by analyzing some typical application scenarios of big data technology，a framework of big data application in cascade hydropower company was proposed by which to resolve growth problems of cascade hydropower company in a constructive way.

big data technology； river scheduling； condition based maintenance

TM622

A學科代碼：470.4047

10.3969/j.issn.2096-093X.2017.03.012