小臺站的大數據和云計算設想＊

李文靜

（中國地震局地殼應力研究所，北京100085）

（作者電子信箱，李文靜：wenjing410＠126.com）

引言

“大數據”這個術語最早期的引用可追溯到Apache.org的開源項目Nutch。當時，大數據用來描述為更新網絡搜索索引需要同時進行批量處理或分析的大量數據集。隨著谷歌Map Reduce和Google File System（GFS）的發布，大數據不再僅用來描述大量的數據，還涵蓋了處理數據的速度［1］。早在1980年，著名未來學家阿爾文·托夫勒便在《第三次浪潮》一書中，將大數據熱情地贊頌為“第三次浪潮的華彩樂章”。不過，大約從2009年開始，“大數據”才成為互聯網信息技術行業的流行詞匯［2］。

大數據（big data），或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理，并整理成為幫助企業經營決策更積極目的的資訊。大數據的4V 特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）［3－4］。

大數據技術的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”［5］。從技術上看，大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理，必須采用分布式計算架構。它的特色在于對海量數據的挖掘，但它必須依托云計算的分布式處理、分布式數據庫、云存儲和虛擬化技術。大數據需要特殊的技術，以便在允許的時間內有效地處理大量的數據［6－7］。

從字面上看，某個單一的地震觀測臺站和大數據是沒有關系的，而實際上，臺站不僅需要大數據工程，而且是迫切需要大數據工程。

1 臺站的大數據計劃

目前的野外觀測臺站向上級部門提供的就是儀器觀測的時間序列數據，有些臺站提供部分輔助的觀測數據，如地震前兆觀測臺站還提供相應的氣象要素觀測結果等。然而這遠遠不夠，完整的臺站數據，即這里所說的大數據計劃，應該包括如下內容：

（1）臺站歷史資料。包括選擇在該臺站設立相關觀測項目的初衷，建臺以來臺站觀測設備的更換，觀測手段的增減。如果是人工讀數觀測，還應該提供相應讀數人員的變化情況。

（2）臺站場地環境資料。包括臺站所處位置一定范圍內的地貌情況，地下結構情況，周邊環境變化，比如在可能影響數據變化的距離內修建水庫、興建大型建筑等。

（3）臺站觀測數據資料。除了目前常規的觀測數據時間序列外，還應包括一個通用的數據說明，在其中標明數據文件格式、數據是什么（何種）設備產出的，中間經過了怎樣的數據處理過程等。

（4）臺站臨時試驗資料。為了項目研究或者其他工作的需要，對臺站正在進行的觀測項目開展的臨時試驗，例如改變觀測井水溫的探頭深度或場地注水試驗等，就需要將該段時間的數據進行特別標注；有些研究項目在臺站臨時架設觀測設備的數據，臺站需要保留下來，以便后續可能的應用分析；有些工程項目在臺站所轄的一定范圍內開挖探槽、打樁、放炮等，需要給臺站備份該項目所獲得的數據和分析結果。

（5）臺站常規及常用的分析工具。主要是臺站使用的數據處理軟件、源程序等，包括臺站人員自己研發的實用程序，以及應用臺站數據開展分析工作的研究程序等。

（6）臺站觀測數據行業應用。臺站不僅僅是產出數據的地方，還是最先處理數據并開展行業應用的地方。臺站可以利用自己單一的臺站或者綜合臨近數個臺站的相關資料開展分析，并將結果匯總至上級部門。

（7）臺站觀測數據的應用效益。觀測數據是用來被分析的，因此需要統計臺站資料的應用情況，比如每年有多少篇文章、多少份報告中用到了臺站數據，是用什么樣的方法分析的臺站數據，對數據觀測提出了什么樣的建議等。

2 建立臺站大數據的意義和作用

臺站大數據計劃涵蓋的內容很多，其意義和必要性主要體現在：

（1）從數據處理的工作量來看，采用并行計算的思想，將原來集中在一個國家數據中心或省數據中心，由數名人員分析全國或全省的數據，改變為由全國各個臺站人員獨立分析數據，將結果反饋到數據中心進行二次加工，從而大大減輕數據中心或分析預報中心的壓力，提高工作效率。臺站進行常規數據分析時，可以采用統一的軟件和算法標準，或者根據已有經驗確定固定的算法標準。同時，臺站人員是對觀測數據最熟悉，對當時一些可能的影響因素最了解，由他們開展數據分析工作，可以大大提高結論的可靠性。

（2）從數據的完備性來看，觀測資料僅僅是一部分，觀測資料的變化與觀測設備的更新換代、觀測場地環境的改造以及數據預處理方法的差異等都密切相關。數據分析結論的可靠性取決于數據的完備程度，如果僅僅從數據時間序列出發，分析得到的結論是不可靠的，甚至是錯誤的。而從臺站長期的人員更換來看，一套完備的數據，可以讓剛從事該項工作的人員更快地掌握工作技能，從而降低由于人員變更帶來的數據變化風險。

（3）從臺站管理的角度來看，完備的數據有益于上級部門對臺站建設和運行維護做出正確的決策。比如，臺站觀測的數據是否達到了架設臺站測項時的預期目標？臺站數據是否有其存在的意義，是否存在一些臺站數據長期沒有被使用？通過對類似相關內容的分析，可以對當前臺站布局、臺站測項搭配、后續臺站布局等提出合理的意見和建議，并做出適當調整。

（4）從人才培養和科學進步的角度看，由臺站來建立一套完備的大數據，將改變觀測、分析、研究相互脫節的現狀。盡管現在有很多科研項目也開展野外觀測，但這些觀測的短處是顯而易見的，比如是遠程訪問或定期下載觀測數據，而不是現場觀測等。同時，大數據計劃也將會激勵更多的高學歷人才從事一線工作，有助于改善臺站知識層次以及改變社會就業理念等，最終推動行業研究工作乃至科學研究的進步。

3 臺站的云計算計劃

1983年，太陽電腦（Sun Microsystems）提出“網絡是電腦”（“The Network is the Computer”），2006年3月，亞馬遜（Amazon）推出彈性計算云（Elastic Compute Cloud，EC2）服務。2006年8 月9 日，Google首席執行官埃里克·施密特（Eric Schmidt）在搜索引擎大會（SES San Jose 2006）首次提出“云計算”（cloud computing）的概念。對云計算的定義有多種說法，目前廣為接受的是中國云計算專家咨詢委員會副主任、秘書長劉鵬教授和著云臺團隊給出的定義：“云計算是通過網絡提供可伸縮的廉價的分布式計算能力”。云計算代表了以虛擬化技術為核心，以低成本為目標的動態可擴展網絡應用基礎設施，是近年來最有代表性的網絡計算技術與模式。一般意義上的云計算提供基礎設施即服 務（Infrastructure－as－a－Service，IaaS），平臺即服務（Platform－as－a－Service，PaaS）和軟件即服務（Software－as－a－Service，SaaS）這3個層次的服務功能。

臺站的云計算計劃和管理臺站的上級部門或數據中心密切相關。因為它需要數據中心提供計算數據和計算軟件，這正是臺站的上級部門或數據中心所應該提供的云計算服務功能。臺站不需要龐大的計算集群和高性能計算設備，只需根據自己的需要，從數據中心選擇數據，并在計算平臺上利用相應的計算軟件或程序開展數據分析和研究。而這些研究成果將成為上級部門進一步分析時的重要參考。而上級部門或數據中心也將根據大部分臺站的需求，提供相應的軟件和算法，以進一步提高臺站數據分析能力和可靠性。

4 討論與結論

臺站大數據和云計算計劃看起來是個非常龐大的課題，似乎難度很大，但仔細分析并非如此。因為它只是涉及工作的調整，特別是很多數據中心的工作被分流到一個個臺站來完成。對數據中心而言，一般都有遠程數據服務功能，現在只是把更多關于一個個臺站的信息增加了進來，這需要對數據庫進行擴展改造。對上級部門的數據分析專家而言，他們的工作中心應該是對數據的二次加工，以及在此基礎上為臺站提供更為成熟的或必要的計算軟件。對臺站而言，增加了很多原來沒有的工作，但是保留了一套完整的臺志，為后人留下可用的資料，提高了臺站數據的應用效益，提高了臺站人員的地位。對行業科學進步而言，它將會推進行業研究水平的提高。因此，這是一個可行的計劃。

當然，在具體操作過程中，還是存在一些問題，特別是數據分析任務分流到臺站，需要結合臺站的具體情況，采取合適的步驟進行，否則分析中心可能得不到正確的結論。

［1］撫蘇.眾望所歸，大數據時代來臨.電腦報，2013－06－24（14）：1－3

［2］任姝瑋.大數據時代：新機會 新模式.浦東開發，2013（3）：22－23

［3］趙三明.汽車后市場大數據時代已來臨.中國工業報，（2014－02－14）［2014－04－15］.http：∥www.cinn.cn/qc/309938.shtml

［4］維克托·邁爾－舍爾維恩，肯尼斯·庫克耶.大數據時代.杭州：浙江人民出版社，2013

［5］邱雪濤，趙金濤.基于實時大數據處理的交易欺詐偵測的研究.軟件產業與工程，2013，22（4）：36－40

［6］王太師.大風起兮“云”飛揚.貴州日報，（2014－02－28）［2014－04－15］.http：∥58.42.249.98/epaper/gzrb/Content/20140228/Articel01007WD.htm

［7］《財務與會計》編輯部.詞條：大數據.財務與會計：理財版.2013（7）：23