張帆,喬天罡,盧燕虹,陳琳榮,陳聰吉林省地震局;吉林省四平市地震臺;吉林省震害防御中心
吉林省地震業務大數據調研整理
張帆1,喬天罡2,盧燕虹1,陳琳榮3,陳聰1
1吉林省地震局;2吉林省四平市地震臺;3吉林省震害防御中心
目前吉林全省已經建成近30個地震監測臺站。經初步測算,我省所有臺站每年產生的數據總量5TB左右,每天產生數據量為14G左右,涵蓋了前兆、測震、火山、安評等多種業務數據。隨著2006年十五期間地震領域由模擬時代向數字化時代轉變以來,業務水平突飛猛進,數據量也不斷的龐大,傳統的關系型數據庫已經難以提供相應的數據存儲管理和處理能力,缺點也逐漸顯露出來,很多歷史數據以硬盤、圖紙、光盤等介質進行存儲,這些數據具備兩個基本特征[2]:數據量巨大、數據類型多樣。而傳統的介質存儲一旦損壞或遺失,一些寶貴的歷史數據將會永遠的失去,產生的損失不可估計。另外傳統的關系型數據存儲形式,也導致了各個業務之間缺少橫向對比,對地震業務的綜合分析一直是一個瓶頸。為了能夠對全省海量地震業務數據進行在線存儲、共享、管理和查詢分析,建立了具有高可靠、可在線彈性伸縮,滿足高吞吐量并發訪問需求的云存儲與計算平臺。為數據存儲和高效計算提供便捷、統一管理和高效應用的基礎平臺支撐。因此,對吉林省地震相關業務進行了全方位的數據統計和搶修工作,對地震監測、震情分析、地震應急有著重要的意義。
吉林省地震與火山監測中心2007年實現測震業務全面信息化建設并投入使用,測震數據自2007年以來,考慮到傳統軟件的數據處理能力,歷史數據以硬盤存儲的方式進行保存。隨著吉林省地震臺網的不斷完善,測震業務數據從2007年開始的每年數據總量160G到2015年為止每年數據總量660G,每年數據量遞增了五倍。到目前位置,總數總量約8100G。
前兆業務數據從2007年開始至今,吉林省20個臺站記錄的前兆業務數據總體數據量5T左右,存儲量龐大,傳統的存儲形式已經到了飽和階段,而且數據種類繁多,涵蓋地磁、地電、流體、形變、氣象等內容。
吉林省長白山天池火山監測站1999年7月投入觀測,先后建有流動地震觀測臺網和中心臺,其中位于山上觀測山洞的CBS地震臺,自建成以來就連續觀測,連續性高,數據質量好,運行情況如下:
1999年07月-2007年06月該臺使用的地震計為FBS-3A型寬頻帶地震計,數采為EDAS-24L6型數據采集器,產出數據為EⅤT格式數據,可用RDSEED或Event2SAC軟件方便地轉換成SAC格式數據。
2007年07月-現在該臺開始使用CTS-1E型寬頻地震計,數據統一由省局臺網中心保存,數據格式為SEED格式,可用Event2SAC轉換成SAC格式的數據。
1999-2006年建立5個流動地震臺,分別是東大坡臺(DDP)、西大坡臺(XDP)、氣象站臺(QXZ)、維東臺(WDT)和雙目峰臺(SMF),這些臺站一般夏季觀測,冬季基本停測,數據質量不穩定,連續性也不好,使用的觀測儀器為JC-Ⅴ100-3D短周期地震計,數采為EDAS-3M型數據采集器,產出數據擴展名為EDA,不方便用Event2SAC軟件批量導出SAC格式數據。
2006年至今,長白山火山地震臺站數量擴大到11個,分別是火山站臺(CBS)、東大坡臺(DDP)、西大坡臺(XDP)、氣象站臺(QXZ)、維東臺(WDT)、雙目峰臺(SMF)、中心臺(ZXT)、山門臺(SMT)、長白臺(CBT)、漫江臺(MJT)和橫山臺(HST)。其中3個臺站為短周期地震臺,其它均為寬頻帶地震臺。火山站臺(CBS)、中心臺(ZXT)、山門臺(SMT)、長白臺(CBT)、漫江臺(MJT)是有線傳輸臺站,數據格式為SEED,其它6個臺站不傳輸,數據格式為EⅤT格式數據,數據擴展名為dat,可用Event2SAC批量轉換成SAC格式數據。
當前,吉林省地震臺網中心對大數據的處理分析正成為新一代信息技術融合應用的節點。移動互聯網、物聯網、社交網絡、數字家庭、電子商務等是新一代信息技術的應用形態,這些應用不斷產生大數據。通過對不同來源數據的管理、處理、分析與優化,將結果反饋到上述應用中,將創造出巨大的經濟和社會價值。
[1](美)懷特.Hadoop權威指南.清華大學出版社.2010
[2](英)維克托.邁爾-舍恩伯格.大數據時代.浙江人民出版社.2013
Survey and Research on seismic data of Jilin Province
Zhang Fan1,Qiao Tiangang2,Lu Yanhong1,Chen Linrong3,Chen Cong1
1Earthquake Administration of Jilin Province;2Siping City of Jilin province seismic station,Siping;3Earthquake disaster prevention center of Jilin Province
在傳統關系型數據庫難以滿足正常業務存儲和管理能力的情況下,對吉林省測震臺網中心及其涵蓋的測震臺站的業務數據進行統計和整理,以hadoop大數據技術[1]為基礎平臺進行存儲和處理,提供了數據的輸入、歷史數據導入、業務數據的共享等應用。為業務人員業務情況的分析和研究提供重要的信息化平臺。
關系型數據庫;大數據;信息化
It is difficult to meet in the traditional relational database storage and management of normal business ability,statistics and sorting business data seismic network center and seismic stations covered in Jilin Province,Hadoop big data technology for storage and processing platform,provides data input,data import,data business history sharing application.Provide an important information platform for the analysis and research of the business situation.
Relational database;big data;information
吉林省地震局科研合同制課題《大數據搜集調研整理》(2016012),中國地震局監測、預報、科研三結合課題(160703)。
張帆(1982-),男,吉林省松原市人,學士,助理工程師,現主要從事地震與火山監測工作。