郭猛猛
(安徽省勘查技術院,安徽 合肥 230031)
2014年11月,我國首個地質大數據平臺在西藏地調院試運行。該平臺以大數據技術為依托,通過開發適應多種類、表現形式多樣的地質大數據的關鍵技術,實現了地質大數據的一鍵式存儲、組織、管理、快速檢索與智能挖掘等。
2015年貴州地質科技園正式開園,成為國內第一家以地質元素為主題,以地質大數據、地質大生態引領發展的科技創新園區;2016年貴州省建設國家大數據(貴州)綜合試驗區,成為首個國家級大數據綜合試驗區。
2015年山東省投資2個多億,第一期投資6 000萬建設智慧地礦工程。該工程是將GIS、大數據、云計算等現代信息技術與地質工作相結合,采集近60年來覆蓋山東省15萬km2范圍內的地質原始資料和成果數據,實現地礦數據從數字到信息、從信息到知識、從知識到應用的轉化,從而達到地質科普、服務決策、模式復制、地質工作方式創新的目的。
2017年2月,湖北省地質局以構建“湖北省地質局地質大數據平臺建設”進行項目專題調研,并于2018年6月份開始基礎建設采購。
2017年廣東省投資約4 900萬以集聚廣東全省地質數據構建綜合的大型數據中心為核心建設智慧地質。現廣東省智慧地質工程尚處在數據中心建設初步階段。
2017年11月,中國地質調查局“地質云V1.0”正式上線運行。中國地質調查局積極貫徹落實黨中央及國土資源部大數據與信息化建設總體部署,圍繞建設世界一流的新型地質調查局,啟動“地質云”建設工作,旨在依托云計算、互聯網+、大數據等信息技術,消除數字鴻溝,整合共享數據資源,力爭建成國內權威,國際一流地質大數據中心和“地質云”服務平臺體系,實現地質信息的開放與共享。
此外,云南、河南、山西等省也相繼啟動了地質大數據信息化建設工作。
到目前為止,地質方面已經完成了全省1∶20萬區調圖幅、1∶50萬系列地質圖、安徽省礦產圖、安徽省鐵銅礦產分布圖、安徽省大別山地區1∶5萬片區總結,省內在基巖區開展的1∶5萬區調共151幅,新發現礦床(點)約200處,涉及30余個礦種;物探方面完成了全省大部分地區1∶20萬比例尺區域重力調查和1∶5萬及更大比例尺航磁數據采集;化探方面完成了安徽省蚌埠幅1∶20萬新一輪區域化探掃面等成果、18份1∶20萬區域化探掃面成果以及1∶50萬安徽省區域重砂成果圖,撰寫了《安徽省區域重砂成果》報告。
安徽省地學數據庫建設起步較早,1991年開展了“礦點(床)數據庫管理系統”、“物化探異常數據庫管理系統”的開發和數據庫建設;1994年建立“安徽省巖石地層數據庫”;1997年完成了“安徽省1∶50萬數字地質圖”的編制,建立了相應的地質圖空間數據庫。1999年,全國地質大調查工作啟動,先后完成了“安徽省1∶20萬地質圖空間數據庫”、“安徽省1∶20萬自然重砂數據庫”、“安徽省礦產地數據庫”、“安徽省地質工作程度數據庫”等數據庫建設。
根據建設目標和內容分析,安徽地質信息化平臺主要面向安徽省地礦局內部用戶、地質行業用戶、政府部門用戶和社會公眾用戶。
(1)地礦局內部用戶。省地礦局內部用戶除包括管理決策人員外,還包括地質、礦產、水工環等相關基層單位生產人員和科研人員,以及平臺的運維人員。
(2)地質行業用戶。地質行業用戶主要指除地礦局內部用戶以外的用戶,平臺為這類用戶提供一定范圍內數據的共享服務,以及可能提供的地質數據分析服務等,同時他們也是安徽省地質大數據云平臺主要的使用推廣對象。
(3)政府部門用戶。地質信息是國民經濟建設中的基礎性資料,廣泛應用在城市規劃、國土、水利、交通、環境、農業、地震、安全、能源、旅游等眾多行業領域,對這些行業的業務工作具有重要的支撐作用。可以預見,未來安徽省地質大數據云平臺對接安徽省政務云后,地質信息必然會優先共享給各個行業廳局委辦。
(4)社會公眾用戶。公眾用戶對本項目的平臺和系統沒有主觀的使用需求,但省地礦局作為地質行業的專業單位,肩負著面向公眾提供地質科普,引導公眾對地質業務認知的社會責任。
圍繞建立全面統一的安徽省地質大數據庫和地質大數據服務平臺,對安徽省地礦局內的數據資源情況進行了調研分析。通過調研,主要有地質專業數據、項目檔案資料、遙感衛星數據三大類數據應進行內部建庫歸檔,并服務于各地礦單位。同時,考慮到重力數據、土地類專題調查類數據等多為涉密數據,故平臺中對此類數據應進行整理并存檔到基礎數據庫,在涉密工作環境下使用[1]。
3.3.1 技術需求
(1)異構存儲架構的統一管理。平臺需要存儲的數據具有種類繁多、體量大等特點,不僅有傳統的結構化數據,同時具有大量的半結構化數據和非結構化數據,需要在傳統關系型數據庫存儲的基礎上,提供大數據的分布式存儲,才能滿足各種海量大數據存儲的需求。為了方便管理,需要實現關系型數據庫與分布式存儲框架的統一管理、維護,才能夠達到地質大數據服務的預期目標,體現出安徽省地質大數據云平臺建設的服務效能。
(2)分布式處理框架的統一管理。平臺未來整體數據量將達到PB級,含空間數據、非空間數據。平臺需要針對不同的應用需求提供不同的大數據處理框架:第一個框架是處理大規模業務數據,包括MapReduce、Hive和Spark等;第二個框架是查詢大數據框架,包括GIS Tools for Hadoop等。為了方便管理,需要針對不同處理框架實現統一的生命周期管理、算法作業管理等功能[2]。
(3)地質大數據管理。平臺需要基于基礎地理信息、地質信息整合各行業的專題數據,形成安徽省統一的地質大數據服務平臺行業數據模型,而地質大數據管理功能充分體現了平臺的大數據管理能力。平臺需要提供針對地理模型的管理功能,包括:元數據管理、歷史管理、質量管理、數據備份、數據更新。與此同時,還需要建立長效的數據更新機制,保證數據的現勢性、持續性和可用性。此外,地質大數據管理能夠提供對底層存儲資源的多租戶管理、權限分配等功能,為地質大數據行業模型的數據管理工作提供基礎支撐。
(4)地理、地質二三維可視化展示。平臺從內核實現二三維一體化GIS技術,幫助用戶構建實用的、滿足深度業務需求的三維GIS應用。要求提供豐富的三維符號,綠植、路燈、道路、水面等要素均可用三維符號展現;提供三維線型符號、自適應管點符號、模型符號實現快速構建三維管線場景。提供水面、粒子、局部動畫、太陽陰影、帶狀跟蹤等三維視覺效果,支持骨骼動畫模型、節點動畫、視頻投放到三維場景、碰撞檢測等功能,顯著提升三維場景瀏覽的視覺真實感和操作體驗。流暢顯示1 000 km2以上的精細模型,支持1 000萬記錄以上的地物矢量化,加載TB級的地形和影像數據,支持直接加載TB級傾斜攝影數據,提供直接加載、動態投影、單體化選擇、屬性查詢、空間查詢、三維空間分析等功能。
3.3.2 業務功能需求
(1)地質大數據基礎支撐平臺。為了更好地利用項目建設的地質大數據庫成果,更靈活地服務于業務部門對地質相關信息的可視化要求,需要建立云平臺、大數據平臺、綜合集成管理平臺作為基礎支撐,實現對地質大數據的存儲、訪問、管理和服務。
(2)地質大數據資源共享服務。平臺建設的核心思想就是基于基礎地理信息、地質數據,搭建安徽省地質大數據服務平臺實現數據資源的共享。各單位在應用大數據平臺提供的服務能力的同時,也可以享受平臺提供的數據共享和應用共享服務。因此,需要平臺能有效保障共享資源的安全。
(3)基于地質的大數據挖掘框架。為使平臺能夠滿足地礦單位的業務需求與政府部門的宏觀決策需求,需要對大量地質、基礎地理數據進行空間統計、排序,揭示不同地質對象之間的內在關系、規律和潛在特征信息。為此,平臺為用戶提供了基于地質的大數據挖掘框架,可以基于大數據的分布式處理框架,高效地進行空間分析和挖掘。同時,為了方便用戶使用和定制,平臺需要為用戶提供可視化的建模環境和基礎空間算法庫。用戶可根據自身業務需求,在可視化建模環境中,建立基于地質空間算法庫的大數據分析挖掘模型,實現地質空間大數據分析模型的自由組裝和定制。
(4)基于地質大數據平臺的應用服務。以地質大數據平臺提供的公共服務基礎為支撐,圍繞地質工作的生產管理、成果應用共享等方面需求,開展多個應用系統的建設工作。目前,根據前期的調研規劃,主要建立以下應用系統:地質數據共享服務系統;遙感衛星數據共享服務系統;地質災害應急協同會商系統;地質大數據運營中心軟件系統[3]。
(1)兼容性要求。平臺支持多云區域或多數據中心部署,并考慮安徽省政務云兼容性,保障未來遷移工作順利完成。
(2)可維護性要求。平臺中涉及軟件提供符合軟件開發規范的完整源代碼、用戶使用手冊以及平臺維護手冊;平臺涉及硬件提供完整技術參數、有效的廠家售后、聯系方式、硬件維護手冊等。
(3)可擴展性要求。平臺中各層次之間相對獨立,使得各層次都具有一定的擴展性,具體表現為存儲與計算可拓展,服務可綜合集成且提供二次開發接口。
國家地質信息化建設應擺脫單純以“數據量”論成效的價值觀,重視數據的信息服務價值,有效地開展地質數據綜合集成與產品開發,大力發展現代地質資料信息服務,不斷提升地質信息資源的開發利用程度,加大信息綜合整合力度,使地質工作的各項成果能夠及時完整地提供給政府、專業人員和社會公眾,增強公益性地質工作的服務功能。同時,應借鑒大數據思維,探索國家基礎地質大數據可視化技術,提升信息價值,增強國家基礎地質信息化軟實力,實現數據價值的最大化。