大數據視域下新疆煤炭資源信息共享系統建設研究

婁 芳，霍世豪，林海飛，3，賈永勇，嚴 敏，3，李樹剛，3，閆振國，3，周 捷

(1.新疆煤炭科學研究所，新疆 烏魯木齊 830091； 2.西安科技大學 安全科學與工程學院，陜西 西安 710054；3.西安科技大學 西部礦井開采及災害防治教育部重點實驗室，陜西 西安 710054)

大數據時代的快速發展，使得數據信息成為時代發展的支撐。開放性、可共享性以及時效性是數據信息資源所特有的性質，這種特質使得數據信息變得尤為重要[1-2]。為挖掘信息資源中的價值，世界各國都進行了不同程度的科學研究。美國地質調查局提出的核心科學體系戰略，旨在構建一個新的地球科學體系，將生態系統、能源和礦產、環境健康等有機整合起來，構建了以大數據為基礎的科學體系[3]，實現了煤炭資源數據的開放與共享。

國內資源信息共享平臺建設、研究主要集中于農業、林業、地質、工業等領域。在資源信息共享平臺研究方面，李福興等[4]對煤炭開采大數據平臺的關鍵技術進行了研究，并在平臺建設的軟件與硬件方面提出優化和建議；譚章祿等[5]提出煤炭大數據平臺建設的關鍵技術及管理協同架構，為煤炭大數據平臺的建設提供參考；汪璇等[6]提出了基于Web GIS縣域農業資源信息共享系統研究方案；李華等[7]提出了國土資源一張圖共享服務平臺建設研究方案；宋春橋等[8]提出了基于ArcGIS Server的藏北草地資源信息共享平臺實現方案。在資源信息共享平臺建設方面，國家級共享平臺搭建了國家農業科學數據共享平臺、中國林業植物新品種保護網、中國植物新品種保護信息網和中國林業信息網等數據庫以及國家地質大數據共享服務等平臺，這些平臺旨在通過數據資源整合和信息系統集成，全面提升資源數據采集、匯聚、處理、分析、共享與服務能力。

新疆地區的共享平臺建設研究主要集中于國土資源信息、畜牧業等方面，張健峰等[9]集中研究了新疆地區國土空間基礎信息平臺建設方案；丁愷[10]對新疆維吾爾自治區政務基礎地理信息公共服務與新疆測繪地理信息服務進行了系統研究。而在煤炭領域，新疆作為中國陸地面積第一的省級行政區，與國內其他省份相比，其地理位置與環境相對復雜，“三山夾二盆”的地形結構阻礙了信息的交流與溝通，且煤礦之間所采用不同的信息數據儲存方式，使得無法對煤炭資源信息進行統一集中管理。為解決新疆煤炭“信息孤島化”問題，響應國家自然資源信息化建設的號召，本文為新疆煤炭資源信息共享平臺建設做出了相對應的方案研究，推動煤炭資源信息共享平臺建設。

1 平臺設計

1.1 平臺整體設計

1.1.1 平臺整體布局

煤炭資源信息共享平臺是按照資源共享理念，以信息網絡為基礎，信息資源開發與利用為核心，通過使用先進的技術手段和完備的體制機制及標準體系保障，實現煤炭資源信息的整合與共享，解決了煤炭信息資源的無序開發、信息化基礎設施重復建設和相關數據無法共享等問題。為實現新疆煤炭資源信息共享平臺數據匯集與資源共享的目的，平臺做了以下設計。

針對新疆煤炭資源信息共享平臺數據集成功能，以縣級、地級、自治區內的煤礦企業自下而上布置共享平臺，這些企業將平臺所需要的數據上傳至平臺數據清理服務器后，由平臺服務器篩選、清理所獲取的數據，然后發送至平臺存儲服務器中，用戶可通過實體或移動終端來獲取信息。形成以云基礎架構資源層、基礎服務數據中心層、運移管理業務引擎層、服務接入與門戶系統層的資源共享平臺，如圖 1所示。

圖1 新疆煤炭資源信息共享平臺構架Fig.1 Schematic diagram of Xinjiang coal resources information sharing platform

煤炭資源信息共享平臺為滿足政府機構人員對新疆煤炭資源的管理與監管，科研機構的研究工作與社會大眾的瀏覽需求，煤炭企業設備研發成果共享等需要，設計了成果轉換、行業動態展示、煤炭科普、設備共享等模塊，實現了不同用戶之間的信息交流共享。

1.1.2 平臺架構設計

通過對國內已建成的信息共享平臺總體結構的分析，結合新疆地區復雜地理環境的特點，新疆煤炭資源信息共享平臺采用分布式數據中心與一站式服務門戶模式進行構建[11]。分布式數據中心的優勢在于多個服務器在建設上可以循序漸進地展開，彼此保持一定距離及獨立性，滿足新疆地區信息分布廣泛的特性，且分布式的搭建對服務器后期擴容升級有良好的兼容性。而一站式服務門戶是各種功能的集成，可以使用戶在一個平臺上獲取自己需要的所有信息。

在結構框架方面，新疆煤炭資源信息共享平臺采用目前最主流的搭建方式，即以應用服務層(SaaS)、平臺服務層(PaaS)以及基礎設施服務層(IaaS)組成[12]，具體內容如下。

(1)SaaS層。主要由各種應用服務或軟件服務組成，包括煤炭資源一張圖模塊、煤炭資源動態數據模塊、煤炭價格、安全監測、產品、大型儀器設施共享、成果轉化、咨詢與培訓和投資與合作模塊。

(2)PaaS層。主要針對SaaS層的軟件服務提供數據管理或軟件管理，上層數據模塊通過數據庫管理子系統、信息交換共享子系統、煤炭資源信息一張圖管理子系統、門戶系統以及后臺管理子系統進行分系統管理。這些子系統通過平臺數據接入、共享服務與數據庫溝通提取數據。

(3)IaaS層。為了便于各種類型數據的存儲與檢索，基礎設施服務層借助虛擬化技術，能夠對物理資源進行池化，從而真正發揮硬件的價值[13]。實現了資源的按需分配和快速部署，將各種類型數據從邏輯上對其重組，從而實現信息的邏輯抽象和統一表示，然后將上傳的數據進行清洗，儲存至不同的服務器中，供上層服務調用。新疆煤炭資源信息共享平臺系統架構如圖2所示。

圖2 新疆煤炭資源信息共享平臺系統架構Fig.2 System architecture of Xinjiang coal resources information sharing platform

1.1.3 平臺數據服務設計

數據庫建立以礦井(礦區)為單元開展相關數據錄入工作，根據收集資料的類別建立相應的屬性數據，如地質賦存條件、開采技術條件、開發現狀、安全技術需求等，形成標準的數據交換文件、元數據文件。

文件數據主要分為基礎數據、專題數據和管理數據3大類。基礎數據是核心數據庫中所有數據的基礎，是其他各類數據的統一空間參考[14]；專題數據主要是反映區域煤炭礦產資源的具體狀況和各類規劃審批的背景情況，它是管理數據的本底；管理數據是對煤炭礦產資源數據管理過程及各種行為的記錄，最終得到煤炭礦產資源的管理過程及結果信息。其中，基礎數據主要包含新疆地區的地理坐標、地質結構、新疆各個礦區地理位置經緯度坐標以及地質結構或巖層結構等。專題數據包括礦區、煤田分布，礦產資源儲量以及煤炭價格、新聞資訊、用戶上傳的科研成果、科研設備信息。管理數據則包含了管理人員通過平臺進行資源管理所產生的數據。

在數據處理方面，新疆煤炭資源信息共享平臺主要包含數據的匯集與分析和數據服務化，其主要內容有元數據服務、地圖數據服務、業務數據服務。

(1)元數據服務。元數據服務是數據服務的基礎，可以用于新疆煤炭資源信息共享平臺的組織、檢索、管理信息與資源信息，并且平臺通過OGC(Open Geospatial Consortium)/CSW來規范元數據的管理。

(2)地圖數據服務。平臺利用OGC定義相關規范，規范包括Web 地圖服務(WMS)、地圖切片服務(WMTS)、Web要素服務(WFS)、Web 覆蓋服務(WCS)、Web 處理服務(WPS)一系列服務，以實現地圖查詢、編輯等功能，為新疆煤炭資源信息一張圖建設提供相應的技術服務。

(3)業務數據服務。業務數據具體包含礦區資料、礦區儲量、煤炭價格、新疆GIS地理數據，為新疆煤炭資源信息共享平臺一張圖可視化系統提供支撐。新聞資訊、最新科研成果、科研儀器、行業動態等其他專題數據作為平臺專題展示于平臺頁面中，為用戶獲取最新煤炭信息提供渠道。而對于用戶數據、管理數據以及平臺基礎數據這些較為私密的數據，只有擁有特定權限的管理員或政府機構才可以訪問與獲取。

1.2 軟件功能設計及實現

平臺基于Windows 7及以上系統作為開發平臺，Windows Server 2008 R2 系統為項目部署服務器，采用Spring Boot + Mybatis + BootStrap的進行開發。Windows操作系統采用圖形用戶界面(GUI)，具有操作界面友好，符合操作邏輯，操作動作易學等特點。并且Windows操作系統對硬件具有較好的兼容性[15]。

平臺的主要功能是對平臺中各類數據的集中管理維護，是集成了數據接入、清洗、分析、展示的窗口。平臺設計了除導航欄目可配置、頁面布局可配置以及消息推送這些軟件功能外，還提供了針對煤礦紙質數據錄入功能，以及數據分析展示功能。

(1)紙質數據識別。在礦井實際生產作業中，會產生大量的礦井地理信息和生產信息等紙質數據，為了實現數量大、種類多的紙質數據電子化存儲，需要進行掃描、錄入、校對等工作，消耗了大量的人力，且效率低下。此模塊則用戶提供數據填報模板，用戶按照模板填寫數據直接上傳數據即可。數據文件運用Java POI、Java IO技術完成對Microsoft Office 格式、txt等類型數據文件的解析工作，并存儲至對應的業務數據庫中。再對Microsoft Office格式、txt等類型數據文件解析、存儲，極大地提高了數據錄入效率，也提高了平臺數據庫的更新頻率。

(2)數據分析展示。平臺提供數據分析導出模塊，生成PDF數據報告文檔，為用戶提供文字性與可視化圖表的分析報告。如2021年動力煤市場分析報告、2021年煤炭主消費區報告、2021年煤炭主產區報告等，報告中數據統計將以可視化圖表展示。

而在軟件安全防護方面，平臺采用MD5加密用戶密碼、保存于COOKIES(儲存在用戶本地終端上的數據)中的數據采用了以MD5加密為基礎，加入隨機加密因子的改進型專用加密算法以及SQL注入防護的措施使軟件的安全性得到了極大的提高。平臺對數據安全采用數據備份、數據加密、raid磁盤陣列、操作失誤回滾等措施。而對用戶上傳的平臺數據，由用戶上傳數據的不確定性，可能會違反國家相關規定的數據或言論這一問題，平臺通過人工審核數據這一保障性措施，確保數據安全問題。

1.3 硬件服務系統設計與實現

為滿足不同群體用戶的需求，平臺設計IaaS層技術架構的云服務模式[16]。IaaS層技術架構的服務模式以儲存、計算服務器為底層，以新疆煤炭資源數據為基礎，為用戶提供數據共享與可視化服務，形成“存儲計算—數據交換—數據共享—應用服務”的應用系統體系。

平臺設計分為煤炭資源一張圖系統、數據庫管理系統、門戶系統、信息共享交換系統以及后臺服務系統，這些系統主要為不同群體用戶實現相應的功能，即多數據匯集、可視化展示、信息檢索、數據分析、元數據管理等[17]。為新疆煤炭信息共享建立較為健全的數據產品和服務產品體系，形成新疆煤炭領域較為完備的信息共享服務平臺，如圖3所示。

圖3 新疆煤炭資源信息共享平臺應用系統設計Fig.3 Application system design of Xinjiang coal resources information sharing platform

1.3.1 數據庫管理系統

平臺采用MySQL關系型數據管理系統，此系統將數據保存在不同的表中，而不是將數據全部儲存于大倉庫內，MySQL采用標準的SQL數據語言形式，能有效提高數據查詢速度及數據靈活性[18]。平臺數據的獲取主要包含關系數據、圖片(JPG、PNG)、文檔(TXT、Excel)以及音頻(MP4)等渠道。其中關系數據稱為附件數據，該數據儲存于MySQL數據庫中如圖4所示，并采用Nginx + FTP的方式進行搭建。平臺分別運用了Nginx的反向代理和負載均衡功能，通過反向代理分發請求，所有動態資源的請求交給應用服務器，而靜態資源的請求(例如圖片、視頻、CSS、JavaScript文件等)則直接由Nginx返回到瀏覽器，這樣能大大減輕應用服務器的壓力。

圖4 平臺數據存儲流程Fig.4 Platform data storage flowchart

1.3.2 信息共享交換系統

信息共享交換系統是整個新疆煤炭資源信息共享平臺的核心內容之一，其主要功能是實現功能服務模塊與所對應數據庫數據的信息獲取、修改等功能，屬于整個平臺的“脊柱”，連接平臺的各個部分。

平臺整合煤炭行業相關政策、技術、生產、貿易的數據以及外部接入的相關資源數據，結合業務數據需求，制定數據標準，進而建設基礎庫和專題庫，同時對外提供統一的數據服務接口，支撐包括資源門戶、統計分析、數據資源資源管理，一張圖服務各類上層應用，并采用開源ETL工具Kettle 8.2編寫數據處理業務流程(包括數據歸類、過濾、計算、業務分析等)。從煤礦服務器采集得到的數據如瓦斯含量、礦井通風量、礦井地質等數據上傳至數據清洗服務器，數據清洗服務器通過移動平滑法、時間序列平滑、小波濾噪算法清洗數據，再通過Windows系統計劃任務/平臺任務管理的方式進行配置，實現數據處理作業的定時自動執行。平臺數據處理流程如圖5所示。

圖5 平臺數據處理流程Fig.5 Platform data processing flowchart

經過清洗的數據保存至數據存儲服務器中，同時服務器配置了網絡防火墻，提高了數據的保密性與安全性。移動端用戶在獲得一定的權限后可通過HTTP網絡協議訪問服務器并管理相關的數據。

1.3.3 資源信息共享平臺一張圖可視化系統

為了使平臺所匯集到的新疆煤炭資源數字信息直觀生動地呈現給用戶，平臺構建了新疆煤炭資源信息共享平臺一張圖系統。一張圖是新疆煤礦空間數據與屬性數據的信息匯集展示平臺，為用戶提供可視化的新疆煤炭資源信息。基于統一的礦圖標準規范體系及一張圖數據庫，采用面向服務的架構(SOA)，實現符合OGC 國際標準的地理空間數據和業務數據共享接口，為各種數據的接入與處理以及現有系統模塊的集成提供支撐。

新疆煤炭資源信息共享平臺一張圖系統首頁以新疆全局地圖為背景，利用2DGIS或2D + 3DGIS技術，通過一張圖的形式展示新疆各個地區的煤炭礦場和企業機構等信息[19]。展示的信息包括基礎信息展示，如礦區位置，所屬單位等；煤炭產量信息、煤炭分類、煤炭地區賦存、煤炭銷售信息、煤炭最新成交價等信息的展示。在一張圖內容中，用戶可以通過各種Echarts或Sparkline圖表獲取其所需要的信息[20]。

不僅如此，平臺會根據所登錄用戶類別的不同，而展示不同的數據。為政府機構展示新疆地區煤炭資源儲量、銷量、煤炭價格、事故發生情況、煤礦安全態勢等級，使政府機構更好的履行穩定市場、煤炭安全生產監督的責任[21]。對于行業企業平臺除了展示相關煤炭信息外，還加入了各個企業需求內容以及行業最新科技成果等。而針對科研機構，平臺將會發布最新科技成果和科研機構大型儀器設施共享信息以及煤炭行業所亟待解決的問題。除了上述3個用戶類型外，平臺還為社會群體提供新聞資訊、煤炭科普、煤炭價格走勢等社會群眾所關心的信息。一張圖可視化系統直觀地展示了新疆地區煤炭信息，該系統是信息匯集與共享的核心內容[22]。

1.3.4 門戶系統

平臺是基于目前流行的B/S(瀏覽器/客戶端模式，Browser/Server)模式的Web 應用系統，客戶端采用Windows 操作，主要是為了服務企業、人才和機構等。本平臺主要有平臺數據展示及后臺數據管理系統2部分組成。根據提供的服務內容不同，將平臺數據展示分為8個模塊來實現，如圖6所示[23]。

為了滿足PC端、移動端、超大屏幕等多種設備都能夠進行平臺訪問與使用，Web技術采用Bootstrap開源框架，該框架提供了HTML和CSS規范，包含豐富的Web組件且兼容大部分jQuery插件，同時也提供了多端適用的響應式界面布局方案。

資源門戶模塊為本平臺的核心模塊之一，主要為各類用戶提供動態數據展示、數據詳情查看等服務。本模塊可根據用戶所選擇的身份類別智能匹配與之相關度較高的動態數據項。

圖6 平臺門戶系統示意Fig.6 Schematic diagram of platform portal system

1.3.5 后臺數據管理系統

后臺數據管理系統的主要功能是內容管理，平臺的所有數據都需要通過后臺內容管理模塊進行發布，該模塊是統一信息發布平臺的核心部分[24]。通過此系統，可以將平臺數據展示頁面的數據進行統一管理、審核、查詢、統計、報表導出，其主要分為用戶數據的管理與維護、平臺展示數據的管理與維護，平臺訪問權限的管理與維護，用戶角色的管理與維護、平臺訪問日志的管理與維護等。

平臺管理員進入平臺后臺管理系統后，可通過后臺管理系統對平臺信息進行添加、維護和查詢等操作。在添加、維護平臺信息時，管理員可以將所要添加、更新的信息輸入到系統彈出的對話框內并點擊上傳，此時系統將會對所輸入的信息進行格式檢查。若不符合信息規范，系統會提示管理員重新輸入；若符合規定信息格式，系統則會更新數據庫。而對于平臺信息查詢這一功能，管理員可通過后臺管理系統輸入信息查詢的條件，獲取到對應的平臺信息具體流程如圖7所示。

圖7 平臺基礎數據的管理與維護圖流程Fig.7 Diagram and flowchart of platform basic data management and maintenance

2 關鍵技術

新疆地區幅員遼闊、礦產資源豐富，隨之而來的問題就是信息交流較為困難，以下是解決這個問題的關鍵技術及實現方式。

(1)集群式部署。平臺采用集群部署方式，tomcat集群部署的方案。集群部署方案具有高可用性、高性能、高性價比等的優點。在平臺升級實施過程中可以對集群服務器中的程序代碼進行逐一暫停并替換重啟，而不需要停止整個項目，降低實施風險。

(2)分布式系統架構。平臺采用分布式系統架構，各子系統相對獨立，可分單位逐步進行部署[25]。單個服務器故障僅影響單一功能而不影響到整個系統，系統安全性大幅度提高。分布式系統便于減輕網絡負擔，降低對服務器等設備的要求，在提供大量用戶同時上線方面具有明顯的優勢。

(3)多數據匯集。平臺的核心為多數據匯聚，這些數據的來源有數據庫對接數據、接口協議數據、動態采集數據、報表文件數據。平臺通過建立對數據的清洗任務，將每一種格式的數據(如：TXT、MP4、CSS、HTML等)進行分類匯集，每一種類型數據形成結構化數據，而所有類型數據又組成非結構化數據。平臺采用數據同步固件使各種結構化數據保持更新，在數據采集前端完成數據對標入庫后，固件會將所更新的數據同步到各個服務器，實現數據的實時刷新，保證了數據的時效性。

(4)數據分析。平臺每周會對新疆地區的礦井進行安全態勢分析，并將安全態勢分為“綠色”、“黃色”、“紅色”3個安全等級，當檢測指標參數超過一定的閾值將會發出報警[26]。平臺對井下瓦斯監測器收集到的瓦斯歷史數據運用時間序列分析算法進行瓦斯濃度預測，并對影響安全態勢的因素進行分析，所得出的預測預警結果將會為新疆地區的安全管理提供建議與幫助。

3 現場應用

以新疆呼圖壁縣石梯子西溝煤礦為例，平臺一張圖展示了西溝煤礦地理位置、礦區分布以及煤礦信息簡介。在平臺一張圖中，新疆煤礦監察人員可以查看疆內煤礦分布及礦區分布情況，擁有對應權限的人員也可查看礦區煤炭生產、銷量和煤礦災害情況。為有關部門對疆內煤礦的統一安排及管理提供平臺。

在平臺信息共享門戶中，信息發布與接收者可以通過平臺進行信息的交流。通過西溝煤礦對新疆煤炭資源新信息共享平臺的現場應用，打破了疆內煤礦之間的信息壁壘，促進了新疆煤炭經濟發展。同時有關部門通過平臺對疆內煤礦的統一管理，實現了對碳排放的間接管理，響應了國家的“雙碳”政策。

4 結論

(1)基于新疆地區復雜的地理環境特征，研究設計了適合新疆地區的平臺布局、系統架構及特色功能，為新疆地區用戶提供了煤炭信息一體化的服務平臺。

(2)通過時間序列等算法進行煤礦安全態勢分析，實現了煤礦安全預測預警功能。新疆煤炭資源信息一張圖系統極大地體現了平臺數據匯集、共享的功能。

(3)平臺對不同類型用戶提供不同的煤炭信息，滿足了政府資源管理、安全監督,行業供需發布,研究機構科研成果共享,社會大眾煤炭信息普及的服務需求。