數字礦山中多源異構數據融合技術研究

李國清，胡乃聯，陳玉民

（1．北京科技大學金屬礦山高效開采與安全教育部重點實驗室，北京100083；2．山東黃金礦業股份有限公司，山東 濟南250014）

數字礦山建設的一個重要特征，是通過不同層面上應用系統的集成，形成包括過程控制、地礦工程、安全生產、經營決策等若干層面在內的信息化建設體系。這一特征，一方面實現了數字礦山中各種形式信息的分布式采集和集成化應用；另一方面，則不可避免地出現了大量多源異構數據的集成與共享問題。在網絡環境的支持下，數字礦山中所規劃的功能各異，而又彼此協同的諸多系統各自產生了大量信息，包括數據、音頻、圖像、文本等。同時，對這些信息進行智能化加工處理后，形成一系列的知識性信息資源、預警性的信息表述、總結性的信息文檔等。這些都使得數字礦山中的信息無論從采集、處理、應用，還是從信息的流轉與共享上，都出現顯著的多源異構特征。由此可見，解決數字礦山中的多源異構數據融合問題，實現信息資源的高效存儲、科學加工和無縫流轉，是數字礦山建設的基礎性工作，也是其管理協同化和決策智能化的重要保證。

1 數字礦山中數據的多源異構性

數字礦山涉及大量的地質資源空間分布、生產技術與安全、地質測量、財務成本、人力資源、視頻監控、設備運轉與參數等各個分散系統的時空數據。這些時空數據分散在異構系統中，有著不同的數據格式和規范，采用不同的概念和術語，基于不同的數學模型和分析推理方法。而這些信息，不但對于分系統本身相當重要，同時一些數據也相互共用，在若干個系統中也發揮著作用。

由此可見，數字礦山中需要解決如下的異構數據融合問題：

（1）數據信息具有明顯的多源性、多語義性、多時空性、多尺度和獲取數據手段多樣性等特點，這就決定了數字礦山中數據表達的復雜性，這是多源異構數據融合首要解決的問題。

（2）隨著數字礦山建設的深入展開，數據交換的范圍逐步擴大，由原來礦山企業內部，擴展到通過廣域網與上級管理部門及其他成員單位之間的數據交互，以及通過因特網與業務相關企業間的數據交互，從外部獲取并挖掘隱含的、多語義解釋的信息。

（3）多源異構數據融合后，需要形成 “綠色數據”，而不是簡單的數據堆積和累加所形成的重復、冗余的數據。這要求基于數據的生存周期，以及數據所為之服務的系統，明確定義不同層面應用對于數據的集成性要求。冗雜的數據，不但無法實現信息集成，反而會影響數據的解譯性，降低決策效率。

（4）軟件升級后的異構數據融合問題。這在數字礦山的建設中會經常出現，但是又通常被忽略。由于異構數據的融合涉及到眾多軟件系統和數據存儲格式，如果出現更新或升級，可能導致原有的數據交換方式無法進行。

（5）軟件升級帶來的另一個問題，是現有系統如何與歷史數據共同使用的問題。歷史數據作為數字礦山在建設和運轉過程中積累下來的寶貴財富，需要在企業的生產經營決策中發揮重要作用。然而，隨著軟件的升級與更新，這些歷史數據已無法以最新和最優化的形式進行展示。這種當前系統與歷史數據之間的數據融合問題，也是數字礦山的信息集成中不可忽視的內容。

2 數字礦山中的多源異構數據融合技術

數字礦山建設中，多源異構數據融合的核心方案，是通過不同的數據融合技術，屏蔽底層數據源的不同，使得用戶不必考慮底層數據模型和地理位置不同等問題，直接通過單系統應用，即可實現對授權范圍內所有異構數據源的靈活訪問。其中的關鍵技術，是如何以一種統一的數據模式描述各數據源中的數據，屏蔽它們的平臺、數據結構等異構性，實現數據的無縫集成。

數字礦山的多源異構數據融合，所采用的方式主要包括三種，即聯邦數據庫系統、數據倉庫和數據訪問中間件。

2.1 聯邦數據庫系統

聯邦數據庫系統數據融合方案，是針對于計劃、生產、安全、地質等管理系統的開發與應用，也稱共享式。在這種數據融合方式下，系統中各數據源是獨立的，為了實現數據共享，采用數據交換格式對各數據源建立一一映射，且相互提供各自訪問接口，從而可以使任一數據源能夠訪問其他數據源提供的信息。

在具體的規劃與實施上，主要表現在網絡數據庫的應用，以及不同主題數據庫的建立。這其中又分為緊耦合式和松散耦合式兩種：

（1）緊耦合式：表現在一個主題數據庫內部數據表之間的數據融合，以及字段間的映射關系。在數字礦山業務的協同化處理的功能體系，即礦山中的安全和生產管理系統中，就是通過緊耦合式的數據融合，實現業務的無縫流轉和數據集成。

（2）松散耦合式：表現在利用一些聯邦信息，實現在一個站點訪問另一個站點的數據。這些信息中，包含一些類似于全局模式的信息，各站點通過本地的數據訪問語言訪問其他站點的數據，具有一定的分布性、異構性和自治性的特點。在數字礦山的數據融合過程中，松散耦合主要表現在三維可視化地質資源信息與關聯信息之間的數據融合過程。一方面，從地質資源的安全性出發，形成局部的數據存儲；另一方面，數字礦山中的設計計劃優化、生產與安全等信息，可以以松散耦合的方式與之形成數據融合。

2.2 數據倉庫

也稱復制式。數據倉庫的建設是為了解決軟件升級所帶來系統更新與歷史數據之間的數據融合問題，并形成 “綠色數據”。在數字礦山建設過程中，決策化功能層次上發揮著重要的作用，是數字礦山具備 “智能化”的動力所在。建立數據倉庫系統，對進入數據倉庫的原始數據完成抽取、轉換、過濾、清洗等處理，最終進入數據倉庫，以及對數據倉庫中存儲的數據進行更新、管理、使用、表現等的相關軟件和工具進行集合，用以支持數據倉庫應用或管理決策。

2.3 數據訪問中間件

也稱為接口式。即底層數據和上層應用之間建立一個中間層。上層應用和底層數據之間的操作，都要通過中間層進行。這一中間層屏蔽了數據源的異構性和分布性，對應用層提供統一標準接口，這樣，使系統對每個不同數據源的操作變為對單一的中間件的操作，而后再由中間件進行操作的分解和結果的合成。

在數字礦山建設中，中間件技術被廣泛應用于平臺之間的數據交互問題，不僅提供了訪問的透明性，也從安全性、靈活性和可擴展性方面，都將提供更好的表現。

3 針對信息資源層次性架構的信息集成

要解決多源異構數據融合問題，首先需要對信息資源的存儲與集成進行整體規劃。針對數字礦山中信息資源的多源異構性可知，礦山企業的信息資源具有明顯的層次性特點。不同層面的信息資源，都有獨特的數據存儲格式，以及相應的信息處理方案。而各層次之間、層次內容，則呈現復雜的多源異構特征，如圖1所示。

圖1 數字礦山建設中的層次性信息資源架構

圖1表示了一個自底向上逐級集成的信息資源結構，各級別的信息屬性及主要內容如下：

（1）PLC現場設備數據。作為數字礦山中最基礎的數據產生單元，PLC現場設備主要用于開關量的邏輯控制、模擬量控制、運動控制、過程控制等。PLC都提供了通信及聯網功能，包括PLC間的通信及PLC與其他智能設備間的通信。但是，現場設備數據基本上處于功能分散、分別處理的階段，集成度最低，信息共享的必要性不明顯。

（2）HMI人機接口數據。HMI通過采集現場設備的實時運行信息，完成實時的設備運行狀況分析，并自動將數據儲存至數據庫中。作為相對底層的數據存儲單元，HMI數據同樣具有分散存儲的特點，所產生的數據信息分散存儲于各自的實時數據庫中，形成實時的分散數據存儲網絡。

（3）工業數據庫。是一個集成的工業數據采集與加工平臺，實時感知HMI中所產生的數據存儲網絡，將所產生的所有實時數據存儲于統一規劃的工業數據庫內，在此基礎上，為企業的經營管理平臺提供實時準確的基礎數據。工業數據庫是一個重要的數據加工環節，一方面，現場數據量龐大，數據實時屬性明顯；另一方面，數據的表示能力差，多為流水賬式數據，需要經過加工處理、集成后，才能為礦山生產管理系統提供所需的數據。

（4）關系數據庫。關系數據庫存儲著礦山生產經營過程中各業務流程所產生的數據，以及一些外部的、非關系型數據 （如文本、圖形等）進行導入加工后，所產生的為企業的生產經營過程提供數據支持的信息內容。它與工業數據庫之間最大的區別在于，數據的集成度不同。關系數據基于不同的礦山業務，數據的產生的加工具備一定的周期性和嚴格的邏輯關系，是實時數據經匯總、集成、規范后，形成的數據集。

（5）數據中心與數據倉庫。這是系統具備智能性的數據保證。數據中心通過建立數據字典，統一規劃業務數據庫的結構、標識、數據加工方式。數據倉庫則通過建立元數據庫，定義數據的集成方向、抽取方式，并通過建立多維數據集，形成按不同維度集成的多級數據集合。數據倉庫內嵌常規的數據挖掘模型，并具備模型與方法的擴展接口，使數字礦山的信息處理方式，不僅包括連機處理系統OLTP，還包括一系列的連機分析系統OLAP，以滿足不同業務對于數據集成程度的要求。

4 數字礦山中的多源異構數據融合方案

基于數字礦山中的層次型、逐層集成的信息資源結構特點，所采用的多源異構數據融合技術如圖2所示。

基于前文所規劃的信息集成方案以及多源異構數據融合方案，需要進一步細化落實，這一工作通過信息資源規劃來實現。為了避免信息重復采集、加工、存儲，最大限度地消除因名稱不一致所造成的誤解和分歧，做到使事物名稱和術語含義統一化、規范化，并確定信息與事物或概念之間的一一對應關系，可以通過數據的標準化來簡化數據交換。同時，泛在信息采集的一個原則，是使人和物都具備感知功能，并通過唯一的標識，將這些感知的信息接入到泛在網絡中。這就要求通過對信息進行分類編碼，將各個環節進行簡化、要素化和標準化，進行信息的相似化處理，以保證信息的可靠性、可比性和適用性，以達到系統的整體最優化。

圖2 數字礦山中多源異構數據融合方案

4.1 信息分類編碼的集成與規范

礦山企業的信息具有來源廣泛、類型復雜、共享性與交互性要求高等特點，因而需要針對不同的信息類別，依據信息的采集、加工、存儲、使用等環節在區間跨度上的不同，有針對性地確定信息分類編碼的集成與規范。

根據實際生產經營組織形式，設計了統一的礦區編碼、機構人員編碼，以及統一的采場編號規則、采礦工程編碼方案、掘進及其他工程編碼方案。

4.2 數據流的規范化修訂

對系統中所處理的信息進行深入分析，確定信息的源頭，避免信息重復采集、加工、存儲，明確每一種數據由一個部門的某個崗位錄入系統，其他人只是對系統中的數據進行利用，保證信息的正確、可靠。

4.3 信息存儲平臺的搭建

數字礦山的實現需要有數據庫的支撐，利用數據庫進行各種管理和過程數據的統計、分析和存儲。隨著信息技術的發展，數據庫技術日趨成熟，發展到現在的基于網絡的分布式結構，使信息的交流更加方便快捷，適應當今信息資源共享的需求。根據現有的技術和需要，數據庫系統主要包括關系數據庫和實時數據庫。

在數字礦山中，涉及到礦山生產經營的各個方面，相關信息如下：

①基礎信息數據的定義與一致化；②采集企業各生產設備的實時過程數據，包括過程參數與事件信息等；③各種多媒體信息；④生產進度數據，如井下采掘、提升運輸、選礦處理等；⑤生產指標數據；⑥安全信息；⑦動力供應信息；⑧技術指標數據；⑨經營指標數據；⑩生產運行異常數據；?生產經營統計分析數據。

4.4 生產過程數據接口的定義與規范

完成生產過程中信息的采集和控制指令下達的功能。生產過程數據接口的信息采集功能，利用多媒體技術、實時數據庫技術、計算機網絡技術，將生產過程中的物理量，以及對設備的畫面監控，實時快速地提供給動態調度模塊；生產過程數據接口的控制指令、下達功能，是根據調度指令生成控制指令，下達給生產過程當中的DCS、PLC或具體的操作崗位，從而實現生產的調度、控制。

4.5 生產管理數據接口定義

在數字礦山建設所搭建的平臺中，除了自動控制集成平臺和業務協同集成平臺之間會進行數據交互之外，生產管理系統與其他的集團共享板塊及集中規劃的系統之間也需要實現信息集成，以達到全礦生產與經營數據的全面集成、無縫流轉和實時共享。這些系統包括了股份公司集中規劃的物流管理系統、集團公司的財務成本管理系統和人力資源管理系統，以及與其他平臺的數據集成，包括地質資源三維可視化系統等。這些系統與生產管理的信息接口定義，如圖3所示。

5 結束語

數字礦山建設涉及到多層面的應用，因而所采集、加工與存儲的數據呈現明顯的異構特征，這對信息集成提出了更高的要求。

針對礦山企業信息的多源異構特征，數字礦山建設過程中的多源異構數據融合，需要從兩個層面上進行：

圖3 數字礦山中生產管理系統與外部的數據接口定義與規范

（1）針對信息集成的層次性，從PLC所產生的實時監控數據、HMI所記錄的實時數據、自動控制集成平臺抽取后形成的綠色工業數據、安全生產管理系統所讀取的關系數據、決策支持所采用的數據倉庫等，分別規劃不同層面的數據存儲與轉換方式。

（2）針對不同的異構特性，分別采用緊密耦合／松散耦合式的聯邦數據庫、數據倉庫、數據訪問中間件，來解決多源異構數據的融合問題。

通過不同層面應用系統間的數據共享與交互過程，解決了礦山企業數據的多源、異構及不完整性所帶來信息集成問題，不但實現了信息的泛在化采集，而且實現了泛在化的信息服務，可以為數字礦山建設提供安全穩定的基礎數據平臺。