礦山自動化系統數據集成和可視化的設計和應用

趙建強 徐寧 王俊鵬 韓海華

摘 要：針對礦山基礎自動化控制系統的數據孤島問題，使用數據集成工具將多個自動化系統的數據集成到數據倉庫中，實現數據的高效應用，為礦山大數據的挖掘服務。使用可視化工具Grafana將數據倉庫中集成的自動化系統靈活多變的展示出來，可以使礦山管理人員從大量的數據報表和不同的自動化系統中解放出來，輕松高效的掌握礦山數據。

關鍵詞： 礦山大數據；數據集成；可視化；Grafana

DOI：10.16640/j.cnki.37-1222/t.2018.23.092

1 前言

伴隨著大數據時代的快速發展，我國大數據產業處于快速推進期，世界各國把各種產業劃分為三大類：第一產業、第二產業和第三產業。我國三大產業的劃分是農業、工業和服務業。我國當前大數據應用較為普遍和成熟的是服務業，典型的應用包括交通運輸、城市安防、醫療、金融、電子商務等。工業和農業的大數據產業發展比較緩慢，主要是和我國農業、工業的現代化基礎、信息化程度有關系，也和專業化程度、從業人員組成有著較大的關系。

所有行業都會從大數據的發展中受益。對于實體工業來講，大多數技術進步是需求驅動的，而實體工業的數據蘊含的需求更加具體和切實，因而作為國民經濟支柱產業的礦業更加急需實現礦山大數據的開發。

然而在我國礦業領域普遍存在著如下問題：

（1）作業條件惡劣、環境復雜、安全風險大，檢測裝置的可靠運行頗為困難，數據自動采集率低。

（2）裝備設施不足，網絡覆蓋、人機交互、數據集成的成熟度和完整度都滿足不了礦山的發展與變化。

（3）技術力量薄弱，一方面是面向礦業的人才培養缺乏系統規劃、導致人才儲備不足；一方面由于礦山的自然環境、生活條件、工作條件等因素無法留住年輕的工程技術人員。

上述問題對礦山大數據業務的開發和實施形成了很大的約束。礦山大數據服務的開發包含礦山企業各業務領域，具體的說，工業技術進步是通過改進一項項具體的業務而實現的，因此“業務數據化”和“數據業務化”是工業大數據應用的動力、目標和主要內容。

本文將以礦山生產最基礎的數據提供者—礦山自動化系統為例介紹數據集成和數據可視化的實現。相比于礦山其他業務模塊，自動化系統的數據集成更具有代表性和重要性，其數據內容是其他業務模塊的基礎，然而因為自動化系統的多樣性和數據的繁雜性，數據集成度往往很低，其數據價值并沒有得到挖掘。

2 自動化實時數據集成設計和實現

礦山自動化系統具有多樣性和繁雜性。礦山企業按照生產任務一般分為采礦廠和選礦廠，采礦廠又可分為露天采礦和井下采礦，因為工作場景不同，其工作設備和控制系統也不盡相同，選礦廠按照選礦工藝又有各種不同的自動化控制流程，流程內工作設備和工藝參數等均存在差異，因而，一個礦山企業往往存在多套獨立的自動化系統，而這些獨立的自動化系統內時刻產生著龐大的基礎數據量。這些數據之間有的是具有很強的聯系的，有的則是獨立存在的，然而這些數據游離于各個數據孤島中，其數據價值便得不到挖掘。

這些獨立的自動化系統因為建設時間和建設單位的不同，控制器（PLC）類型、通訊接口、通訊協議均不盡相同。要想將存在于各個設備和系統中的數據集中到統一的數據倉庫中，需要針對各個設備和系統采用針對性的技術手段。對于直接產生實時動態數據的設備，需要使用專用的數據采集工具。圖1是數據集成的示意圖。

以選礦廠為例，破碎機、球磨機、旋流器、浮選機、空壓機、加藥機等大中型設備每個都有自己的獨立控制系統，而且是不同品牌，不同型號，不同通訊接口，不同通訊協議的控制器；而分散范圍更廣的各種流量、壓力、物位、電能等測量儀表則品牌、型號和通訊接口更加復雜。雖然選礦廠的DCS/FCS系統能將大部分分散的各個設備和儀表都能集中到一種通訊協議下，但數據采集軟件也需要考慮對各個設備和儀表單獨通訊的可能。工業實時數據采集工具框圖如圖2所示。數據采集、數據存儲和數據轉發是工業實時數據采集工具的三大基本功能。

2.1 數據采集

數據采集要求數據采集工具要具有靈活多樣的通訊驅動程序，能夠與市場上絕大部分PLC系統、儀表系統通訊，能夠兼容各種主流的通訊協議，并且開發驅動程序庫中沒有的驅動程序時要快速和廉價。只有如此才能適應市場上多種多樣的終端設備。在實現上可以采用市面上性價比較高的杰控組態軟件等。

2.2 數據存儲

并非所有采集到運行數據庫中的數據都需要存儲進歷史數據庫。數據采集系統需要根據各個信號自身的特性決定其存儲的頻率。對于快速變化的信號，需要適當增加存儲頻率，以防止存儲的信號失真；對于慢速變化的信號，則要適當降低存儲的頻率，以節省存儲空間；對于基本不大變化的信號，則要采用變化存儲的策略等等。

2.3 數據轉發

將數據存儲進入歷史數據庫并非數據采集工具系統的最終目的。數據采集工具的最終目的是要將采集到的數據推送轉儲到數據倉庫中。因此數據采集工具必須具備數據轉發的功能，能夠將臨時存儲在數據采集工具歷史數據庫當中的數據轉發的數據倉庫中。數據轉發通道可以是有線網絡，WiFi網絡，或者3G/4G網絡，以便能夠方便的在廣泛的地域空間部署為現場設備就近部署數據采集系統。

3 可視化設計和實現

人類擁有視覺、聽覺、嗅覺、觸覺、味覺五種感覺，在借助“五感”所獲得的信息中，大約有80%是來自視覺。同時，視覺信息也是人類最容易了解和最可信賴的信息。因此，如何利用人類視覺認知的高通量特點，通過圖形的形式表現礦山大數據信息的內在規律，以及其傳遞、表達的過程，實現大數據資源的可視化表現、分析、推理和決策，是辨析數據關系、整合數據價值、詮釋數據意義和理解數據表現的重要手段和途徑。

在許多人機交互場景中，都遵循所見即所得的原則，例如文本和圖像編輯器等。在大數據應用中，混雜的數據本身是難以輔助決策的，只有將分析后的結果以友好的形式展現，才會被用戶接受并加以利用。報表、直方圖、餅狀圖、回歸曲線等經常被用于表現數據分析的結果。

在上面的介紹中，我們已經實現了自動化數據的采集和存儲，下面就介紹如何將數據做可視化輸出。

3.1 可視化工具介紹

Grafana是一個可視化面板（Dashboard），有著非常美觀的圖表和布局展示，功能齊全的度量儀表盤和圖形編輯器，靈活豐富的圖形化選項，支持Grafana支持多種不同的數據庫數據源，Grafana對每種數據源提供不同的查詢方法，而且能很好的支持每種數據源的特性。

3.2 可視化主要表現形式

數據可視化視圖中圖形的主要表現形式是文本、趨勢曲線、柱狀圖、儀表面板圖和表格等，各種圖形元素的示例和說明如表格1所示。

3.3 可視化實現

Grafana實現可視化的重要組成是其基于GO語言開發的實現各種數據展示形式的Panel，在安裝配置好開發環境后，打開計算機本地端口3000，即可在瀏覽器下對項目進行開發。

3.3.1 項目開發步驟

（1）解讀分析自動化數據集成數據庫結構。

（2）規劃數據展示內容。

（3）建立數據源，根據不同數據庫可以建立不同的數據源。

（4）新建數據模板。

（5）添加需求Panel控件。

（6）進入編輯頁，選擇數據源，編寫SQL查詢語句，支持數據聚合。

（7）調整數據展示細節。

3.3.2 數據可視化效果

本文以某礦山自動化數據集成子系統品位分析儀可視化監控系統為例，將數據展示規劃為設備監控頁和測量數據頁：設備監控頁面可實時展示設備核心部件狀態值，以及報警信息和參數內容等內容，測量數據頁面可實時展示儀器測量數據，以及測量班報數據等內容。可視化頁面支持選擇查詢時間，已經數據更新頻率等。效果如圖3和圖 4所示：

4 應用和結論

應用數據集成工具將繁雜的基礎自動化系統數據統一的集成到數據倉庫內，可以保障數據的高效應用和數據挖掘，但這要求設計者對數據倉庫的設計嚴謹、高效。使用grafana可視化工具將自動化系統數據做數據展示，相較于原有的組態軟件系統更加美觀和靈活，且可以同時集成多個自動化系統于同一項目下，開發好的本地可視化項目也可以通過網站發布到廣域網，方便隨時查看系統數據。

參考文獻：

[1]黃解軍，崔巍等.面向數字礦山的數據倉庫構建及其應用研究[B].中國礦業，2009，18（11）：77-79.

[2]僧德文，李仲學，張順堂等.數字礦山系統框架與關鍵技術研究[J].金屬礦山，2005（12）：47-50.

[3]任磊，杜一，馬帥，張小龍，戴國忠.大數據可視分析綜述[J].軟件學報，2014，25（09）：1909-1936.

[4].https：//grafana.com/.[DB/OL].

作者簡介：趙建強（1990-），男，河北康保人，大專，從事工業自動化及計算機應用軟件的研究開發工作。