智能礦山大數據采集與云傳輸研究與應用

趙 奕,何煦春,張維國,石 磊,韋永蘭,丁 濤,馬文利(中國恩菲工程技術有限公司,北京 100038)

1 前言

礦山信息化和智能化的基礎是數據,數據采集和存儲服務是礦山數字化轉型的核心,將數據知識化,知識圖譜的發現和數據規律的挖掘,為礦山智能化決策,打通IT和OT,實現礦業兩化融合的關鍵。

數據采集裝備是圍繞礦山行業的物聯網、大數據、云計算、5G技術、人工智能等深度融合的關鍵環節,大力推進智能化裝備、智能化系統等技術的研發、創新和應用,是進一步提高礦山生產效率和智能化建設的必然選擇,是建設安全、高效、綠色的智能礦山的重要任務和未來礦山創新發展的方向[1-2]。

金屬礦山數據采集主要存在以下問題:①地下礦山環境復雜,多為無線與有線(主干網)混合網絡,低帶寬狀態下如何數據抗干擾安全穩定傳輸;②金屬礦山作業地點分散且不同時期不同廠家建立的采集系統標準與規范不同,多源異構現象明顯,如何進行數據融合等問題[3]。

隨著云計算與大數據時代的到來,物聯網技術飛速發展,數據上云已經成為趨勢,傳統的集中式系統應用逐漸表現出其局限性,數據的采集逐漸向分布式形式傾斜。在此背景下,本文研究設計一套分布式大數據采集研究,用以解決金屬礦山企業傳統采集系統低帶寬穩定傳輸和多源異構融合等問題,以保障礦山數據的高效采集與存儲,為后期大數據分析打下堅實的基礎。

2 綜述

2.1 研究背景

本研究為十三五國家重點研發計劃項目“基于大數據的金屬礦開采裝備智能管控技術研發與示范”中課題“金屬礦山開采過程及裝備數據智能采集與融合技術”的支撐研究,主要針對謙比希東南礦體數據采集智能代理開發與分布式系統構建。

2.2 研究目的

本研究為“金屬礦山開采過程及裝備數據智能采集與融合技術”的組成部分,涉及的關鍵研究包括:

①礦山開采過程及系統多維度數據采集與通信;

②礦山生產裝備及系統數據融合與存儲系統構建;

③礦山生產裝備異動數據語義識別、檢索與可視化。

本研究應用的目的是為其他課題的系統構建提供數據支撐,形成“智能礦山大數據智能采集一體化解決研究”,實現數據從邊緣端→云端→用戶的大數據智能采集,為用戶提供礦山生產裝備數據采集、傳輸、存儲、處理、檢索等功能。

2.3 研究內容

研究的內容主要為:

(1)構建礦山本地邊緣端數據采集系統,實現對智能礦山本地過程與裝備數據的采集。

(2)構建云端數據傳輸系統,最終實現從項目現場(非洲贊比亞)至國內(天津超算中心)的大數據采集與跨洲傳輸。

3 技術研究及論證

3.1 技術路線分析

數據采集在工業上的使用大致可分為基于通用微型計算機的數據采集系統、基于單片機的數據采集系統、基于DSP數字信號微處理器的數據采集系統和基于混合型計算機的采集系統四大類。本文的研究主要基于通用微型計算機的數據采集系統。

礦山生產系統一般為非集中作業,各個工序控制系統較為分散、類型多樣且網絡環境復雜。為避免集中式數據采集系統配置復雜、靈活性差的缺點,本項目采用分布式系統適應礦山分散的、易變動的數據采集場景。分布式系統是由一組通過網絡進行通信、為了完成共同的任務而協調工作的計算機節點組成的系統,分布式系計算機節性能要求不高,可以設計成為嵌入式的小型系統[4-7]。為此,本研究擬定的分布式數據采集系統的技術路線如圖1所示。

圖1 數據采集技術路線圖

為實現礦山智能裝備數據從“設備端”→“本地邊緣端”→“云端”→“用戶邊緣端存儲”的智能采集工作,針對不同的采集場景,組合采用

①數據采集器(Data Collector,縮寫DC);

②數據采集智能代理(Data Agent,縮寫DA);

③數據終端采集單元(Data Terminal Unit,縮寫DTU)。

構成分布式系統來完成數據采集、傳輸、存儲、處理、檢索等功能。

3.2 系統架構設計

經過對礦山的數據采集場景進行梳理和總結,主要包括現場數據采集和云端數據傳輸兩大場景,并經過場景分解后構建如下采集平臺的結構,具體如圖2所示。

圖2 數據采集與云傳輸結構圖

1)現場數據采集

現場數據采集主要實現了數據從“設備端”→“本地邊緣端”的傳輸。這部分工作的主要特點是由于礦山現場存在多種工業通信協議,標準不統一、互不兼容,數據采集配置復雜,為此需要對采集的對象進行分類處理。經過對謙比希東南礦體現場調研分析,礦山現場數據采集對象主要有7類:移動裝備、控制器、多功能表、上位系統、數據庫、文件和流媒體。

(1)移動裝備:鏟運車、鑿巖臺車及各種卡車等。特點是需要加裝傳感器,一般采用無線+有線網絡組合傳輸數據。

(2)多功能表:各種具有TCP/IP數采接口的儀表,如配電系統的電表等。特點是連網即可實現采集,有線無線均可。

(3)控制器:主要針對各種PLC、DCS等具有控制器的系統直接進行數據采集。特點是一般具有TCP/IP數采接口,有線無線采集均可。

(4)上位系統:針對各種上位系統進行數據采集。特點是上位系統一般可以提供一致的對外接口,如ModBus、OPC及WEB API等接口。

(5)數據庫:針對各種實時/歷史數據庫、關系數據庫等的數據采集。特點是這些數據庫均提供一致的DBLink接口。

(6)文件:針對各種非結構化或半結構化文檔數據。特點是該類數據采集屬于文件的網絡傳輸,具有成熟的傳輸協議,如FTP、SFTP等。

(7)流媒體:針對聲音、攝像頭視頻及圖像數據。特點是該類數據采集已經存在比較成熟的采集協議,如 RTSP、RTMP 等。

2)云端數據傳輸

云端數據傳輸實現了數據從“邊緣端”→“云端”→“用戶邊緣端”的傳輸。分布式采集系統采用多個DA節點,包括多個本地邊緣端DA節點、云端數據路由DA節點及用戶邊緣端DA節點。

分布式采集系統中的節點可以向其他任意節點推送數據,示范項目中的本地端DA可以經過華為云路由DA節點推送數據到恩菲的DA節點。

3.3 系統技術研發

整個平臺的關鍵部分為 DTU、DC和 DA的研發。

1)DTU

數據終端采集單元(DTU)作為數據采集的邊緣設備,實現現場設備的數據采集與傳輸。主要具有以下功能:

①集成TCP/IP協議:外置協議TCP/IP協議,具備TCP/IP數據通信功能;

②串口數據通信:支持將RS232、RS485、RS422等常見的串口轉換成TCP/IP數據,并進行傳輸;

③支持自定義心跳包:典型的DTU被設計成支持永久在線功能。這要求DTU包括開機自動撥號和心跳數據包,以使其永久在線(當長時間沒有數據時);

④參數配置及永久存儲:在不同的應用中,數據中心的IP地址、端口號和串口的波特率是不同的。這一特性讓DTU終端設備支持參數配置,并且配置的參數可以永久保存,主要是保存在內部的永久存儲設備,比如常見的FLASH或EEPROM。用戶開機后,DTU又會根據設定的參數自動工作。

2)DC

數據采集器(DC)的主要作用為工業現場數據轉發及數據隔離功能。

在硬件方面采用物聯網網關FameIoTVisit X300的定制化設備,主要硬件配置為RS-232口2個,485口2個/網口2路,WIFI,3G/4G/5G模塊1個,防護等級IP30。

在軟件方面,由于工業現場設備種類多、通信協議標準多,DC內置支持各種主流的工業通信協議的軟件系統,包括 Modbus、OPC、DNP3、DLT 645、IEC 60870-5-104、西門子 S7系列 PLC、AB PLC、GE PLC等。通過配置多個不同通信協議的采集和轉發通道DataCollector可以實現對使用不同通信協議的各類現場設備數據的穩定采集,并可以根據業務需要將采集到的數據轉發到多個上層平臺或系統中,實現數據一次采集多次復用,幫助用戶降低信息集成過程的復雜度和成本。

3)DA

數據采集智能代理(DA)的硬件設備可以采用PC機或工控機,為取得最大的靈活性,本項目采用定制化低功耗小型化的計算機設備,其主要配置為CPU:I7/32GRAM/256GSSD;RS-232口2個,485口2個/網口2路,WIFI,3G/4G/5G模塊1個,4USB。其上的操作系統為微軟的Win 10 IOT Ent 2016,以適合低功耗設備運行。

DA軟件的作用主要為匯集采集器中傳遞的數據,進一步將數據進行緩存處理并上傳致云端進行處理。本研究設計如圖3所示。

在本研究中的DA節點分為2種:普通DA節點和路由DA節點(Master Date Agent,簡稱MDA)。DA的共同功能包括數據庫訪問功能、分布式組網功能、文件與流媒體傳輸功能、消息功能、安全功能、模型支持、OPC UA、斷點續傳、數據緩存及定時任務等。此外,MDA節點除上述功能外,還包含節點注冊及數據路由功能。

3.4 實驗平臺驗證

由于該礦山位于非洲贊比亞,前期在國內搭建實驗平臺模擬現場數據采集與云傳輸應用場景進行驗證,其結構如圖4所示。

圖4 試驗平臺結構圖

實驗平臺搭建成功后結合DC、DA進行了大量的測試與驗證工作,對研究技術路線、系統架構、系統技術方案及應用進行了充分的驗證,測試報告包括:

①多代理分布式系統網絡組網實驗;

②移動設備數據采集實驗;

③控制器數據采集實驗;

④上位數據采集實驗;

⑤與超算組網測試;

⑥文件傳輸斷點續傳測試;

⑦工業實時數據庫Fame History訪問實驗;

⑧節點關系數據庫自動同步測試;

⑨遠程流媒體傳輸數據測試。

4 智能礦山項目實施

4.1 礦山概況

贊比亞是非洲中南部內陸國家,富含礦藏。該項目謙比希銅礦東南礦體位于贊比亞銅礦帶的中部,距基特韋市(KITWE)28 km。謙比希銅礦東南礦體為新建智能礦山項目。

(1)采礦生產流程如圖5所示。

圖5 采礦生產流程示意圖

(2)東南礦體大量采用先進智能裝備及技術:卡車運輸自動化、電機車有軌運輸無人駕駛、鏟運機出礦自動化、遠程控制破碎錘及平板給礦機、全自動化雙臂鑿巖臺車、單孔自動化中深孔臺車、裝藥臺車等。

(3)建設的信息化系統:采用Sandvik AutoMine實現鏟運機遠程自動化控制,并且采用Sandvik OptiMine對采礦生產及鏟運機進行調度與日常管理。

生產信息管理采用Citect Scada+ Citect Historian匯總各個控制子系統數據,采用Ampla的數據分析功能對生產數據進行統計與分析。

(4)網絡拓撲結構如圖6所示。

圖6 井下網絡拓撲圖

4.2 數據需求

1)采集裝備

金屬地下礦山的生產裝備類型主要有采礦設備、排水設備、通風設備、運輸設備、供配電設備和提升設備等。

2)數據類型

礦山領域的數據主要來源于現場設備、自動化、信息化系統等。從數據采集的類型上看,主要分為結構化數據(如各種時間序列數據、關系數據庫數據等)、半結構化的數據(各種文檔如 PDF、XLS、DOC等)和非結構化數據(音頻、視頻等)。具體來說,礦山領域主要應用的數據包括以下幾種,具體見表1。

表1 金屬礦山采集數據類型

3)數據

智能礦山實現生產現場的感知與執行,通過工業物聯網,實現礦山的人、機、料、環等數據的全面感知與采集,提供生產實時監控和計算決策分析,并最終將決策指令發送給控制系統進行精準執行。通過全面感知提供智能礦山完整的數據支撐,精準執行實現生產計劃、生產操作指令、智能決策的落地實現,最終落實在對生產設備的操作控制、工藝流程的優化控制,實現通過感知和執行體現業務系統的價值。主要采集數據:地測采數據、礦物特征數據、監測監控數據、生產運行數據、安全環保數據、設備數據、能耗數據、質計量數據等。

4.3 現場數據采集

1)系統結構

根據上述的研究并結合謙比希東南礦體的網絡情況,規劃出采集系統的結構如圖7所示。

圖7 謙比希東南礦體數據采集結構圖

現場數據采集實現了謙比希東南礦體各類數據的采集。

采集的數據分類、類型、采集方式和協議匯總參見表2。

表2 金屬礦山數據采集示范表

2)采集方案

根據地下礦山典型生產裝備整理出五類采集裝備的采集點位,具體如圖8所示。

圖8 生產裝備采集點位參考圖

具體的數據采集方案說明如下。

(1)遙控鏟運車。鏟運車等相關設備的數據均已采集到Optimine系統內,經與設備廠家協商后,開放Optimine相關的SQL Server數據庫的只讀賬戶,DA通過網絡直接連接SQL Server數據庫讀取數據。

(2)水泵。將DTU安裝到水泵本體上,通過硬接線等方式采集水泵本體相關檢測數據后,使用無線(Wifi/4G)方式通訊到現場DC,后由DA完成數據采集后傳輸到云端MDA進行數據處理。

(3)風機。根據謙比希東南礦體現場實際情況,風機相關數據,通過融合控制網絡將數據傳輸到位于采礦綜合樓內的核心PLC內,然后再通過OPC DA通訊將數據采集到生產信息系統,之后存儲到Citect Historian數據庫,DA通過網絡讀取Historian數據庫數據。

(4)井下配電設備。使用DC,通過Modbus通訊協議采集多功能表數據,使用無線/有線通訊方式通訊到現場DA完成數據采集后傳輸到云端MDA進行數據處理。

(5)提升機。使用DC的協議轉換功能,通過Modbus-TCP通訊協議采集設備PLC控制器數據,使用無線/有線通訊方式通訊到現場DA種完成數據采集后傳輸到云端MDA進行數據處理。

(6)實時/歷史數據庫。使用DC,采用OPC通訊方式采集實時/歷史數據庫數據,使用有線通訊方式通訊到現場DA完成數據采集后傳輸到云端MDA進行數據處理。

(7)工程師站。使用DC,采用OPC通訊方式采集實時/歷史數據庫數據,使用有線通訊方式通訊到現場DA種完成數據采集后傳輸到云端MDA進行數據處理。

(8)視頻(流媒體)?，F場DA完成視頻(流媒體)文件數據采集后傳輸到云端MDA進行視頻(流媒體)數據處理。通訊網絡可采用現有融合控制網絡。

4.4 云端數據傳輸

云端數據傳輸研究需要DA和路由DA共同組建為多層分布式數據采集平臺,具體如圖9所示。

圖9 云端數據傳輸結構圖

云端數據傳輸研究包括三個部分的應用:

(1)謙比希東南礦體DA節點:由一個或多個DA組成,實現底層DC生產數據的匯聚采集功能,并且向華為云主機中的MDA節點提供數據或文件,數據暫存于云VPS的DB Server中,文件暫存于云VPS File Server中。

(2)華為云MDA節點:因為謙比希東南礦體所處位置在非洲,為實現跨洲際的數據傳輸,保證數據傳輸的穩定性,在本項目中采用華為云在非洲約翰內斯堡的云主機作為路由DA節點。該路由DA節點可以看作是數據的中轉站,可以中轉和緩存數據及文件,為恩菲/超算DA節點提供數據。對于實時數據的傳輸,MDA含有轉換模塊可以實時轉換謙比希東南礦體傳入的控制系統實時數據。

(3)恩菲/超算DA節點:其中含有DA用于接收數據、文件后存入后端數據庫和文件數據庫中供其他系統和用戶訪問。

數據傳輸步驟與結果:

①節點配置;

本次傳輸中涉及節點包括:

華為云MDA節點,名稱cmic;

謙比希東南礦體DA節點,名稱seob#cmic,連接控制控制上位系統實時數據庫;

恩菲/超算DA節點,名稱nscc#cmic,連接存儲的數據庫。

②設置傳輸任務;

首先,構建數據傳輸的lua腳本,該傳輸腳本的主要作用是通過謙比希東南礦體DA節點seob#cmic將礦山控制系統數據通過節點cmic將數據推送至節點nscc#cmic所連接的數據庫中。最后,將此腳本配置為連續運行任務后啟動運行。傳輸任務腳本示例如圖10所示。

圖10 傳輸任務腳本示例

③傳輸結果;

任務啟動后,傳輸任務連續運行,每次將2 000條的數據存入nscc#cmic節點所連接的 SQL SERVER數據庫中。實際傳輸數據57億條,存儲容量為178 GB,用時96小時,平均速度540 KB/S。圖11所示為SQL SERVER表磁盤占用量。

圖11 數據存儲磁盤占用量

5 結論

隨著科技的發展和進步,傳統礦山企業逐漸走向數字化、智能化、網絡化,不可避免快速產生大量數據。同時,礦山的分散的、易變動的數據采集場景以及跨網域的、云端化的數據采集的需求,決定了需要以一個靈活、易擴展的方式構建新一代的數據采集系統。

本文中的“基于多代理的分布式采集”的設計思想是將復雜采集任務拆分為多個節點子任務,進而節點自動組網后共同完成復雜的數據采集工作,系統在謙比希東南礦體實施后初步取得了不錯的效果,將在進一步的研究中提高該系統的應用推廣價值。