多源異構數據監控管理平臺的設計與應用

李曉如，韓勇華，彭 燁

(深圳市深水龍崗水務集團有限公司，廣東 深圳 518030)

大數據時代，數據資產將成為企業的核心資產[1]。數據資產能否集中管控，數據種類是否齊全、質量是否良好、共享渠道是否通暢是目前許多企業面臨的共性挑戰，也是急需解決的難題。目前在多源異構數據集成、治理及應用共享等方面已有相關研究[2-4],具體可涉及技術理論以及應用系統設計與實現等各方面，相關技術已成熟應用于地質[5]、農業[6]、醫學[7]、電力等行業領域，很好地解決了不同行業領域數據類別多、質量差、共享難等問題，為后續數據分析挖掘、釋放數據價值提供了保障。針對水務行業，如何將多源異構數據匯聚、監控、共享等技術與實際業務融合，指導水務企業開展多源異構數據的接入與共享，其應用研究相對欠缺。

發展智慧水務，挖掘數據沉淀價值，是傳統水務企業發展轉型的新機遇[8]。本文從現有水務企業數據監控管理存在的問題出發，提出了一種多源異構數據匯聚方法，實現了從原水、水廠、管網、二供、客戶全流程在線監測點及離線報表等多源異構數據的集中接入與管控，并結合目前水務行業數據應用需求，開發了一套標準化數據接口，可根據第三方需求，靈活配置接口，實現跨企業、跨行業數據共享，助力智慧水務的快速發展。

1 技術路線

平臺設計主要分數據匯聚、數據展示、數據共享3部分，技術路線如圖1所示。

圖1 技術路線示意

平臺可實現企業全量數據的集中接入、存儲與管控。通過梳理企業生產過程中所屬的人、財、物等信息資源，針對不同數據業務及傳輸屬性，可采用不同數據接入方式，在線監測數據借助傳感器技術和通訊技術可將數據按照約定的協議上傳至監控管理平臺，離線數據借助報表填報模塊可實現數據的錄入與存儲。數據匯聚完成后，監控管理平臺可對接入數據進行實時數據展示與歷史數據查詢，對于異常數據配有報警服務，并可對數據進行深入分析挖掘等。為滿足智慧水務發展需求，平臺配有一套標準化對外數據接口，可滿足企業內外部數據對接的需求，為水務企業的智慧化生產、智慧化管理提供數據支撐。

2 數據匯聚

數據匯聚主要是將企業在線和離線數據進行集中采集、解析與分類存儲。目前，在感知層建設方面，存在較多問題，由于不同廠家有不同技術標準和通訊協議，一個廠家一個平臺，導致設備無法混聯互裝、數據共享困難、維護復雜[9]。針對存在問題，綜合考慮企業長遠發展需求，從突破平臺網關技術角度出發，解決了目前設備通訊協議標準不統一導致的平臺眾多、管理維護困難等問題。另外，針對離線數據可通過報表填報模塊實現不同數據的收集與整理。數據匯聚采用自動上傳與人工填報2種方式。

2.1 自動上傳

借助現有成熟的物聯感知技術，可以實現設備層數據自動上傳至監控層。其中物聯匯聚網關扮演極其重要的角色，一方面能夠兼容不同協議在線監測點設備數據的接入；另一方面，針對已建設的在線監測點，如果已有數據監控平臺，可以通過數據接口、消息隊列等方式將數據接入平臺。

2.1.1協議對接

在線監測設備根據應用場景不同通訊協議也不盡相同，常用通訊協議有OPC、MQTT、Modbus及廠家自定義通訊協議等[10]。目前，平臺網關已集成了多種通訊協議，覆蓋了市面上主流廠商設備，根據設備上傳報文，可自動識別設備采用的通訊協議，然后按照目標協議對傳輸報文進行解析，并將解析數據上傳給物聯處理引擎模塊進行數據清洗與分類存儲等。根據應用需求，物聯網關也可進行指令下發，對現場設備進行配置參數的設置，例如數據采集時間、上傳周期等。協議對接數據流如圖2所示。

圖2 協議對接數據流示意

2.1.2接口對接

針對已建設的在線監測點，如有第三方監控平臺，可采用消息隊列[11]、API接口[12]等方式實現數據的接入。一般消息隊列用于實時在線數據的接入，API接口用于業務類數據的接入。網關完成接口數據解析后將數據上傳給物聯處理引擎模塊進行數據清洗和存儲。

針對視頻監測點，攝像頭廠家一般都會配置網絡硬盤錄像機，常見的有海康威視、浙江大華品牌。以海康攝像機為例，視頻數據對接可以通過設備廠家提供的流媒體接口(流媒體接口是由設備用戶名、密碼、設備IP地址、端口、通道號、碼流類型等參數拼接成的RTSP視頻流地址，不同廠商設備RTSP視頻流地址格式不同)實現，平臺通過調用RTSP視頻流地址獲取海康視頻，然后通過多媒體視頻處理工具ffmpeg將視頻流解析成web展現形式。接口對接流如圖3所示。

圖3 接口對接數據流示意

2.2 人工填報

除了在線數據，目前,企業也有很多離線業務數據收集的需求，為了實現離線數據的統一管理，在目前監控管理平臺中增加報表填報管理模塊，可按需制定不同報表模板，填報人員只需按要求錄入數據保存即可。

3 數據展示

數據展示可實現接入數據的可視化，具備實時監控、視頻管理、報警提醒、數據查詢、統計分析、運行管理、報表統計、系統設置等功能模塊。

3.1 實時監控

實時監控可按原水、生產、管網、二供、用戶全流程展示不同業務段在線監測點實時數據信息，同時可按監測功能分類展示不同在線監測點數據，例如壓力點、流量點、水質點等。

3.2 視頻管理

視頻管理可實現終端攝像機視頻接入與展示。平臺通過調用流媒體接口并借助多媒體視頻處理工具ffmpeg可將終端攝像機視頻直接在監控平臺展示。視頻管理模塊支持視頻新增、刪除、視頻放大與縮小、視頻打開與關閉等操作配置。

3.3 報警管理

平臺支持事件觸發機制，提供事件觸發引擎、自定義事件觸發引擎等功能，通過設定不同監測參數上下限值等操作，可實現數據異常實時提醒，并可通過手機短信、移動APP將異常信息第一時間推送給相關負責人。

3.4 數據查詢

提供全面的歷史數據管理與查詢功能。可按不同業務流程、監測類型、監測點、數據采集時間等內容查詢數據。

3.5 統計分析

統計分析可以對關鍵指標進行日、周、月、年的統計，或者選定某一時間段，統計某些關鍵指標的變化趨勢及百分比。

3.6 運行管理

運行管理主要是對接入數據進行修復、清洗，確保接入數據質量，同時可對漏傳數據進行補錄以及在線設備遠程設置等。

3.7 報表統計

實現離線數據的收集，根據現有業務需求，制定不同日、周、月、年報表模板，也可根據臨時業務數據收集需求，靈活編制不同報表樣式。

3.8 系統設置

系統管理可以對接入平臺設備協議、驅動、網關進行配置管理，同時可設置規則引擎、權限策略及系統審計等。

4 數據共享

平臺接口分為授權服務接口和數據服務接口2大塊，接口服務統一采用POST+JSON請求方式請求，返回值為JSON。為保證數據傳輸安全和傳輸性能，接口服務以HTTPS加密服務方式提供并采用HTTP壓縮特性進行在線壓縮。

4.1 授權服務

4.1.1應有授權(第三方應用→平臺)

功能：第三方應用通過被分配的應用ID和密鑰獲取應用授權碼。

輸入：

{

grant_type: string - 授權類型；- 必須為”client_

credentials”

client_id: string - 應用ID - 必填

client_secret: string - 應用密鑰(加密) - 必填

}

輸出：

{

token_type: string - 憑據類型

access_token: string - 應用憑據

refresh_token: string - 刷新憑據

expires_in: int - 失效周期(s)

}

4.1.2憑據刷新(第三方應用->平臺)

功能：第三方應用通過刷新接口，保持授權碼可用性。

輸入：

{

grant_type: string - 授權類型；- 必填，”refresh_

token”

client_id: string - 應用ID - 必填

client_secret: string - 應用密鑰 - 必填

refresh_token: string - 刷新憑據 - 必填

}

輸出：

{

token_type: string - 憑據類型

access_token: string - 應用憑據

refresh_token: string - 刷新憑據

expires_in: int - 失效周期(s)

}

為了保密，第三方應用需要一個access_token獲取和刷新接口服務。access_token的有效期通過返回的expire_in來傳達。接口服務器需要根據這個有效時間提前去刷新access_token。在刷新過程中，接口服務器對外輸出的依然是舊access_token，平臺后臺會保證在刷新短時間內，新舊access_token都可用，這保證了第三方應用業務的平滑過渡。

4.2 數據服務

4.2.1實時數據

功能：通過測點、傳感器編號獲取實時數據。

輸入：

{

access_token: string - 應用授權碼 - 必填

codes: array[string] - 傳感器編碼 - 必填

}

輸出：

[{

station string - 監測點編碼

code:string - 傳感器編碼

Time:int - 時間戳[s]

Value: any - 實時數值

}]

同一臺傳感器編碼是唯一的，用于標識傳感器的身份。當提供數據服務接口給第三方應用系統時，需配套提供傳感器編碼，為了確保數據共享的靈活性及安全性，只需提供具備訪問權限的傳感器編碼給對方即可。

4.2.2歷史數據

功能：通過測點、傳感器編碼獲取分鐘級歷史數據。

輸入：

{

access_token: string - 應用授權碼 - 必填

codes: array[string] - 傳感器編碼 - 必填

begin: int64 - 起始時間戳(s)- 必填

end: int64 - 結束時間戳(s) - 必填

}

輸出：

[{

code: string - 傳感器編碼

time: int- 時間

value: any - 數值

}]

以上是對監測點實時和歷史數據對接的說明，除在線監測數據，平臺還可對業務數據進行對接，對接模式可參考在線數據對接說明。

5 應用情況

目前該平臺已在某水務集團試運行6個月，就運行情況來看，實現了現有集團全量數據的集中采集、存儲、分析、應用及共享，總體效果良好。平臺總覽如圖4所示。

圖4 系統總覽示意

平臺應用統一了目前物聯網感知層設備接入方式，規范了企業對內、外數據接口標準，將員工從繁重的數據填報工作中解放出來，提高了工作效率。系統總覽通過“一張圖”方式直觀展示了平臺接入設備總數、設備在線率及分類展示廠站、管網、二供設備總數量與運行情況，并對第三方應用系統取數速度和總量進行了統計，便于管理人員快速掌控企業設備運行、數據收集與變化情況，為下一步工作決策提供數據支撐。

6 結語

本文從現有企業數據匯聚存在的痛點和難點出發，以水務企業數據監控管理應用為例，提出了一種多源異構數據匯聚解決方法，開發了一套物聯網關服務及報表填報模塊，實現了企業全量數據的集中采集、解析與存儲。通過統一企業全量數據采集通道，規范了企業數據流，暢通了數據共享機制，避免了一數多源現象，同時為設備的集中運維管理提供了基礎。數據匯聚與應用需要不斷更新優化，以實際效果為導向，真正去做足、做實、做好的一項工作。