淺談制水公司數據采集與處理平臺構建

（上海嘉勉信息技術有限公司，上海 201900）

引言

隨著信息化建設應用經驗的不斷積累，制水生產管理對信息系統所產生的價值要求也在逐漸轉變，由現有的生產管理、數據匯聚和流程應用向數據分析、節能減排，生產指導優化，設備預知維護，以及其他應用及優化方向邁進[1]。迫切需要使用主流的工業物聯網技術以及大數據分析與挖掘技術，能夠統一高效的采集、存儲、分析廠站工業現場數據，靈活實現不同系統間的信息交換、信息共享與業務協同，加強信息資源管理，開展數據和應用整合，進一步發揮數據資產信息資源和應用系統的效能，提升信息化建設對制水公司業務和管理的支撐作用。

一、總體規劃

系統的總體規劃應從根據制水公司生產工藝的實際情況，發揮水廠、泵站一體化管理體制優勢，以網絡系統安全、分布式多協議采集、海量數據存儲以及數據資產管理規范為核心，圍繞數據采集監控平臺的各個環節，統籌規劃，集約建設，行業引領，總體推進，建設能夠為制水公司解決實際問題的大數據采集與處理平臺。

1.數據管理標準

數據標準是進行信息化建設的基礎性工作，是實現信息共享的重要依據，是系統建設的規范要求。通過加強數據標準化、規范化管理，有利于實現制水公司各基層單位生產數據的整合和優化，實現數據資源信息的集成與共享，從而保證生產業務的安全進行。凡有國家標準、行業標準的采用現有標準，各類標準不一致的原則上采用最高級別的標準。在國家、地方等相關標準規范的基礎上，結合制水公司水廠、泵站的實際生產情況，制定制水公司采集監管相關數據標準，來指導平臺建設后續實施，也可以約束其他系統開發方，按統一的標準和規則提供數據或使用數據。

制定數據標準可從業務和技術這兩個方面展開。業務方面主要是從數據項在實際生產中涉及的屬性信息，比如在PLC對應IP地址、所屬工藝段、定義、描述、數據類型、單位、PLC上變量名、出現不同值代表的含義描述（狀態量）、數據處理方法/公式，編碼等方面去規定每個數據項應該遵循的標準、規則。技術方面主要是從數據存儲（如字段長度）、數據安全（如權限）等技術角度來規范每個數據項，目的就是保證采集的數據不間斷的正常運轉。具體的數據標準產生的邏輯框架（見圖1）。

2.數據分類

依據制水公司生產流程以及日常運維經驗，可將采集的數據進行分類梳理，比如按照數據的重要性：原水進水流量數據，出廠水水質、出廠流量和壓力數據是重點關注數據（可定義為一級數據）；沉淀池水質、流量，濾池水質、流量，清水庫液位等主要的過程水是次重要的關注數據（可定義為二級數據）；電量數據，加藥數據，閥門開度等就是一般關注數據（可定義為三級數據）。

3.數據存儲

數據存儲作為數據采集的下層系統，作為數據分析共享的支撐，也是制水公司數據采集與處理平臺的核心組成部分。數據存儲平臺需要滿足對結構化數據、非結構化數據和半結構化數據的統一存儲和查詢的需求，同時，保證查詢的高效性和存儲的安全性。擬采用分布式存儲系統Hbase為主要存儲介質，同時，搭配關系型數據庫（mysql、Oracle等）作為輔助的存儲介質。

圖1 數據標準邏輯框架

4.數據分析

數據分析是實現業務功能和可視化展示的基礎，利用分布式存儲和并行計算框架，結合多種分布式計算引擎，對各類結構化、半結構化及非結構化的數據進行快速的分布式計算，并提供基于關聯、聚類、分類、預測等類算法庫[3]，同時，實施包含數據采集、清洗、轉換、分析、應用等數據全生命周期的數據治理，提高數據及時性、準確性與可用性。

5.數據資產管理

數據資產管理的含義，根據DAMA（國際數據管理協會）的定義來說是指企業或組織采取的各種管理活動，用于保證數據資產的安全、完整、合理配置，有效利用，從而提升經濟效應[2]。制水公司做數據資產管理的目的就是為了讓數據使用者能夠清楚地認識數據和數據關系，進而更好地運用數據；為了讓數據應用的管理者能夠洞察數據、應用、系統之間的復雜依賴關系，進而更好的管理數據。

根據當前的不完全統計，制水公司生產過程每天需要采集和處理龐大體量的數據，而每個數據項每天每時每刻都在產生實時數據，面對如此龐雜的實時數據，而且還需要通過它們來指導和管理實際生產，這對于管理者來說確實難度很大，所以有必要對于數據項以及會影響數據項實時數據好壞的因素做相應的管控，以快速、準確地解決實際生產的需要。

二、系統設計架構

系統主要采用分布式架構，支持分布式部署方式、分布式計算，支持Master/Slave的集群架構，系統性能隨著節點數增加而線性提升，基于Hbase搭建的工業數據庫支持分布式事務處理能力[4]。主要功能塊包括數據采集層設計、數據處理層設計、數據管理層設計以及工業數據庫設計、可視化監控設計等幾大塊的內容。設計架構（見圖2）。

圖2 系統設計框架

1.數據源層

其中數據源層是指所要面對的數據采集對象，按照數據源結構的不同可分為兩大塊：設備數據源和系統數據源，其中設備數據源包括各種PLC設備、儀表設備等，系統數據源主要包括各種數據庫系統、文本文件和各類WEB系統等。

2.數據采集層

數據采集層就是針對不同的數據源所開發的數據采集系統，數據采集系統分為數據采集終端和服務器接收端并搭配企業級數據總線，能用于不同數據源的數據采集、接收與發布。

3.數據處理層

數據處理層是對數據進行抽取、轉換、預處理的工作過程，通過對數據采集層所采集到的數據進行格式轉換、過濾、清洗等操作，將多種不同設備、系統的數據進行整合，同時，將數據項按照以制定好的數據標準進行分類、歸檔。

4.數據管理層

數據管理層是通過元數據管理、主數據管理、數據資產管理等功能模塊，再加上相應的數據管理流程對數據實行管理的一種方法和手段，保障數據的一致性與準確性，進一步發揮數據作為資產的價值。

5.數據中心層

數據中心層是指業務數據庫和大數據存儲倉庫。業務數據庫用于數據采集匯總平臺所需要配置的信息，包括采集標記名、站點屬性以及系統本身所需要的配置信息。大數據存儲倉庫是將數據采集、處理層所產生的規范數據做統一的存儲，消除了各數據中的不一致性，將數據按照統一的標準做實時的存儲，從而為制水公司數據采集與處理平臺提供多維度數據分析支持，真正將數據轉換為價值。

6.數據監控層

可視化監控層主要包括數據實時監控、數據地圖、3D工藝過程監控以及報表統計、數據資產目錄等。同時，盡可能實時動態反應生產情況，實時監控關鍵工藝環節、關鍵點的壓力、流量、濁度、余氯等數據，完成系統平臺內各水廠、泵站等生產全過程數據的動態監控與管理。

圖3 3D工藝過程監控

同時，數據安全和數據全生命周期為各層數據提供基礎保障，在保證數據安全的基礎上，記錄數據從產生到呈現的全過程，實現對數據資產真正的管理。

三、展望

隨著信息時代的發展，水務建設已成為智慧城市建設的重要環節，而制水作為智慧水務建設的重要工藝環節，要從被動的支撐水務管理變成主動監管，為生產全鏈條制水環節實施全過程實時監控、動態化管理、生產運行優化、設備保障以及為水務建設提供強有力的數據保障，從而推進制水公司數據采集與處理平臺實現智能感知、智能共享、智能分析、智能響應、智能處置、智能指揮，提高制水公司的管理能力，驅動生產過程的數據管理向智能化轉變[5]，實現海量數據的匯聚、存儲、整合與共享。

四、總結

制水公司數據采集與處理平臺是運用新一代信息化技術實現采集水務信息，并進行實時處理與分析，以更加精細、動態、實時的方式管理制水公司生產全過程的數據，實現對制水公司數據資產化的管理流程。同時，大數據技術與數據管理結合有效地為制水公司調度決策提供了真實有效數據支撐和決策依據，為城市智慧水務的建設添磚加瓦。