基于大數據及云計算技術的污水分析管控平臺的研究與設計

戴 平

( 安徽信息工程學院 計算機與軟件工程系，安徽 蕪湖 241000)

隨著國家加大推進環境建設的力度，實施節能減排戰略，我國污水處理行業的需求將進一步擴大。國家信息中心發布我國“十三五”期間的廢水治理投入將達到13,922 億元。目前國有大中型污水處理廠多使用國外進口品牌的水質參數分析采集儀器，但國外水質分析采集設備集成度不高，需重新搭建網絡傳輸系統，且進口設備價格非常高，接口單一、擴展性弱、無法支持個性化定制。國產多參數分析采集設備大多做到了較高的集成度、個性化定制多，但沒有對前端分析采集系統、傳輸系統、設備管控系統及客戶端應用系統等進行頂層化的設計整合和技術上的無縫連接[1]。

鑒于目前國外水質分析采集設備及國產多參數分析采集設備存在的不足，提出了基于大數據及云計算技術的污水分析管控平臺的建設方案，通過專業的污水參數采集和大數據分析以及對污水處理設施的管控服務，為有環保處理需求的工農業企業提供污水管控的專業化、標準化的整體解決方案。該方案所設計的系統前端多參數分析采集設備具備目前市場上相似國產設備的所有優點，并增加接入電子顯微鏡和高清攝像機等視頻圖像設備，同時采用大數據技術對所采集的各種數據進行分析、挖掘與可視化處理，為政府管理、企業生產、大眾參與的污水管控提供一體化的平臺，對提高我國污水排放的管控水平，具有十分重要的現實意義[2]。

1 功能設計

該污水分析管控平臺主要包括前端污水多參數集中分析采集系統、網絡傳輸系統、后臺軟件綜合分析管理服務平臺及應用客戶端系統。

前端污水多參數分析采集系統通過對污水進行多參數集中分析采集，實現對污水中的PH、溫度及懸浮物等參數的實時在線監測，以及通過對各傳感器設備的運行狀況等參數的采集，實現對前端設備的監控。通過對污水處理廠的需求進行分析，搭建一套滿足其工藝要求的自動化污水參數采集系統。

通過網絡傳輸系統將前端采集的數據傳輸至后臺軟件綜合分析管理服務平臺。通過大數據分析建模，實現對前端污水多參數集中分析采集設備上傳的數據進行實時分析記錄，同時，結合污水處理企業對系統平臺的要求，搭建一套完整的基于云平臺的工業現場數據發布系統。包括對采集設備與云平臺軟件數據的通訊、系統的報警、數據實時更新及監控、歷史數據查詢、報表的打印等功能[3]。

應用客戶端系統包括PC操作端、安卓手機客戶端和IOS手機客戶端，支持訪問和管理前端數據采集設備，支持對水質分析報表和趨勢圖的實時展現、專家在線診斷、污水水質參數超標預警、系統連接設備設置功能、用戶管理功能等，并擁有良好的UI設計及用戶體驗。

基于該平臺要實現的主要功能，相對于現有的同類產品，需解決的關鍵問題主要有以下3點：

(1)提高前端污水多參數分析采集系統的集成度、易用性、穩定性及數據采集的實時性。

通過開發嵌入式硬件系統終端，將電子顯微鏡和高清攝像機等視頻圖像設備的數字圖像處理技術融入到云環境前端多參數分析采集設備中，提高整個前端硬件系統的集成度，促進整個系統的易用性和定量可視化功能；系統前端硬件終端采用LINUX嵌入式系統，選擇工業級別的嵌入式芯片平臺，硬件終端系統需要在復雜的污染源環境下(高溫度、高濕度、高腐蝕度)長時間穩定運行，能夠通過有線或者無線(4G)的通信方式將系統前端硬件終端的采集數據，實時傳輸至后臺數據分析系統中；利用視頻流媒體技術，將前端的電子顯微鏡和高清攝像機的圖像和圖片進行實時壓縮和轉發，由于前端的電子顯微鏡和高清攝像機數量較多，以及視頻和圖片數據的非結構化特征，系統需要特殊的優化和穩定性處理[4]。

(2)通過HADOOP框架構建大數據分析平臺，實現對污水多參數的實時分析、診斷及預警，提高數據挖掘分析的準確性及效率。

系統軟件平臺采用HADOOP框架進行搭建，主要包括：Hadoop分布式文件系統的建立；MapReduce計算模型的設計；配置HADOOP集群運行模式的方案，確定NameNode節點和journalnode服務直接的耦合關系。

利用數據挖掘分析技術，提高數據挖掘分析效率。利用系統對較為空閑時間(如凌晨)進行數據分析統計，按照周、月、季、年、行業、區域、污染物類型、企業類型等生成統計匯總數據，存儲在統計表中，以備分析查詢使用，提高數據挖掘分析效率。

圖1 系統整體網絡拓撲圖

(3)通過移動互聯技術，實現對前端采集設備的隨時隨地管理，以及對水質分析相關數據的實時查看與處理。

2 技術設計

該平臺通過開發嵌入式硬件系統終端，運用數字圖像處理技術，實現對水質參數的實時采集；通過大數據分析建模及云計算技術，實現對水質參數的分析及可視化展示；通過研發擁有良好用戶的體驗的客戶端服務軟件，實現對前端水質采集設備的遠程管理以及對水質變化情況的實時監控及決策管理；最后，通過平臺推廣試點進行實證研究，對結果進行分析，驗證相關研究成果的科學性，同步發現存在的問題，進一步完善、優化平臺[5]。

2.1 平臺整體架構

平臺整體架構采用表現層、業務邏輯層、數據層等的三層分離結構基礎上的B/S和C/S混合選擇模式，綜合HTML、ASP.Net、Ajax、Java、C++等多種技術實現。平臺功能主要有：用戶鑒權管理、基本信息管理、實時監控、數據查詢統計分析、設備管理及系統管理等模塊。系統整體網絡拓撲圖如圖1所示。

2.2 應用系統架構

應用系統邏輯結構充分貫徹分層架構設計和模塊化設計理念，由上而下主要可以劃分為WEB應用層、應用服務層、數據存儲服務三層組成。均采用表現層、控制邏輯層、業務邏輯層、數據訪問層等四層分層設計，其中，WEB應用層設計為基于上述分層的B/S結構的WEB應用程序。 系統邏輯結構圖如圖2所示。

圖2 系統邏輯結構圖

(1)WEB應用層

從業務角度劃分，WEB應用程序包含登錄管理、基本信息管理、實時監控、綜合查詢、統計分析、設備反控、系統管理八個主要模塊。WEB應用層是直接給系統用戶提供業務功能的B/S結構的程序，服務端程序部署在WEB服務器(IIS)中，基于.Net Framework4.0運行；用戶在客戶端通過瀏覽器(IE7.0以上)訪問服務器，進行相關業務操作。WEB應用層內部設計同樣貫穿分層設計理念；WEB應用程序由上到下可以劃分為界面表現層、控制邏輯層、業務邏輯層、數據訪問及通信代理層四個層次。

a)界面表現層綜合HTML、ASP.Net、Siverlight、Ajax、Javascript等多種技術實現。

b)控制邏輯層對客戶端進行各項業務功能操作而發起的向服務端的請求進行命令式的封裝，并負責調度到相應的業務邏輯處理。通過對控制邏輯的封裝，可以在控制邏輯層橫向插入權限認證、操作日志記錄等增強控制。同時，控制邏輯層的封裝將保證系統能夠做到B/S和C/S程序切換的可適應性。

c)業務邏輯層接收控制邏輯層轉發的業務請求，并通過內部計算或調用數據訪問層對數據庫進行相應數據操作，對于反控等要求則直接通過通信代理服務調用前端設備。

d)數據訪問層將數據訪問層單獨抽離出來，有利于數據庫切換和保證業務層以上的邏輯穩定，同時數據訪問層代碼可以直接利用現成的O-R Mapping框架，減少系統開發工作量和開發周期。

(2)應用服務層

應用服務層提供了系統運行的基礎服務，由部署在應用服務器上的一組獨立的程序或服務組成，主要包括登錄管理服務、數據管理服務、數據統計服務以及通信中心組成。

通信中心是應用服務層的核心。污染源排口監控設備的下位機通過SIM卡直接連到位于環保專網上的通信服務器，并上傳實時數據、分鐘數據、小時數據及日數據給部署在通信服務器上的通信中心程序。通信中心收到數據后，將信息轉發給本地的消息隊列、由監聽消息隊列的入庫程序負責將數據轉換入庫，另一方面，將接收用戶通過本系統向前端設備(下位機)下發的控制指令。

a)登錄服務為本系統用戶提供登錄服務認證，保存管理當前登錄用戶登錄信息，并提供對登錄用戶鏈路的管理功能。

b)數據管理服務提供對過期數據自動備份和刪除本自動服務功能，并提供數據管理服務程序，用戶通過數據管理服務程序提供的數據管理界面，完成過期數據自動備份到指定文件夾。

c)數據統計服務從系統統計分析和報表應用的需求出發，對于涉及跨月、跨季度、跨年份的統計要求，將定時從原始監控數據表中提取、分析、歸并相應的統計后數據，存儲于分析數據庫中，以提高報表的生成效率，以及應對歷史數據歸檔后還需要進行跨年分析的業務需求。

(3)數據存儲層

數據存儲層由系統數據庫和提供用戶登錄數據存取服務的數據庫服務器組成。系統數據庫按照邏輯結構可以細分為空間數據庫、業務數據庫、分析數據庫幾部分。由應用服務層提供數據管理服務對業務數據庫和分析數據庫中過期的數據進行歸檔管理。

2.3 前端污水的多參數采集

前端采集設備采用嵌入式開發技術，采用嵌入式Linux作為操作系統，選擇TI公司的Davinci系列平臺DM8168平臺作為設備的主控芯片，DM8168平臺是TI最先進的多媒體處理SOC芯片平臺，芯片上集成了4個可編程CPU核心,分別是Contex A8 ARM核(1.0G)，DSP核(C674 1.0G), 2個ContexM3核(250M)。主控板與各類傳感器之間采用分布式Can總線和Modlebus協議。視頻傳感器部分，采用RTSP協議進行網絡流的傳輸，采用PS/TS標準進行視頻的硬盤存儲。前端設備支持100/1000M有線，支持Wi-Fi和4G無線等方式與后臺數據處理系統平臺進行信息交互。前端設備與后臺采用分布式+集中式相結合控制連接方式。

2.4 污水多參數的分析統計

運用大數據挖掘及分析技術，實現對污水多參數的分析統計。系統軟件平臺采用HADOOP框架進行搭建，主要包括：Hadoop分布式文件系統的建立、MapReduce計算模型的設計、配置HADOOP集群運行模式的方案，確定NameNode節點和journalnode服務直接的耦合關系。利用數據挖掘分析技術，提高數據挖掘分析效率。利用系統較為空閑時間(如凌晨)進行數據分析統計，按照周、月、季、年、行業、區域、污染物類型、企業類型等生成統計匯總數據，存儲在統計表中，以備分析查詢使用，提高數據挖掘分析效率。

4 結語

基于大數據及云計算技術的污水分析管控平臺，通過專業的污水參數采集和大數據分析以及對污水處理設施的管控服務，為有環保處理需求的工農業企業提供了污水管控的專業化、標準化的整體解決方案。同時，針對傳統的單參數環境測量方法，提出了多參數集成測量的方案；運用前端數據采集及大數據分析技術，對水質參數的采集及分析，指導污水處理的工藝過程和污水處理設備控制流程；運用數據挖掘分析技術，通過采用靈活的系統處理策略，提高污水數據分析監控的效率與穩定性；運用移動互聯開發技術，開發移動智能終端，實現對污水數據分析情況的實時監控管理和情況分析。支持通過移動客戶端訪問和管理前端數據采集設備，并支持其對水質分析情況的實時監控管理。當現場發生故障時，現場人員即使不在現場也能夠通過移動智能端(手機、PAD)對污水處理廠數據進行實時的監控管理和情況分析。以上都是目前市場上所有國產多參數分析采集設備所不具有的，這對提高我國污水排放的管控水平，具有十分重要的現實意義。目前，系統已在合作企業上線運行，線上運行穩定，能夠很好地滿足其使用需求，可以有效地幫助指導企業進行污水管控。在后期的開發研究中，將對系統的用戶體驗和性能進行進一步完善和優化。