依托大數據挖掘的餐飲業油水分離器監測系統設計

于志強 王齊興

摘 要：針對上海市食品安全相關規定，安裝在餐飲企業的油水分離裝置的各類數據必須進行實時監控與處理。為了實現監管部門的自動化數據監測處理要求，從總體系統架構、網絡拓撲、數據流向、數據生命周期方面進行了研究，探討基于大數據挖掘的餐飲業油水分離器監測系統的軟件設計，實現在線監測與報警等功能，依托大數據挖掘技術解決傳統管理監測中的數據定位搜尋處理費時費力、成本高效率低等問題，為環保部門對餐飲企業的長效管理提供平臺支持及執法依據。

關鍵詞：油水分離器；在線監測；大數據；軟件設計

中圖分類號：TP277 文獻標識碼：A

Based on the Big Data Mining Technology for the Design of Catering

Oil Water Separator Monitoring System

YU Zhiqiang1，WANG Qixing2

（1.Shanghai Institute of Measurement and Testing Technology，Shanghai 200233，China；

2.Industrial and Commercial Bank of China Ltd.Software Development Center，Shanghai 201206，China）

Abstract：According to the relevant Shanghai Food Safety provisions，various types of data of the Oil-water separators in the catering companies must be real-timely monitored and processed.In order to realize the auto data monitoring and processing requirement of the regulatory authorities，the system architecture，system network topology， system data flow and data lifecycle management have been studied to design the catering oil water separator monitoring system based on the big data mining technology and realize the online monitoring and alarm function.Relying on big data technologythis system could solve the problem of traditional data processing such as time consuming in data searching and locating，high cost and low efficiency and also could provide the environmental protection department with a platform which can supervise those catering companies and provide law enforcement basis.

Keywords：oil water separator；online monitoring；big data；software design

1 引言（Introduction）

隨著日益加劇的環境污染，以及預防“地溝油”回流餐桌問題，上海市于2012年底頒布了97號令《上海市餐廚廢棄油脂處理管理辦法》，規定了在本市經營的餐飲企業必須安裝使用油水分離器，截止2015年初，上海地區的相關餐飲單位幾乎都安裝了油水分離設備。但由于油水分離設備數量龐大、覆蓋面廣，各地對餐飲油水的環境監測又停留在手工階段。監測范圍有限，難以達到實時超標報警的要求，故近期上海市食品安全相關職能部門已對油水分離器的使用情況提出了在線監管要求，急需設計一套軟件系統能實時監測查詢及處理數據，以解決當年餐飲油水監管中面臨的問題。

本文設計構建的餐飲企業油水分離器實時監測系統，可以實時獲取各家餐飲企業的油水分離器的使用情況等相關數據，同時依托大數據挖掘技術，對相關數據進行數據挖掘分析，提供以下各類功能供相關政府職能部門使用[1]：

（1）企業油水分離器實時監控數據、歷史監控數據查詢功能。

（2）提供監控數據閥值的設定，對于高于閥值的情況提供報警功能。

（3）提供基于歷史數據趨勢分析的預報警功能。

（4）提供不同地域、不同餐飲類別、不同餐飲規模企業間的數據比較分析功能[2]。

（5）提供新增餐飲企業油水分離器選型推薦功能。

（6）針對多方職能部門個性化聯合執法的定制功能。

2 系統總體架構（System architecture）

圖1 系統總體構架圖

Fig.1 System overall architecture diagram

2.1 系統主要構件

系統主要構件分為智能傳感器、前置機、系統主機、WEB服務器，如圖1所示。

（1）智能傳感器：安裝于餐飲企業的油水分離器；主要功能為實時獲取并傳輸該油水分離器的型號編號、實時油污處理水中含油率、水中懸浮物SS、COD、BOD等[3]。

（2）前置機：接受智能傳感器傳輸過來的模擬信號，并將之轉換為數據信號，并經過系統處理后形成數據文件形式傳輸給系統主機。

（3）其他相關系統：政府內部網絡中的其他系統的主機數據，例如餐飲企業的營業額、客流量、法人代表、公司地址等數據[4]。可以和本系統進行數據交換。

（4）系統主機：為該系統核心數據處理部分。主要接受前置機傳輸過來的油水分離器的實時數據、并可以和其他內部網絡中相關系統的進行數據交換等，同時可以接受用戶從WEB服務器傳輸過來的相關數據的錄入，例如用戶手工錄入的餐飲企業規模、油水分離器不達標閥值等相關信息[5]。系統主機將這些數據分門別類進行存儲、加工、分析。

（5）WEB服務器：負責在用戶和系統主機之間進行數據交換。

（6）用戶：本系統采用B/S架構，用戶可以通過任何一臺PC電腦端IE接入系統。

2.2 業務架構風險控制策略

（1）通過系統內提供的統一的用戶認證機制控制用戶的合法性。

（2）系統對每個用戶開設不同的訪問權限。

（3）對于用戶查詢的內容、手工錄入的內容、時間以及其他系統管理的操作行為等記錄日志。

3 系統網絡拓撲結構（System network topology）

圖2 系統網絡拓撲圖

Fig.2 System network topology

本系統在網絡拓撲結果方面分為三層，第一層：外部網絡；第二層：內部網絡；第三層：辦公網絡。如圖2所示。

外部網絡和內部網絡、辦公網絡之前依靠防火墻進行隔離；內部網絡和辦公網絡之間依靠網絡策略配置進行隔離，即內部網絡可以修改系統程序等而辦公網絡不能修改程序，只能通過IE端訪問系統。

智能傳感器位于外部網絡，通過電信加密網絡連接前置機。

前置機、系統主機、WEB服務器等位于內部網絡，通過內網進行數據交換。

客戶位于辦公網絡，通過PC端IE接入內部網絡中的統一用戶認證機制，認證通過后，進入系統訪問，無法變更系統程序。

4 系統數據流介紹（Introduction of system data

flow）

本系統數據流向主要分為數據源、數據挖掘、數據獲取三個部分，如圖3所示。

圖3 系統數據流向圖

Fig.3 System data flow diagram

4.1 數據源

數據源為本系統獲取數據的主要來源，分為三大部分。

第一部分為油水分離器側的智能傳感器獲取的關于該油水分離器的型號、油污處理等方面的數據，該數據由前置機將模擬信號轉換為數字信號，并經過系統處理后，形成數據文件形式傳輸給系統數據挖掘層。

第二部分為內部網絡中其他相關系統和本系統交互的數據，例如餐飲企業的營業額、客流量、法人代表、公司地址等數據。該數據也以數據文件形式傳輸給系統數據挖掘層。

第三部分為用戶通過IE界面手工輸入系統的相關數據，該部分數據直接進入數據挖掘層的數據庫表中。

4.2 數據挖掘

數據挖掘是本系統的核心處理層。主要分為數據清理層（ODS）、數據轉換層（STG）、數據存儲層（DW）、數據集市以及數據展示層（DM）。主要采用ETL（清洗、轉換、加載）的模式對數據進行抽取處理。

數據清理層（ODS）主要是對源數據進行初步判斷，剔除垃圾數據。智能傳感器的相關數據以及內部網絡中其他系統的數據都是通過數據文件形式提供，相關數據在格式、閾值等方面有可能存在各種各樣的誤差，也有可能出現一些系統不需要的垃圾數據。系統通過在數據清理層提前設置數據校驗規則的方式，在數據進入數據庫之前，對存在誤差的數據進行甑別，符合校驗規則的數據進入數據轉換層（STG），不符合校驗規則的數據進入錯誤數據表。錯誤數據表提供管理員用戶通過IE界面前臺進行查詢，對于實際正確但是又進入錯誤數據表的數據，管理員用戶可以在前臺通過手工觸發，使這些數據直接進入數據轉換層（STG）。

對于用戶通過IE界面手工輸入系統的相關數據，在IE界面輸入框處即設定相關校驗規則，使不符合校驗規則的內容無法輸入。這部分數據將直接進入數據轉換層（STG）。

數據轉換層（STG）主要是對經過清洗后的相關數據進行數據轉換操作。從不同渠道獲取的數據可能存在著相同意義，但是計量單位不同的情況，或者不同的系統對于某些分類信息擁有獨特的字典值信息，在跨系統使用時，需要根據不同的字典值表先進行數據還原，再進行根據統一的規則進行轉換，以上等等各類不同的情況都需要通過在數據轉換層（STG）設置轉換法則，通過不同的轉換法則，將跨系統的數據進行轉換梳理，最終形成統一的標準和規范，再進入數據存儲層（DW）。

數據存儲層（DW）主要是存儲已經經過清理和轉換的數據。例如油水分離器性能DW表，可以存儲油水分離器ID，型號，性能指標1，性能指標2，等等不同維度的數據，油水分離器實時監測數據DW表，可以存儲油水分離器ID，使用企業，使用年限，性能指標1，性能指標2，等等不同維度的數據。對于本系統實時監測功能所需要的數據表的表結構主要參考源系統的表結構進行數據的存儲，并且根據各數據表主鍵，以及IE界面的展現要求，進行初步的數據表之間的合并，以加快IE界面顯示的速度。對于所有在數據存儲層（DW）的數據表都進行按主題的初步分類后，進入數據集市存儲。

數據集市是本系統的核心數據存儲模塊，支持所有本系統數據挖掘，在線分析等功能，主要存儲按主題分類后的數據模型，每個數據模型按照日期、地區、代碼、維度1，維度2，維度3，數值1，數值2，數值3等，進行相關數據的存儲。數據集市中的數據可以看做是一個專門存儲數據的倉庫，且不同的數據按照不同的主題分門別類的放置在不同的容器中，每個容器中存儲最基礎的數據信息，容器和容器之間可以通過主鍵信息相關聯，以形成進一步詳細的數據信息供數據挖掘、分析使用。數據集市中的數據按時間進行分區存儲，以便于更迅速的實現數據的讀取。

數據展示層（DM）是連接用戶請求和數據集市之間的橋梁[6]。根據用戶查詢的條件，數據集市負責對原始數據進行分析、處理后，進入數據展示層（DM），供用戶展現使用。可以將數據展示層看成是一個視圖的形式，作為一個緩沖帶，這樣可以避免用戶直接查詢數據集市中的數據，對數據集市中的數據造成無意的篡改、鎖表等行為，同時，數據展示層還能起到緩存的作用，即如果不同的用戶先后提交相同的查詢條件，后一次查詢可以不再讀取數據集市的數據，不再需要數據集市再次進行分析處理，可以直接從數據展示層讀取數據展現給用戶，這樣進一步提高了系統的負荷和使用效率。

4.3 數據獲取

數據獲取這部分內容主要是由用戶在IE前臺發起數據查詢，用戶可以根據前臺提供的各個功能模塊的菜單，各個菜單底下不同的篩選條件選取不同的數據進行查詢。主要通過數據挖掘層的數據展示層（DM）進行數據緩沖作用，用戶不直接與數據庫底層的數據集市進行數據交互，而通過數據展示層（DM）進行數據交互，可以起到隔離、緩存記憶、提交查詢效率等作用。

4.4 本系統數據流向的設計優勢

（1）將數據分層次進行處理。數據清理層（ODS）、數據轉換層（STG）每一層都有各自的功能，將數據的分析處理分層次進行，層與層之間互不干擾，將數據一步一步深入的進行分析處理后，最終進入到數據集市進行集中存儲保存。

（2）使用數據集市的概念，在數據集市中將數據分類保存，按時間分區，形成大數據存儲的數據資產。

（3）使用數據展示層（DM）作為緩存帶，隔離用戶使用和數據集市，保護數據集市中的數據的完整性，同時緩存相同查詢條件的數據，提高數據查詢速度，提升用戶體驗。

5 數據生命周期管理（Data lifecycle management）

對于本系統中各個層次的數據采用不同的數據生命周期管理策略。詳見表1。

對于數據清理表（ODS）的數據不進行保留，即在每一張數據表每次清洗完成相關數據之后，立即做清空數據表的操作。

對于錯誤數據表的數據保留1個月。超過保留期限的數據，由系統主動清理。

對于數據轉換表（STG）的數據不進行保留，即在完成當天的數據轉換任務后，立即對數據表進行清空操作。

對于數據集市的數據保留5年。超過保留期限的數據，由系統維護人員將數據備份到磁帶。

對于數據展示層（DM）根據實際情況進行保留，通過前臺設置‘清空臨時表的功能[7]，由系統管理員觸發對數據展示層的數據的清空，日常不安排系統做主動清理[8]。

6 結論（Conclusion）

通過本系統的建設和使用，可以實現對餐飲企業油水分離器現狀的實時監控功能，且通過報警功能，減少相關職能部門全面檢查產生的繁重的工作量以及隨機抽檢帶來的隨機性較高的現象[9]，進一步優化政府職能部門的人員配置，高效解決環境污染的在線監管問題。而且，系統通過大數據的挖掘技術，提供行業的發展趨勢，對于將要但還未出現問題的企業提供預先報警功能，使問題可以被提前發現，并進行干預，達到防患于未然的目的，更進一步提高相關部門的有效監管的能力。同時系統提供的分析報表，可以供相關負責人更便捷的進行戰略分析和判斷。系統可移植性好，可方便用作其他對象的監測。

參考文獻（References）

[1] 李暢，溫貽芳.基于人才培養狀態數據平臺智能化動態儀表盤的開發與應用研究[J].軟件工程師，2014，3：40-43.

[2] 田雪詠，等.一類通用的裝甲裝備自動測試系統體系結構[J].計算機測量與控制，2011，19（7）：1647-1649.

[3] 周發武，鮑建國.環境自動監控系統技術與管理[M].北京：中國環境出版社，2007，9：18-36.

[4] 黃鑫，等.數字電路板自動測試與故障診斷系統的設計與實現[J].計算機測量與控制，2010，18（7）：1512-1514.

[5] 孫福生，朱英存，張俊強.環境監測[M].北京：化學工業出版社，2007（7）：309-312.

[6] 張海藩.軟件工程導論（第5版）[M].北京：清華大學出版社，2008.

[7] 王珊.數據庫系統概論[M].北京：高等教育出版社，2006.

[8] 葉小杰，等.自動測試系統中的儀器設備驅動通用封裝研究[J].計算機測量與控制，2011，19（4）：975-977.

[9] 張姁，等.雷達電路板自動測試診斷平臺的研制[J].計算機測量與控制，2008，16（8）：1136-1137；1168.