制造物聯中彈性分布式海量數據分析系統的設計與實現

杜 量 程良倫

(廣東工業大學計算機學院 廣東 廣州 510006)

?

制造物聯中彈性分布式海量數據分析系統的設計與實現

杜 量 程良倫

(廣東工業大學計算機學院 廣東 廣州 510006)

對于制造物聯領域中持續產生的海量、多源、結構復雜的工業生產數據來說，具有數據量大、易堆積、分析處理困難以及難以可視化的特點。設計實現了一種彈性分布式的海量數據分析系統，以彈性分布式的大數據計算框架為核心，并采用模塊化和層次化的系統設計，使其具有松耦合、易拓展及容錯性強的特點。把該系統應用于某汽車零配件生產企業，實際應用效果表明，該系統可以很好地應對制造物聯領域中的海量數據分析處理問題。

制造物聯 海量數據處理 分布式 數據分析系統

0 引 言

制造物聯是物聯技術在制造領域中滲透和應用的產物[1-2]，其在提升企業生產制造效率和促進制造業轉型發展有著重要的作用。在制造物聯領域中，特別是具有生產過程復雜、生產工序繁多、產品質量把控嚴格的特點的現代工業產品制造過程中。為了保證生產過程的高效率進行和高質量的工業產品產出，實時的數據采集和監控系統會采集和匯總各項生產數據，并需要相應的數據分析處理系統對以上數據進行及時地分析處理。而對于這些來源復雜多樣的數據來說，其具有如下特點[3]：

1) 數據海量性。伴隨生產過程的進行，數據采集和監控系統每天收集的數據可達GB級甚至更大量級。

2) 數據類型多樣。數據中包含關系型數據、半結構化數據流數據、多維數據，以及無結構的文檔等。

3) 數據時空相關及動態流式特性。制造物聯中數據采集系統所收集的數據往往存在空間屬性和時間屬性，并且數據特性上普遍存在動態流式的特性。

由于以上的制造物聯中的數據特性，使得傳統、常規的數據分析處理手段或系統在面對以上的數據時顯得捉襟見肘。而對于制造物聯中工業數據的處理分析恰恰是制造物聯中不可或缺的重要一環。因此，設計和實現高效、強大的海量數據分析處理系統來解決海量、多源、復雜的制造物聯數據所帶來的數據處理分析問題就變得十分重要了。

根據以上描述，本文設計實現了一種制造物聯環境下的以彈性分布式數據管理平臺為基礎的海量實時數據分析處理系統。該系統以大數據分布式計算集群為核心層，采用分層的系統架構，各層之間采用模塊化設計，使得系統具有高可用性和高擴展性。并且依賴于模塊間的松耦合，使得模塊可實現依據業務場景的熱插拔及高容錯性。該系統的具體實現以及在某汽車零配件生產企業中的實際運行效果表明，該系統能夠很好地解決制造物聯中海量數據分析處理問題。

1 相關背景

對于制造物聯中的海量數據處理來說，傳統的數據存儲和分析處理方法一般來說難以滿足其分析處理要求，特別是在面對PB級數據量及多元結構的數據類型時，更是顯得捉襟見肘[5]。因此，當前的研究者們主要是借助分布式的機器集群以及高效強大的大數據處理框架來實現大數據處理分析平臺以實現海量數據的存儲、管理以及分析研究[6]。

1) 以數據源為中心構建的數據分析以及管理框架的研究[7],包括物聯網環境下的數據存儲與查詢研究[8]、多來源數據的整合分析研究；

2) 構建高可用性大數據處理集群和更高效的大數據處理工具如Hadoop、Spark等來實現制造物聯中的數據分析處理[9]；

3) 結合云計算等技術實現制造物聯領域中海量數據的分析處理[13]，如文獻[6，13-14]中通過結合云計算進行海量數據的分析處理和挖掘。

通過以上的分析可以看出，針對制造物聯中的海量數據特點和分析處理要求[15]，需要研究設計以分布式大數據集群為基礎來構建具有高可用性、高可拓展性的海量數據分析處理系統來解決海量數據的高效率存儲、查詢和分析處理問題[16]。

2 系統設計描述

針對制造物聯中的海量數據以及對其的分析處理要求，相應的處理分析系統也當具備高可用性、高拓展性、高容錯性以及近實時的特點。本文中設計實現的系統以分布式大數據機器集群為核心，并輔以清晰的系統層次劃分和各層中模塊化的軟件設計。下面給出系統設計的詳細描述：

系統總體架構上采用分層結構，在每層中采用模塊化的設計。對于每層中的模塊會依據業務場景的不同和數據處理的需要進行相應地選擇和插拔，模塊化和層次化的結構特性以及高可用性的分布式集群使得系統具有松耦合、高可用性高容錯性的特點。系統設計如圖1所示。

圖1 系統架構圖

對于系統總體來說，將其劃分為數據采集層、數據倉庫層、海量數據分析處理層、中間結果存儲層以及最終的可視化前端展示層。數據會依次進入系統的每個層次，并通過位于每層中的數據處理模塊中進行相應的分析和處理。

首先，對于生產過程中的原始數據來說，會通過數據采集層進行采集和匯總，并隨后導入數據倉庫層。在該層中通過諸如Hive等數據倉庫工具進行原始數據的必要清洗和依據業務的數據ETL操作。在完成原始數據的入庫后，位于系統核心的數據處理分析層會依據業務場景從數據倉庫中進行相應數據的選取。采用彈性分布式大數據處理集群以及如Hadoop、Spark等大數據處理工具進行相應的分析處理，并將分析處理結果導入中間結果處理層。在該層中數據會分別進入企業級搜索引擎如Elasticsearch、Lucene以及RDMS中或NOSQL數據庫中。最終，在前端展示層中會通過如Spring mvc等Web框架獲取中間結果層的數據并依據業務場景的可視化要求進行最終結果的展現。

2.1 數據采集層與數據倉庫層

通常，制造物聯中的原始數據在進行數據采集時往往會依賴于基于RFID數據采集系統的企業級的數據采集系統進行工業生產數據采集，并且相應數據的存儲和持久化會在數據采集系統中進行完成。

針對制造物聯中生產數據的數據倉庫建設和大量數據的高效存儲要求，在完成數據采集后進行制造物聯中數據倉庫的構建時，考慮到制造物聯領域中的生產數據特點，其數據倉庫的構建時必須具備如下維度：1) 設備維度，包括設備型號、設備功能、設備狀態、設備損耗狀態等設備信息；2) 生產周期維度(時間維度)，包括生產計劃、生產進度、生產量等生產周期信息；3) 產品維度，包含產品型號、產品規格、產品質量信息等產品信息；4) 生產人員維度，包含員工編號、員工工位、員工技能等人員信息；5) 生產工序維度，包含工序編號、工序詳情、工序原料等生產工序必備信息。對于制造物聯中的數據特點在進行數據存儲時需要實現數據本身以及數據存儲的高可用性(HA)。針對制造物聯中的制造企業的特點在實現高可用性時，基于冗余的本地高可用以及基于冷備、熱備，增量全量的備份容災方案為建設時的必須要求。而對于數據倉庫的具體建設和數據在數據倉庫層的基本操作如依據業務的數據ETL等，在技術實現上則可采用當前主流的數據倉庫工具，如可采用Hive、kettle、Sqoop等工具進行數據倉庫的搭建、數據ETL以及數據遷移。數據采集與數據倉庫層如圖2所示。

圖2 數據采集與數據倉庫層

2.2 海量數據分析處理層

對于制造物聯中的數據分析處理系統來說，海量制造數據的分析處理模塊構成其系統核心，并且主要的數據業務操作也在該模塊中進行實現。

依據制造物聯中不同制造企業的數據特性以及處理要求，在海量數據分析處理層會采用高可用性、可拓展的分布式大數據處理集群來作為其硬件實現，集群的具體規模依據不同制造企業的數據處理需求進行擴充或縮減。對于集群的基礎性軟件配置則采用當前主流的大數據處理框架及相關技術軟件，如Hadoop、Spark等大數據處理框架，Zookeeper、Yarn等資源管理軟件以及資源流任務調度如Oozie、Kettle等調度框架。

特別地，對于當前制造業中存在的離散工業生產數據來說，其數據往往具有流式的數據特性，并且在其數據處理要求上往往要求數據處理具有實時性。對于以上的數據處理要求和業務場景在技術工具選型上則采用如Storm、Spark-Streaming等流式數據處理工具進行實現。而對于需要進行制造數據的深層挖掘分析時，如需要進一步挖掘分析制造數據中的隱藏信息時，則需要有選擇地采用數據挖掘、機器學習等高級數據分析方法進行更高層次的數據分析處理。

對于在該層中進行處理分析完成后的數據會轉存到中間結果存儲層中進行數據的持久化。該層的層次劃分以及模塊組織如圖3所示。

圖3 數據分析處理層

至此，可以看出，針對制造物聯中制造業企業的數據分析處理要求，特別是依據諸如數據量、數據特性、不同制造企業的數據業務需求進行可伸縮的集群彈性配置和靈活的數據分析處理工具選擇、可以使得本文系統具有高彈性、高可用性以及強大的適用性。

2.3 中間結果存儲層

當數據在數據分析處理層中完成針對數據業務的分析處理后，需要進行數據結果的持久化存儲以及處理結果的可視化展示。在本文的系統中以上步驟在中間結果存儲層中進行數據的保存。

一般地，結果數據的存儲和持久化的主要目的可分為：1) 作為數據結果展示層的數據源；2) 作為二次數據分析處理的數據源。針對以上兩種中間數據結果存儲要求，該層采用企業級搜索引擎和數據庫來作為數據存儲，其中數據庫的選擇會依據數據量以及具體的業務要求靈活地選用關系型數據庫或非關系型數據庫。

特別地，當數據結果需要作為結果展示層的數據源時，為了在數據展示時數據獲取的簡便，中間結果的存儲會直接從數據分析處理層中導入到當前主流的企業搜索引擎如ElasticSearch、Lucence中或關系型數據庫如MySQL中。而當數據作為二次數據分析處理的數據源時，數據的存儲一般會采用直接文件存儲或存儲在Hbase等NoSQL數據庫中。

對于中間數據的導出以及在中間結果層的存儲，則可以采用與數據分析處理層兼容的數據遷移工具或技術。如當采用Spark或Hadoop工具在數據分析處理完成后繼續進行數據寫入到中間結果存儲層的搜索引擎或數據庫中。該層的詳細設計如圖4所示。

圖4 中間結果存儲層

2.4 前端可視化層

對于制造物聯中數據的處理分析結果，其最終會依數據可視化的方式進行結果的最終展示，并以數據的處理分析結果作為可視化層的數據源。

通常地，數據的可視化會依據不同的制造企業業務需求或者不同的展示方式需求進行靈活的可視化方案選擇。當前主流的可視化方式為采用B/S或C/S架構的技術方案。對于采用B/S架構時，Web后臺可選用當前使用廣泛的Spring MVC、Django等，前端框架可采用BootStrap或前端開發語言CSS、JS等進行靈活的前端數據可視化展示。特別地，對于制造企業來說，數據分析報表的生成和匯總是必不可少的業務需求。因此，數據分析報表的制作與導出將在數據可視化層中進行功能實現，該層的詳細設計如圖5所示。

圖5 前端可視化層

3 系統應用與分析

現針對某汽車零配件生產企業中以生產數據為數據源時所面對的產品質量分析對比需求，構建與實現本文中的數據分析處理系統。該企業中生產質量數據的數據源來自RFID數據采集點(2 400/個),采集頻率為2 000(條/個/天),采集周期會依據生產任務不同持續數月到一年左右。

本文中選取30 GB所采集的產品質量數據進行系統測試。在該場景中數據分析處理要求包括：生產質量采集數據與質量標準數據對比，分析給出產品質量合格信息,其中分析粒度分別為工序處理信息、任務出來信息以及型號處理信息,并需出具數據處理報表和Web端圖表可視化結果。

對于該應用場景，針對該制作企業的實際數據分析處理業務需求，現給各層模塊闡述和相應的技術描述。

對于本案例中的數據采集層與數據倉庫層，會接入該企業的RFID數據采集系統進行數據的匯總，并且采用Hive、Kettle等大數據工具進行企業的數據倉庫構建。其中數據倉庫中數據維度包括：設備維、物料維、生產周期維(時間維)、產品維、人員信息維。而對原始數據的ETL等數據清洗處理操作則將產品生產數據作為重點數據操作對象；接著，構建上高可用性大數據集群上的核心數據分析處理層會從數據倉庫層中進行原始數據的讀取，并采用以Spark、Hadoop為核心的大數據處理框架進行業務的數據分析處理。在本案例中則會采用Spark進行產品質量數據與標準數據的對比操作，并將結果寫入中間結果存儲層的Hbase數據庫，以及搜索引擎ElasticSearch中。隨后，基于Spring MVC以及BootStrap前端框架的前端展示層會從中間結果存儲層的搜索引擎ElasticSearch中讀取最終處理結果數據，并進行Web形式的結果展示以及相應的報表導出。

其中測試系統的軟硬件系統配置摘要如下:集群硬件配置為單機32 GB內存，1 TB硬盤共三臺。核心軟件配置摘要為：Ubuntu12.4, Hive1.x, CDH4.X,spark1.5,ElasticSearch2.x MySQL5.X。最終采用B/S結構的可視化展示方法，通過Spring Web框架進行最終結果展示。其Web端處理分析結果部分摘要分別如圖6和圖7所示。

圖7 生產任務檢測信息

圖6表示由任務批次、生產工序和工序相應的檢驗項目所確定的工序工藝要求檢測結果。在完成本系統中的數據分析處理后，能夠檢驗該產品在相應工序下是否滿足生產標準，并且出具相應的檢測值方差和標準差等信息。圖7為匯總該生產批次下某項任務的批次檢測結果，能夠出具不合格工序和未檢測任務以及檢測合格任務等信息。

對于本文中的數據分析系統，可以實現在產品生產過程中數據周期化、自動化的檢測分析。在該企業中固定的產品數據檢測分析時間區間為3天，即以三天為周期運行該系統，并依據系統分析處理結果進行產品質量問題的監測和追溯。該系統的高可用性以及所依賴的計算集群的可拓展性可以在短時間內給出產品的質量分析結果相對企業有的人工質量分析處理分析方式，在保證準確性的同時，極大地節省了處理時間。在本文中測試環境下，系統處理時間與數據量關系趨勢可參見圖8。

圖8 該系統處理數據時間與數據量關系趨勢圖(不同系統軟硬件配置下時間會有差異)

4 結 語

本文針對制造物聯領域中的海量數據分析處理問題，設計與實現了一種以分布式大數據集群為基礎的海量實時數據分析處理系統。該系統采用分層的系統架構和模塊化的軟件設計使得該系統具有松耦合、高容錯以及適用性強的特點。特別地，該系統針對制造物聯中制造業企業中數據多源、結構復雜、數據處理業務復雜的的特點，進行了各模塊與層次的針對性設計，如在數據倉庫中添加了具有針對性的數據維度設計，在數據核心分析處理層中采用可伸縮性的數據處理集群構建使得本系統可以靈活地應對數據量的伸縮以及數據處理業務的變化。

此外，該系統在某企業實際應用中的效果表明，依賴于該系統可實現海量工業數據的準確快速的分析處理，極大地節省企業中數據處理分析的時間和精力。文中提出的數據分析處理系統默認為在企業內網中運行，因此，并沒有考慮系統的安全性和用戶隱私保護，而對于當下日益惡劣的工業網絡安全環境來說，系統的安全性和穩定性顯然是今后需要研究和著重關注的研究點。

[1] 侯瑞春, 丁香乾, 陶冶,等. 制造物聯及相關技術架構研究[J]. 計算機集成制造系統, 2014, 20(1):11-20.

[2] 程良倫, 王濤, 肖紅,等. 智能制造物聯網及應用實例[J]. 高科技與產業化, 2015, 11(3):68-75.

[3] 胡迎新, 馬新娜, 鄭麗娟. 物聯網數據管理研究[J]. 物聯網技術, 2014(4):79-82.

[4] Anantharam P, Barnaghi P, Sheth A. Data processing and semantics for advanced internet of things (IoT) applications:modeling, annotation, integration, and perception[C]// International Conference on Web Intelligence, Mining and Semantics. 2013:1-5.

[5] 楊正益. 制造物聯海量實時數據處理方法研究[D]. 重慶大學, 2012.

[6] 趙永波, 陳曙東, 管江華,等. 基于海云協同的物聯網大數據管理[J]. 集成技術, 2014(3):49-60.

[7] 丁治明, 高需. 面向物聯網海量傳感器采樣數據管理的數據庫集群系統框架[J]. 計算機學報, 2012, 35(6):1175-1191.

[8] 何鳳成. 面向時空特性物聯網數據存儲系統設計與實現[D]. 中國科學院大學, 2013.

[9] Zhang Y, Xiang L. Design and implementation of IoT data analysis and processing software[J]. Digital Communication, 2013,40(3):30-33.

[10] Satoh I. MapReduce Processing on IoT Clouds[C]// 2013 IEEE 5th International Conference on Cloud Computing Technology and Science (CloudCom). IEEE Computer Society, 2013:323-330.

[11] 劉文峰, 顧君忠, 林欣,等. 基于Hadoop和Mahout的大數據管理分析系統[J]. 計算機應用與軟件, 2015, 32(1):47-50.

[12] Rizwan P, Rajasekharababu M. Performance Improvement of Data Analysis of IoT Applications Using Re-Storm in Big Data Stream Computing Platform[J]. International Journal of Engineering Research in Africa, 2016, 22:141-151.

[13] 鄧仲華, 劉偉偉, 陸穎雋. 基于云計算的大數據挖掘內涵及解決方案研究[J]. 情報理論與實踐, 2015, 38(7):103-108.

[14] Son J, Ryu H, Yi S, et al. SSFile: A novel column-store for efficient data analysis in Hadoop-based distributed systems[J]. Information Sciences, 2015, 316:68-86.

[15] 何炎祥, 喻濤, 陳彥釗,等. 物聯網環境中數據存儲與查詢機制研究[J]. 計算機科學, 2015, 42(3):185-190.

[16] 史俊茹, 黑敏星, 楊軍. 一種物聯網數據管理框架研究[J]. 計算機科學, 2015, 42(S1)294-298.

THE DESIGN AND IMPLEMENTATION OF AN ELASTICITY-DISTRIBUTED MASSIVE DATA ANALYSIS SYSTEM IN MANUFACTURING INTERNET OF THINGS

Du Liang Cheng Lianglun

(SchoolofComputerScienceandTechnology,GuangdongUniversityofTechnology,Guangzhou510006,Guangdong,China)

For the massive, multi-source and complex structure data in the manufacturing Internet of things, it has the characteristics of large amount, easy to accumulate, difficult to analyze and process as well as difficult to visualize. In view of the above problems, an elasticity-distributed massive data analysis system is designed and implemented with the core of massive data computing framework, adopting the system design of modularization and layering to make the system can be very good to deal with massive data analysis problem in the industrial internet of things, besides it has the following advantages: module division is clear, easy expansibility and fault tolerance. The practical application shows that the system works well when analyzing the massive data in manufacturing Internet of things.

Manufacturing Internet of things Mass data processing Distributed Data analysis system

2016-06-13。杜量，碩士生，主研領域：數據挖掘，軟件工程。程良倫，教授。

TP274

A

10.3969/j.issn.1000-386x.2017.07.012