基于工業互聯網背景的大數據平臺建設研究

許基偉　馬欣

摘? 要：隨著信息技術和工業技術的迅猛發展，新型工業化道路應運而生，而工業大數據的平臺建設對加快新型工業化道路具有十分重要的意義，本文通過對工業和互聯網大數據進行對比分析，結合工業互聯網與大數據的特點，闡述了二者之間的內在聯系。基于此，提出了工業大數據平臺架構以及相關的數據分級處理流程，最后指出了工業大數據平臺的應用，包括資產管理、數據管理、數據分析和安全服務，為工業企業提供了平臺支持和數據服務。

關鍵詞：工業互聯網;大數據;平臺建設

中圖分類號：TP392? ? ?文獻標識碼：A

Research on the Construction of Big Data Platform Based on Industrial Internet

XU Jiwei，MA Xin

（College of Civil Engineering，Nanjing Forestry University，Nanjing 210000，China）

Abstract：With the rapid development of information technology and industrial technology，a new road for industrialization has come into being and industrial big data platform construction is very important for speeding up the development to industrialization.Through comparative analysis of industry and big data on the Internet，the paper combines the characteristics of industrial Internet and big data to elaborate on the inner link between them.Accordingly，it puts forward the major industrial big data platform architecture and related data classification processing flow，and finally points out the application of industrial big data platform，including asset management，data management，data analysis and security services，which provides platform support and data service for industrial enterprises.

Keywords：industrial Internet;big data;platform construction

1? ?引言（Introduction）

隨著信息化和產業化進程的加快，新型工業化道路應運而生，以運用現代信息技術，用信息化帶動工業化。工業4.0和中國制造2025都以創新為共同發展理念，強調以信息技術為載體，加強創新驅動與智能化服務水平。因此強調建設工業化的網絡平臺，對數據進行整理、分析、總結，工業企業應當發揮工業互聯網的作用，形成終端的服務信息系統。通過建設大數據的平臺，為傳統工業化的改造指明了方向，對新型工業化建設具有重要意義[1]。對工業互聯網信息進行智能處理，實現數據同步、交換、集成、調用等功能，為工業企業提供數據平臺服務和決策支持[2]。

2? ?工業大數據分析與應用（Analysis and application of industrial big data）

2.1? ?工業大數據分析

大數據特征體現在量、速度、多樣性、真實性四個方面，而工業大數據的特征在結合大數據的基礎上，附加了可見性和價值兩個特點。工業大數據歷經了三個階段，如表1所示。工業大數據與互聯網大數據相比，最大的區別在于工業大數據具有很強的目的性，而互聯網大數據更多的是一種關聯的挖掘，是更加發散的一種分析，對數據的預測和解讀顯得尤為重要[3]，如表2所示。

2.2? ?工業大數據應用

隨著信息技術的迅猛發展，工業企業也相繼進入了互聯網工業的新的發展階段，工業大數據在此背景下創新和變革，其應用范圍很寬泛。工業大數據通常應用在制造、航空、軌道交通、船舶、石油、建筑等方面[4，5]，如表3所示。

3? ?工業互聯網與大數據（Industrial Internet and big data）

3.1? ?工業互聯網與大數據的聯系

工業企業發展的動力來自工業互聯網與大數據的融合，通過工業互聯網，將來自數據操控平臺中的信息匯總，依據相應的產品技術要求，實現數據的解讀與分析，從而提煉出對企業有價值的信息。而大數據可以在跨學科技術融合的基礎上，進行信息匯總與管理，提煉產品最具有價值的信息。通過互聯網與線下的其他傳播渠道，從而建立新投資目標、發現新趨勢、提供解決復雜問題的新路徑。

3.2? ?工業互聯網與大數據的作用

工業互聯網是互聯網與智能制造的交叉點，在融合大數據的前提下，提升了產品的智能性，并充分拓展了行業的相關應用。產品的智能化是把機器處理和導出系統滲透到產品的生產過程中，保證產品的感知、存儲等能力，實現產品的信息化定位、識別、復原。目前互聯網汽車、工程機械、智能家電等是產品智能化的熱點領域。同時，工業互聯網和大數據通過網絡連接到企業管理平臺。企業管理平臺可以利用無線網絡、視頻遠程故障診斷等信息服務系統對設備運行實現遠程操控，及時播報預警[6]。

3.3? ?工業互聯網與大數據的特點

在工業互聯網時代，通過納入來自產業鏈上下游以及跨界的數據，實現工業從數據向大數據的轉變。工業互聯網與大數據主要呈現四個方面的特點，即：全要素、全過程、全方位、全融合。全要素是指為保證產品數據的完整性，其攜帶了產品全部的尺寸、工藝、制造、售后使用信息等;全過程是指為確保產品的最終質量，在數據設計和使用時，必須要考慮跨越不同的設計、制造階段;全方位指具體到產品的生產線，從設計、制造、采購等，全方位地關注相關信息，確保產品的實用性。全融合指在信息技術支持的背景下，關注企業各業務的全面關聯及融合。

4? ?工業大數據平臺建設（Construction of industrial big data platform）

4.1? ?云平臺總體架構

工業大數據云平臺通過尋找統一數據源、數據口徑和數據的出入口，來實現對各種專業的合理分析，并最終統一和完善企業信息模型。云平臺的總體架構包括PaaS環境層、PaaS業務層、PaaS服務層。PaaS環境層為業務應用提供支撐的軟件組件、各種中間件和數據庫等，以Hadoop為代表的大數據處理;PaaS業務層包含了應用的后合程序、數據處理算法以及業務數據等實現業務能力的元素;PaaS服務層是指將業務層的業務、算法和數據以接口的形式提供給上層的前端應用直接訪問。總體來說，云平臺總體架構面向一般數據中心典型的應用場景，提供對混合IT資源的統一接入，以構筑云模式下基礎資源調度的最佳實踐，同時以PaaS能力為核心，將應用系統的典型軟件組件以服務形態提供，為業務系統提供統一環境支持，并進行統一管理和監控，將大數據平臺作為典型服務組件整合到云平臺中進行統一管理，以適應未來應用對大數據能力的普遍使用。為用戶更好地提供面向DevOps的統一云服務業務流程，以統一平臺提供傳統的laaS和PaaS能力，并貫穿開發、測試和生產的全過程[7]。

4.2? ?大數據平臺目標架構

大數據平臺目標架構包括五個層面：應用層、能力層、數據層、獲取層、數據源，如圖1所示。其中Hadoop平臺是大數據平臺中的核心。通過建立分布式的文件管理系統，保證了大量數據安全存儲，建立了數據分析處理框架。Hadoop集群能迅速擴展到頂級服務器，實現對大數據的批量處理。同時，Hadoop通過MapReduce可將任務分布并行運行在一個集群服務器中，實現大規模并行計算，同時考慮到設備的不穩定性，保證了計算的準確性和高效性。而Hadoop云平臺以半結構化數據和非結構化數據為主，通過存儲海量數據，確保使用時的時效性與高效性。

4.3? ?大數據平臺中的數據分級存儲

數據分級存儲應當滿足一定的原則，即大數據平臺強調數據的生命周期性，隨著數據生命周期的變化逐步向通用性能存儲遷移，是分級存儲管理的主線。同時數據分級存儲在保證主線暢通的情況下，考慮到其他分級原則，確保數據遷移能夠覆蓋到各個層面。在滿足相關原則的基礎上，將核心模型改造，轉化為現有主數據倉庫的核心模型，減少了數據冗余。集成改造后，將主數據倉庫中的關鍵性數據轉移到一個低成本的分布式數據庫中，降低了主數據庫的存儲壓力。同時此存儲系統也支持數據的深度分析。

4.4? ?大數據平臺中的數據處理流程

在滿足相關技術的基礎上，數據的采集工作通常包括結構化和非結構化的兩種數據采集，數據的具體處理過程分為七個環節：①源數據導入ETL，進行數據的清洗、轉換和入庫;②基礎數據加載到主數據倉庫，規劃保存三年;③清洗、轉換后的ODS加載到分布式數據庫規劃保存兩個月，具體數據分析和匯總在分布數據庫中進行，規劃保存兩年;④ODS數據和非結構化數據，如爬到的網頁數據ftp到Hadoop平臺做長久保存;⑤非結化數據分析處理在Hadoop平臺完成，產生的結果加載到分布式數據庫;⑥生成KPI和高度匯總數振加載到主數據倉庫;⑦業務應用通過數據訪問接口獲取所需求數據。

5? ?工業大數據平臺應用（Application of industrial big data platform）

5.1? ?資產管理服務

資產管理服務的重點目標是資產建模、連接資產和數據源，其服務范圍分為三個板塊：接口層支持資產分層、屬性分類和自定義建模對象，終端訪問對象建模層，通過轉換數據格式，以便于數據庫存儲和查詢;相關查詢引擎利用圖形表達式語言檢索數據;圖形數據庫中包含資產服務數據存儲，并將原始數據描述成數據模型。資產管理服務中的資產模型是工業大數據平臺的關鍵，是連接平臺所有服務的中樞，能幫助應用開發者更好的理解、分析和處理數據。

5.2? ?數據管理與服務

大數據平臺常用的數據管理與服務包括對各種類型數據進行接入、處理和儲存。數據接入指支持多渠道、多類型的數據接入，包括實時數據接入和批量數據接入;數據處理包含對傳感器數據進行標簽處理、資產數據與ERP數據相結合等;數據儲存是根據不同的需求選擇相應的存儲方式，類似時間序列存儲傳感器實時數據、BLOB數據庫存儲圖片式數據、關系型數據庫存儲其他數據等。

5.3? ?數據分析服務

數據分析服務通常指通過分析實時數據檢測設備狀態、預防設備故障、優化生產過程等，并進行迭代提升，在對歷史數據進行整合和分析，包括異常檢測、事件流處理、分析運行環境、分析界面、分析日志等服務項目，建立工業級的預測模型，以進行更有效地生產和運營。相較于數據自身的特點，數據分析服務在涉及技術層面的基礎上，更應當滿足企業與客戶的應用需求，將極度專業化的技術描述，轉化為更容易的商業需求。

5.4? ?數據安全服務

數據安全服務的主要目標為建立企業互聯網應用，解決安全性問題，從而滿足企業互聯網端對端的安全需求。其服務范圍包括租戶管理、用戶賬戶和身份驗證、訪問控制三個方面。租戶管理指為租戶提供特定服務實體及注冊表，完成租戶和服務實體間的完美映射，在確保客戶數據信息安全的基礎上，實現服務生命周期管理。用戶賬戶和身份驗證是在傳統用戶信息驗證方法的基礎上，增加多種驗證方法完善身份驗證系統。訪問控制是指建立資源訪問限制，增強用戶賬戶信息驗證的權威性，同時不斷提升和優化網絡訪問信息安全，實現復雜條件下的訪問控制。

6? ?結論（Conclusion）

隨著新型工業化道路的推進，傳統的工業化道路已不能適應當前社會的發展需求，本文在結合信息化和產業化的手段，搭建了工業大數據平臺，并應用于資產管理、數據管理、數據分析、數據安全服務等方面，未來工業發展的趨勢應當在構建平臺的基礎上，實現產品智能化，確保產品生產的高效性。同時工業大數據平臺也為工業企業提供了商業支持和服務。

參考文獻（References）

[1] Du B，Huang R，Chen X，et al.Active CTDaaS：A Data Service Framework Based on Transparent IoD in City Traffic[J].IEEE Transactions on Computers，2016，65：1-10.

[2] Valerio Persico，Antonio Pescapé，Antonio Picariello，et al.

Benchmarking big data architectures for social networks data processing using public cloud platforms[J].Future Generation Computer Systems，2018，89：98-109.

[3] Jeon S，Hong B.Monte Carlo simulation-based traffic speed forecasting using historical big data[J].Future Generation Computer Systems，2016，65：182-195.

[4] 劉德賀，史玉峰.基于TLS技術的道路邊坡地表位移監測研究[J].森林工程，2018，34（02）：95-99.

[5] 吳佳蔚，李希勝，曹璐琳，等.基于BIM技術的綠色建筑節地設計自動評價[J].建筑科學，2017，33（04）：123-128.

[6] 鄭加柱，高業何敏.自動推算室內接入點坐標算法[J].測繪通報，2018（02）：21-24;29.

[7] 魏洋，盧海鵬，劉小明，等.基于長標距光纖光柵傳感器的連續梁橋監測技術[J].鐵道科學與工程學報，2017，14（10）：2231-2238.

作者簡介：

許基偉（1996-），男，碩士生.研究領域：數據平臺.

馬? 欣（1977-），男，博士，副教授.研究領域：房地產經濟與數據平臺搭建.