面向大型離散制造企業的業務大數據平臺建設與應用

田玉梅 胡君君 黃紀權 高盛

摘要：離散型制造企業存在產品組成零件多、工序不連續、數據信息繁多的特點，這些數據存儲在不同業務系統中，隨著業務系統的增多，使得數據孤島的現象越發嚴重。近年來，大型離散制造企業越來越重視業務大數據平臺的建設，打破數據孤島，實現數據互通共享，為企業創造更多有用的數據價值。本文主要通過業務大數據平臺的搭建，實現了ERP、CRM、MES、PLM、SRM等業務系統數據集成，為各個業務部門的數據分析實現統一數據源。通過實現對集團中人員、產品、物流、物料等全體數據的集中采集、存儲、處理、分析等，加快了數據更新的速率，減少了執行人員、管理人員的工作量，并為決策層的決策提供可靠依據。

關鍵詞：離散制造;數據共享;業務大數據

1 背景和目的

在當今競爭越發激烈的產業環境下，為更好幫助全球制造業應對挑戰，各個發達國家都提出了工業發展的戰略，如德國最先提出工業4.0這個概念，這些都離不開物聯網、大數據、人工智能這些先進技術。借助大數據技術實現快速準確的決策，是全球制造企業正在嘗試的方向。

近幾年，國內龍頭制造企業借助越來越來成熟的信息技術在提高產品產量和提升質量服務方面獲得了顯著成效。隨著信息系統的增多，國內其他大中型企業也開始意識到數據重要性，并紛紛建立了自己的大數據平臺。國家電網下屬的省公司、三一重工、中聯中科等企業均搭建了自己的業務大數據平臺，旨在通過數據的集中管理與綜合分析，輔助業務部門進行業務改善、為決策層正確決策提供數據支撐。

2 業務大數據平臺的關鍵技術

2.1 Hadoop

Hadoop[1]是以JAVA語言為基礎實現的Apache[2]的開源軟件框架，可以使用簡單的編程模型用以處理和分析海量數據的平臺。Hadoop主要由MapReduce、HDFS、HBase、Hive等核心組件組成，使該框架具有可靠、高效、可伸縮的特點[3]。該框架的可靠性主要體現在它可對存儲或計算失敗的數據重新分布處理。它的高效性體現在其采用了數據并行處理方式，相較于傳統的數據處理方式具有較快的處理速度，過程更加高效。Hadoop還具有可伸縮性，能夠處理PB級數據，可對大型數據集進行分布式處理，從而通過在多個數據塊之間利用“分而治之”的方法來消除數據上限。

2.2 HDFS

HDFS是分布式文件系統的簡稱，是Hadoop架構的底部基礎，它的上一層是MapReduce引擎[4]。HDFS的數據分布并行處理方式使其具有可靠性、容錯性、易擴展等特點。HDFS是以M/S（主從）模式運行的，由NameNode、SecondaryNameNode 和 DataNode三個組件組成，它們在集群上是按照1：1：N的比例組成。其中，Master上運行的節點由NameNode和SecondaryNameNode各一個組成，Slave上運行的節點則是由單種類節點DataNode多個組成。NameNode能夠對文件的元數據信息、文件命名、客戶端對文件進行訪問等數據進行管理。SecondaryNameNode能夠對NameNode上的edits 和 fsimage 文件定期合并并進行處理。DataNode是負責對數據進行刪除、存儲等處理的存儲單元。

2.3 MapReduce

MapReduce是Hadoop框架組成部分，與HDFS共同組成Hadoop體系結構的核心[5]。其對數據的處理遵循分而治之的原則，在工作過程中將數據拆分到不同的計算機中，加快服務器對數據的訪問和處理，在可擴展的方式下能對超過TB級的數據進行處理。MapReduce主要由Map（映射）和Reduce（規約）兩部分組成。在工作過程中，程序會將輸入的文件拆分成多個splits，map task將會對每個splits逐一處理，并將結果輸出到緩沖區shuffle中。map task任務完成之后，在Reduce任務啟動之前，線程會將每個map結果拉取到相應的reduce task中進行合并，最終將所有的reduce task任務合并在一起，由Reduce輸出。

2.4 HIVE

HIVE是以Java語言為基礎的Apache構建，是Hadoopd的一個數據倉工具。相較于Hadoopd，直接使用HIVE的開發難度和學習成本都相對較低。HIVE由用戶接口、元數據存儲和解釋器、編譯器等組件組成，可對數據進行提取、轉換和加載等操作。并通過使用類SQL語言就可在Hadoopd上進行存儲、查詢、分析等操作。其中用戶接口提供實現命令行、JAVA實現、瀏覽器訪問HIVE的功能。元數據存儲提供元數據存儲到數據庫的功能。解釋器、編譯器等實現查詢語句的詞法分析、存儲、調用等功能。

3 研究內容與技術架構

3.1 研究內容

業務大數據平臺本著實現數據共享的設計理念，意在將集團分散在ERP、CRM、MES、PLM、SRM等業務系統內的訂單、財務、物料、客戶、采購、庫存等數據進行集中管理與分析，為各業務人員在做數據分析時提供統一的數據源。為實現以上目的，本文將從以下幾個方面進行研究：（1）;完成業務大數據平臺的搭建;（2）實現數據集成、清洗、整理、計算、存儲等功能;（3）實現數據可視化。目前大數據平臺按照業務場景分為財務、供應鏈、質量、人力資源、服務等業務板塊來進行數據處理并實現各板塊數據可視化功能。

3.2 技術架構

業務大數據平臺基于互聯網技術進行構建，其系統功能架構如圖1所示。平臺采用開源hadoop的生態系統作為大數據基礎平臺底座，提供大數據處理的全生命周期配套組件，可根據業務場景，如財務、供應鏈、質量、人力資源、服務等業務場景實現數據分析與應用服務。上層交互采用springboot+react實現前后端交付服務，實現后臺一套代碼可應用到不同的可視化端。并且提供了組件mysql/es/redis/minio等，解決了主從架構存在數據不一致的問題。

3.2.1 數據集成

數據集成作為底層基礎支撐性服務，是大數據平臺的核心功能之一[6]。通過數據接入工具將集團結構化和非結構化的數據進行集成，并為業務大數據平臺提供原始數據支撐。在據集成過程中數據源可以是公司內部的業務信息系統數據庫，也可以是外部的WEB網頁。并且在配置抽取方法時，也可按照業務的應用場景來選擇抽取方式和抽取時間。目前抽取方式分為全量抽取和增量抽取，抽取時間分為實時抽取和定時抽取。

3.2.2 數據存儲

數據存儲作為數據采集的上層功能，為數據分析共享提供支撐，也是大數據平臺的核心功能[7]。數據存儲需要滿足對結構化數據、非結構化數據和半結構化數據的統一存儲和查詢的需求。在數據存儲層中通過數據倉四層架構和建立事實表、維度表等方式對數據進行整理和存儲。文中大數據平臺的數倉四層架構主要是包括ODS、DWD、DWS、ADS四層模型有，以及數倉DIM維度建模。

3.2.3 數據開發

數據開發是將集成數據作為原始數據來獲取有價值的信息，即將數據轉化為信息的過程。這個過程主要是將各種結構數據按照業務需求進行加工處理，其過程主要包括加工、分類、歸并、計算、排序等一系列演變與推導過程[8]。數據開發要結合具體的業務場景進行，比如財務、質量、服務等不同業務場景的開發應用。

3.2.4 數據分析

數據分析作為業務大數據平臺提供數據深度挖掘和分析服務的核心功能，利用分布式存儲和并行計算框架，結合多種分布式計算引擎，對各類結構化、半結構化及非結構化的信息資源進行快速的分布式計算。在數據分析中要根據具體業務點進行，例如，在服務板塊中就可以按照產品月度服務滿意度、產品年度滿意服務度等具體點進行數據開發。

3.2.5 數據呈現

數據呈現即使數據可視化，可視化是對結合業務場景進行數據整理的最終應用。該模塊可根據用戶的層級和部門業務類型來分配查看相應的可視化數據，幫助用戶了解當前業務的運營情況，從而作出更精準的預測和判斷。數據呈現可以在PC端、移動端以圖表呈現、報表推送等形式進行展示。

4 實踐應用

業務大數據平臺搭建后，可應用日常工作和日常管理的方方面面，基于本平臺搭建后的相關實踐經驗，將對部分應用場景進行介紹。

4.1 業務應用

4.1.1 員工職業全生命周期

員工信息數據通過業務大數據平臺進行數據可視化分析展示，圖3中（1）圖從人員數量、男女比例、學歷分布、層級比例等顯示了不同系統的人員整體情況。其余三個圖則是從每個員工的個人詳細情況進行呈現，全方位展示每個員工從入職到離職的信息，包括人員基本信息、教育、薪資社保、培訓、資產等。

4.1.2 產品生產制造全生命周期

在跟進產品全生命周期時，通過根據產品類型和銷售屬性分不同界面顯示每臺產品從市場到回款不同時間節點的進度完成情況。并且在詳細界面以每臺設備為基礎對其每個時間節點進行詳細描述。以產品DZXXX為例，可在市場節點中查詢該產品合同信息，包括項目名稱、客戶名稱等詳細信息。在物資采購節點可查詢該節點計劃進行時間和實際進行時間，以及不同物料屬性的簽約率和到貨率。解決了業務人員需要在不同業務系統查詢不同節點的信息的問題，統一了數據來源，降低了時間成本，減少了工作量，避免了數據人工統計出錯，幫助業務人員從整體到局部全方位把控生產進度，提高了工作效率。產品生產制造整體進度情況如4所示，產品生產制造進度詳細內容如圖5所示。

4.1.3 指揮監控中心

根據業務類型制作不同的可視化監控大屏，本文將主要從經營、生產、服務三個業務板塊進行介紹。經營計劃板塊，從客戶分布的地圖顯示可直接看出客戶各地分布集中情況，客戶分類匯總中可看出公司產品主要面向的客戶行業以及項目進度監控可了解到某臺產品的整體進度概況。生產制造板塊，主要顯示了工位的使用情況，以及設備的利用率和生產人員分布情況的分析。售后服務板塊，主要分析內容為每種產品派工次數、產品的分布情況，服務人員調度信息，服務達成率，以及服務滿意度等內容。

4.2 成效分析

4.2.1 經濟效益分析

業務大數據平臺的搭建，改變了公司員工傳統的數據統計分析方式，減少工作量，保證了數據統一性，提升了工作效率，減少人力物力和生產成本輸出。具體體現在：一是員工不需要再去各個業務系統里下載業務需求的數據再線下人工進行統計分析，只需將工作中涉及到的業務系統和業務指標計算邏輯提供給大數據人員即可;二是業務大數據平臺可對其他業務系統進行集成，抽取目標業務數據，規范了數據源，減少了不同部分由于系統不相通而造成的數據偏差，保持了數據統一性;三是利用機器學習對業務的歷史數據進行學習挖掘，如對物料的采購、庫存情況進行分析預測，減少物料呆滯，降低生產成本。

4.2.2 時間效益分析

面對離散分布在各業務系統的海量數據，傳統的處理方式需要在不同的業務系統中進行運算再合并，需要耗費大量的時間，而業務大數據平臺可以將這些業務數據快速集成運算，減少了計算的時間消耗。

5 總結與展望

5.1 研究創新

業務大數據平臺，依據企業關于業務服務的個性化要求，實現了數據集中處理，規范化了產品離散制造數據來源，提高了企業產品制造和服務的管理水平，為公司不同層級的員工提供了高效的運行服務管理平臺。

（1）基于Hadoop平臺搭建集團數據倉庫，進行結構化、非結構化數據管理。當進行業務數據集成時，會面對各種不同的數據源，如結構化數據源Hive、MySQL、SQL、Server、PostgreSQL、Oracle、DB2L等，和非結構化數據源Mongodb等。本平臺的搭建可以各種數據源類型的業務平臺進行數據抽取，打破了各業務系統數據壁壘的現象，實現了數據共享，為業務部門的數據調用規范了數據來源，提高了數據利用率，促進了各業務系統數據治理的進度。

（2）將機器學習算法應用于業務分析及預測。根據收集來的不同數據源的信息，利用機器算法對數據進行價值挖掘，對業務的發展進行預測。

（3）全流程數據鏈路可視化管理。通過業務大數據平臺可視化模塊實現報表設計功能與報表管理功能，在報表設計模塊中，配置數據源實現從大數據平臺數據倉庫中獲取數據，進行統計分析，以圖表形式在瀏覽器中實現可視化展示。同時根據公司員工的業務部門以及層級對報表進行權限控制，保證報表資源安全管控，幫助業務人員在日常工作中實現全流程數據鏈路可視化的管理。

5.2 不足與展望

本文中的業務大數據平臺已建設完成，但實際應用還處在初期。目前已完成數據集成進行業務數據分析，但是數據的更深層次價值的挖掘還有待我們進步一步研究。

參考文獻

[1]李建平.Hadoop大數據計算平臺搭建實踐[J].中國無線電，2021（04）：98-101.

[2]李學龍，龔海剛.大數據系統綜述[J].中國科學：信息科學，2015，45（01）：1-44.

[3]李曉晴.大數據平臺技術分析[J].信息記錄材料，2021，22（01）：117-118.

[4]員青澤.人工智能大數據平臺及應用分析[J].電腦知識與技術，2020，16（26）：171-172+175.

[5]李曉東，葉思水.基于Hadoop的高可靠分布式計算平臺的構建[J].北京電子科技學院學報，2014，22（02）：25-29.

[6]顧軍華，官磊，張建，高星，張素琪.基于Hadoop的IPTV隱式評分模型[J].計算機應用，2017，37（11）：3188-3193.