面向生產制造的大數據分析功能模塊設計與實現

摘 要：該文探究一種面向生產制造的大數據分析平臺的設計要點及其功能實現方式。該平臺可以與分析數據庫、企業數據庫之間實現數據共享，通過收集、分析企業數據，在產品質量監督和生產工藝改進等方面發揮重要作用。在數據導入模塊應用SQOOP技術，提高數據導入導出速率；數據分析模塊應用KNN分布式并行算法，通過批量化計算提高數據處理效率；基于Spark功能棧開發大數據集群功能模塊，基于Spring框架和MCV技術構建平臺可視化模塊。通過數據快速分析和結果可視化呈現，為用戶加強生成制造管理提供幫助。

關鍵詞：大數據分析；可視化；SQOOP技術；大數據集群；生產工藝

中圖分類號：TP311.13 文獻標志碼：A 文章編號：2095-2945（2024）31-0130-04

Abstract： This paper explores the design points and functional implementation methods of a big data analysis platform for manufacturing. The platform can realize data sharing with analytical databases and enterprise databases. By collecting and analyzing enterprise data， it plays an important role in product quality supervision and production process improvement. SQOOP technology is applied to the data import module to improve the data import and export rate; the data analysis module applies the KNN distributed parallel algorithm to improve data processing efqbTdgrkw8EYxkWvQSmVsXl4D8iFTnT5690H090AWhLY=ficiency through batch calculation; the big data cluster functional module is developed based on the Spark function stack， and the platform visualization module is built based on the Spring framework and MCV technology. Through rapid data analysis and visual presentation of results， users are helped to strengthen production manufacturing management.

Keywords： big data analysis; visualization; SQOOP technology; big data cluster; production process

在智能制造背景下，企業迫切需要加強生產制造管理，通過減少材料浪費、提高產品質量、優化資源配置等方式，實現自身效益的最大化。大數據分析技術不僅支持對海量數據的批量化、高效化處理，而且還能通過數據的挖掘、整合等方式，發揮數據利用價值，輔助生產制造管理。在這一背景下，設計面向生產制造的大數據分析平臺，以企業日常運營中產生的海量數據作為分析對象，將分析結果在Web界面上實時、直觀呈現，最終達到提高產品質量、保證決策科學、優化生產調度等目的。

1 面向生產制造的大數據分析平臺架構

本文設計的大數據分析平臺主要包含HDFS分布式文件系統、Spark高級分布式計算框架、Hadoop分布式系統基礎架構和SQOOP數據導入導出工具等，該平臺可以與分析數據庫、企業數據庫以及業務分析模塊、平臺管理模塊實現信息共享，整體架構如圖1所示。

在大數據分析平臺中，HDFS可以為該平臺提供相對安全的數據保存環境，用于存儲企業待分析數據和數據分析結果；Spark可基于MLlib機器學習算法對數據庫中的海量數據進行分布式計算，完成數據分析；Hadoop提供了多種功能模塊，如提高系統資源利用率的Yarn模塊、用于數據處理的MapReduce模塊等，滿足大數據分析、集群等需要；SQOOP實現了數據庫與HDFS之間的數據共享，提高了數據導入導出的速度。

2 大數據分析功能模塊設計與實現

2.1 數據獲取與存儲模塊

生產制造企業日常運營中產生海量數據，常規的導入導出方式具有效率低、安全性差等弊端，因此在設計中應用了SQOOP技術，其可以通過并行模式實現數據的批量化處理，從而極大地提高了數據導入效率。SQOOP的命令執行流程如圖2所示。

由圖2可知，SQOOP工具啟動運行后進入低功耗的待機狀態，等待接收來自客戶端的指令。當用戶從客戶端上編輯并發送shell命令后，該命令經過任務解析器轉換成SQOOP可識別的MapReduce任務，在SQL數據庫與Hadoop之間實現數據的相互傳遞，實現數據的導入導出。基于SQOOP的并行數據導入原理如下：用戶選擇需要導入的數據文件，如果數據量較大可以按時間劃分，分成多個Map任務，保證每次導入的數據量相對一致，達到提高導入速率、降低系統能耗的效果。選擇Map任務、設定并行數量后，SQOOP工具自動加載大數據平臺的配置信息，并將Map任務提交到大數據平臺，開始進行數據的導入，在全部Map任務導入后任務結束[1]。

2.2 大數據分析模塊

2.2.1 數據分析流程設計

該模塊是大數據分析平臺的關鍵組成，根據分析結果幫助企業管理者直觀掌握產品質量以及提供產品供應商或產品生產人員信息等。理論上來說，不同類型產品的數據也存在差異，需要根據產品的具體信息選擇相應的數據分析算法。本文只探究基于大數據分析平臺的數據分析實現方法，不考慮具體算法。數據分析流程如圖3所示。

由圖3可知，選擇待分析的樣本數據進行預處理，具體又分為2種操作，即數據清理和數據轉換。數據清理的目的是識別出樣本數據中的錯誤數據、異常數據并將其刪除，是提升數據質量的一種常用方法。完成數據清理后，噪聲減少、格式標準，為下一步的特征提取創造了便利。數據轉換的目的是提高不同系統的兼容性，保證樣本數據從原始系統轉換到大數據分析平臺后可以被正常地解釋和使用。利用特征提取模塊從預處理后的數據中提取特征，判斷是否存在特征冗余。如果特征較少，可以直接進行建模環節。如果特征較多、存在冗余，還需要增加一個特征降維步驟，達到縮小特征矩陣、減少模型訓練時長的目的。常用的特征降維方法有PCA主成分分析法、LDA線性判別分析法等，本文在設計中選擇了PCA降維。根據提取到的特征值建立模型，建模方法有基于專家生產經驗的經驗模型，基于特征計算的數值模型等。對模型展開測試，根據測試表現作出評估評價。一方面可以驗證模型的正確性，另一方面也能發現模型存在問題并進行優化。

2.2.2 數據分析功能的實現

本文設計的大數據分析模塊可滿足以下功能需求：①準確判斷產品質量狀態；②提供生產設備、生產人員以及產品供應商等相關信息；③篩選最優原料供應商，確定最優原料供應商搭配；④評估生產人員的業務能力和生產設備的應用性能；⑤發現生產設備潛在故障。這里以產品質量評價為例，介紹該功能的實現情況。產品評價功能模塊基于Spark平臺實現，主要包含算法庫、RDD（Resilient Distributed Dataset）運算、模型庫三部分[2]。算法庫中提供了可用于產品評價的數據清洗、特征提取等算法，如TruthFinder真值發現算法、多趟近鄰排序算法等。考慮到企業生產制造的產品類型較多、數據處理量較大，本文選用了K近鄰分類（KNN）算法，該算法屬于分布式并行算法，可對輸入的多個樣本數據進行并行處理，從而提高了數據分析效率。基于KNN算法的產品質量評價程序如圖4所示。

2.3 大數據集群功能模塊

生產制造企業的數據雖然在源源不斷地產生，但是數據分析卻是一個階段性需求，即每隔一定階段開展一次數據分析。為了節約系統能耗、減少資源浪費，當不需要數據分析時大數據分析平臺要進入低功耗待機狀態，等到有新的數據分析需求時再重新喚醒[3]。為了實現上述功能，設計了大數據集群功能模塊。在功能設計中，選擇了Spark中的Spark SQL工具，該工具提供了一種抽象數據模型DataFrame，支持用戶使用SQL語句完成常規的數據分析，并提供了多樣化的分析方法，如csv、json及jdbc等。這里以jbdc為例，大數據集群功能實現代碼如圖5所示。

為了提高對Spark、Hadoop等集群任務的處理效率，設計了大數據集群服務控制器。該控制器可接收Web處理器發送的參數，完成不同類型的任務。例如當發送參數為“train”時，大數據分析平臺提供模型訓練服務，將完成清洗與特征提取后的數據輸入到模型中，實現模型訓練；當發送參數為“predict”時，大數據分析平臺提供預測服務，根據用戶設定的條件從數據庫中調用符合用戶要求的產品模型，利用該模型完成數據的預處理和特征提取，最后使用該模型進行數據評價。除此之外，還有import、deletedata、prepare等面向不同服務的參數。

2.4 平臺可視化模塊

2.4.1 可視化模塊處理流程設計

為了讓數據分析結果可視化呈現，在設計大數據分析平臺時加入了可視化模塊，該模塊采用Spring框架，在軟件開發時只需要保證業務邏輯能順利實現即可，不受底層程序的限制，從而縮短了開發周期。在設計模式上，采用與Web應用程序有較高兼容度的MVC（Model View Controller）設計模式。可視化模塊的處理流程如下：用戶通過客戶端瀏覽器編輯并發送HTTP請求，前端控制器接收到來自客戶端瀏覽器的請求后，可以識別瀏覽器界面的參數信息，并根據該信息選擇相應的業務模型，間接地實現了Web處理器與大數據集群的交互。使用業務模型完成數據處理后，再將處理結果反饋給控制器，并利用視圖模板對處理結果進行渲染，渲染完畢后即可在Web瀏覽器的界面上進行呈現[4]。上述處理流程如圖6所示。

2.4.2 生成數據分析報告

數據分析結果可以在Web網頁上可視化呈現，但是無法保存。用戶想要獲取同樣的數據結果必須要再次調用數據庫，操作起來比較麻煩。另外，如果大數據平臺處于離線運行模式無法正常加載數據會導致數據分析結果不能呈現。為了避免上述問題，本文提出了一種生成數據分析報告用于保存數據分析結果的方案，具體實現方式如下。

用戶通過客戶端瀏覽器發起一個查詢相關數據的請求，隨后該請求傳遞給前端控制器。前端控制器根據請求類型和請求內容，把任務分發給對應的數據展示處理器，與數據庫對接從中選擇相應的數據結果，調用該結果并通過Ajax將其傳輸到客戶端瀏覽器上進行可視化呈現[5]。

用戶從客戶端瀏覽器上選擇“生產分析報告”選型，調用Pyhnon攪拌獲取瀏覽器當前界面數據并寫入.pdf格式的分析報告中。

將生成的PDF報告以文件形式保存到客戶端瀏覽器中，方便用戶隨時查看。

3 結束語

面向生產制造的大數據分析平臺，在實時獲取企業生產數據的基礎上運用KNN算法實現數據的分類分析，通過Spring MVC架構將分析結果反饋給Web瀏覽器進行可視化呈現。同時，引入了Spark服務降低了平臺運行能耗，優化了用戶操作體驗。將該平臺應用到企業的生產制造管理中，滿足了節約生產成本、提高產品質量的需求。

參考文獻：

[1] 周波，李曉科，彭世宇.基于煙草生產大數據平臺的數據計算分析服務研究[J].網絡安全和信息化，2022（9）：67-73.

[2] 劉平峰，陳坤.基于多維工業大數據的制造業服務化價值創造體系構建[J].北京郵電大學學報，2022，24（3）：78-89.

[3] 鄧盛彪，張宏濤，孫勇.基于大數據的鍛造生產過程模型的搭建與分析[J].鍛壓技術，2019（5）：37-39.

[4] 關靜.基于大數據技術的機械機床制造數字化平臺設計[J].現代信息科技，2023（24）：21-24.

[5] 李小賓.智能制造技術與系統可行性分析構架[J].設備管理與維修，2022（16）：40-42.