基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)在工業(yè)信息化中的應(yīng)用分析

王韻滋 王爽

摘 要 在當今全球大數(shù)據(jù)的環(huán)境下，將大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)運用在工業(yè)生產(chǎn)中，構(gòu)建從數(shù)據(jù)的感知與采集、數(shù)據(jù)的儲存與建模到數(shù)據(jù)的分析與決策的完整生產(chǎn)模型。能有效改善企業(yè)的生產(chǎn)安排、質(zhì)量監(jiān)督、故障排查和供應(yīng)鏈。提高其信息化、自動化水平，對于提高工業(yè)技術(shù)，促進工業(yè)效率的提高具有重要作用。

關(guān)鍵詞 大數(shù)據(jù);數(shù)據(jù)挖掘技術(shù);工業(yè)信息化

引言

在當今信息化技術(shù)飛速發(fā)展的時代，大數(shù)據(jù)技術(shù)運用到生產(chǎn)生活的方方面面，在浩如煙海的信息中，想要快速定位抓住需要的信息存在一定困難，為解決這一問題，數(shù)據(jù)挖掘技術(shù)應(yīng)運而生。數(shù)據(jù)挖掘技術(shù)能夠在海量數(shù)據(jù)中快速捕捉定位所需的信息資源，并將其運用到生產(chǎn)和生活中。在信息時代，工業(yè)的發(fā)展需要精確的數(shù)據(jù)支撐，想要提高工業(yè)的信息化水平，充分運用大數(shù)據(jù)提供的大量信息資源，就需要通過數(shù)據(jù)挖掘技術(shù)讓大數(shù)據(jù)為工業(yè)的所需提供相應(yīng)的資料，這樣在原有的實踐數(shù)據(jù)基礎(chǔ)上所做的研究就更加客觀，從而使大數(shù)據(jù)技術(shù)更好地支持工業(yè)產(chǎn)業(yè)的發(fā)展。

1工業(yè)領(lǐng)域中數(shù)據(jù)挖掘的內(nèi)涵與發(fā)展

數(shù)據(jù)挖掘技術(shù)是通過統(tǒng)計、數(shù)據(jù)分析、情報檢索、機器學習、可視化技術(shù)、模式識別、人工智能等技術(shù)手段，應(yīng)用算法，在大量數(shù)據(jù)中心搜索信息的技術(shù)過程。是工業(yè)領(lǐng)域中運用大數(shù)據(jù)技術(shù)的重要環(huán)節(jié)。數(shù)據(jù)挖掘技術(shù)現(xiàn)在已經(jīng)在鋼鐵、化工、電力、無線通信等領(lǐng)域應(yīng)用并取得了較好的效果。在我國傳統(tǒng)工業(yè)發(fā)展緩慢、工業(yè)產(chǎn)業(yè)面臨轉(zhuǎn)型升級壓力的環(huán)境下，積極發(fā)展信息化的大數(shù)據(jù)技術(shù)是應(yīng)對當下工業(yè)轉(zhuǎn)型、突破發(fā)展瓶頸的重要契機和有力技術(shù)支持。

我國傳統(tǒng)工業(yè)在改革開放后積極應(yīng)用電子信息技術(shù)，20世紀80年代后，數(shù)控機床、自動化設(shè)備、數(shù)字化企業(yè)等技術(shù)在工業(yè)企業(yè)內(nèi)大面積應(yīng)用。積累海量工業(yè)生產(chǎn)數(shù)據(jù)，但由于分析技術(shù)的限制，無法對數(shù)以百萬計的數(shù)據(jù)進行有效甄別篩選和分析。直到21世紀，伴隨著高性能計算、數(shù)據(jù)庫、人工智能、機器學習等新技術(shù)的發(fā)展和應(yīng)用，形成了以數(shù)據(jù)挖掘為代表的大數(shù)據(jù)技術(shù)，人類才能夠有效處理工業(yè)積累的大數(shù)據(jù)，并利用數(shù)據(jù)分析的結(jié)果，更好地為工業(yè)生產(chǎn)服務(wù)。工業(yè)大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用，能夠?qū)I(yè)生產(chǎn)的全過程進行監(jiān)控，通過收集工業(yè)生產(chǎn)數(shù)據(jù)，利用數(shù)據(jù)挖掘技術(shù)，做到及時發(fā)現(xiàn)問題、分析潛在風險并給出解決方案，從而提高工業(yè)的生產(chǎn)效率，保證工業(yè)的綠色可持續(xù)生產(chǎn)。這符合我國的經(jīng)濟發(fā)展方向，有利于加快工業(yè)化和現(xiàn)代化進程[1]。

現(xiàn)階段較為成熟的工業(yè)大數(shù)據(jù)數(shù)據(jù)挖掘應(yīng)用有美國通用電氣公司的Predix平臺，該平臺將人，機，料，法，環(huán)的數(shù)據(jù)相互打通，從而轉(zhuǎn)變了原有的運營模式，使得通用電氣公司對未來行業(yè)的發(fā)展更有預(yù)見性。國內(nèi)對于工業(yè)大數(shù)據(jù)數(shù)據(jù)挖掘探索較為成熟的有昆侖數(shù)據(jù)的機器大數(shù)據(jù)管理分析平臺和中國航天工業(yè)集團的設(shè)備健康狀態(tài)管理平臺?？偟膩碚f，工業(yè)大數(shù)據(jù)數(shù)據(jù)挖掘在我國發(fā)展勢頭迅猛，但仍舊應(yīng)用范圍較小，整體尚不成熟。

2數(shù)據(jù)挖掘的一般框架

2.1 數(shù)據(jù)的感知與采集

這一過程分為數(shù)據(jù)獲取和接入治理兩個部分。

（1）數(shù)據(jù)獲取，由傳感器網(wǎng)絡(luò)技術(shù)、自動識別技術(shù)和數(shù)字化集成技術(shù)為主要技術(shù)支撐。由于傳感器技術(shù)的發(fā)展，現(xiàn)代工業(yè)企業(yè)的數(shù)控機床、加工機器人等設(shè)備中都配備傳感器，以監(jiān)控生產(chǎn)全過程，在這個過程中，傳感器收集大量關(guān)于產(chǎn)品和設(shè)備狀況的數(shù)據(jù)，極大降低數(shù)據(jù)的收集成本。自動識別技術(shù)，通過二維碼、光信號以及嵌入式等能縱向追蹤的技術(shù)獲取工業(yè)生產(chǎn)中工業(yè)產(chǎn)品和設(shè)備時間序列數(shù)據(jù)。數(shù)據(jù)化集成，一般采用制造企業(yè)生產(chǎn)過程執(zhí)行管理系統(tǒng)、企業(yè)資源計劃、產(chǎn)品數(shù)據(jù)管理將數(shù)據(jù)整合傳輸。

（2）接入治理，由數(shù)據(jù)獲取的原始數(shù)據(jù)噪音較大，數(shù)據(jù)源眾多，導(dǎo)致存在數(shù)據(jù)重復(fù)和數(shù)據(jù)異構(gòu)等狀況，必須通過異構(gòu)數(shù)據(jù)優(yōu)化，數(shù)據(jù)去重等治理手段對數(shù)據(jù)進行處理以確保數(shù)據(jù)的準確性。一般通過多源數(shù)據(jù)控制技術(shù)，利用矢量化和動態(tài)調(diào)節(jié)的手段，解決異構(gòu)數(shù)據(jù)的問題，對數(shù)據(jù)類型進行統(tǒng)一。采用數(shù)據(jù)融合技術(shù)實現(xiàn)實時去重和降噪的目的[2]。

2.2 數(shù)據(jù)的儲存與建模

由于數(shù)據(jù)挖掘的對象是海量的數(shù)據(jù)，這對存儲和建模技術(shù)提出了更高的要求。

（1）儲存技術(shù)，較為主流的方式是采用分布式基礎(chǔ)構(gòu)架Hadoop，Hadoop由HDFS和MapReduce兩部分組成，HDFS負責儲存海量數(shù)據(jù)，HDFS具有三個優(yōu)勢。一是具有高容錯性，能有效降低因數(shù)據(jù)錯亂引發(fā)的系統(tǒng)崩潰;二是對硬件要求較低，可以在價格低廉的硬件設(shè)備上運行，降低成本;三是數(shù)據(jù)吞吐量高，超大數(shù)據(jù)集的運行。MapReduce負責對數(shù)據(jù)的計算，MapReduce是通過映射和歸納的方式保證所有映射值對中的每一個共享相同的鍵組，從而實現(xiàn)分布可靠的特點。

（2）建模技術(shù)主要以面向全局的制造數(shù)據(jù)本體建模技術(shù)為主。由于采集到的工業(yè)數(shù)據(jù)缺乏統(tǒng)一的定義，導(dǎo)致數(shù)據(jù)片段無序離散，通過分別對工業(yè)流程中各項要素建模，如設(shè)備建模、產(chǎn)線建模、產(chǎn)品建模等。最終運用多級混合儲存技術(shù)進行全局數(shù)據(jù)儲存，保證工業(yè)數(shù)據(jù)以統(tǒng)一標準儲存在數(shù)據(jù)庫中。

2.3 數(shù)據(jù)的分析與決策

數(shù)據(jù)的分析和決策中，數(shù)據(jù)分析與決策的核心就是數(shù)據(jù)挖掘。數(shù)據(jù)挖掘技術(shù)能對大數(shù)據(jù)從不同維度根據(jù)需要，快速的提取信息。數(shù)據(jù)分析一般分為數(shù)據(jù)集選取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)建模和結(jié)果分析，五個步驟。而其中數(shù)據(jù)建模主要方式是通過構(gòu)建分類模型、聚類模型、預(yù)測模型和關(guān)聯(lián)模型來實現(xiàn)發(fā)現(xiàn)知識、提取信息的目標。

（1）分類模型。將收集的工業(yè)信息應(yīng)用機器學習技術(shù)，通過監(jiān)督學習或無監(jiān)督學習，使程序識別數(shù)據(jù)類別，在這個過程中可人工規(guī)定分類標準，也可以讓程序自主劃分分類標準，繼而對數(shù)據(jù)進行分類，從而構(gòu)建分類模型。

（2）聚類模型。利用模型識別和對抗神經(jīng)網(wǎng)絡(luò)技術(shù)通過對各類別數(shù)據(jù)的比對，對各類數(shù)據(jù)的特征量進行關(guān)聯(lián)度比較，找出數(shù)據(jù)間的相似性，將相似的數(shù)據(jù)集分成一個類，從而進行聚類分析，構(gòu)建聚類模型

（3）預(yù)測模型。實現(xiàn)預(yù)測有較多的技術(shù)手段，如決策樹、貝葉斯分類，集成學習模型，馬爾科夫模型等。其原理都是通過對訓(xùn)練集集中數(shù)據(jù)的反復(fù)訓(xùn)練，在防止過度擬合的同時，找到擬合度最佳的參數(shù)模型，從而構(gòu)建預(yù)測模型。

（4）關(guān)聯(lián)模型。關(guān)聯(lián)模型的構(gòu)建一般通過關(guān)聯(lián)規(guī)則分析來實現(xiàn)，由于工業(yè)生產(chǎn)過程中各個生產(chǎn)環(huán)節(jié)環(huán)環(huán)相扣，通過對大量數(shù)據(jù)的對比，進行關(guān)聯(lián)規(guī)則分析，能夠找到關(guān)鍵指標，從而建立關(guān)聯(lián)模型[3]。

在四種模型的構(gòu)建中，通常會運用不同類型的數(shù)據(jù)挖掘算法，如關(guān)聯(lián)關(guān)系挖掘算法、分類與聚類算法、回歸與預(yù)測算法和機器學習算法等。算法的選擇與模型的構(gòu)建主要根據(jù)數(shù)據(jù)挖掘的不同目標而確定，通過對目標的分析和描述，最終確定構(gòu)建模型的算法和模型的框架。

模型構(gòu)建完畢后對測試集數(shù)據(jù)進行運行并分析，利用可視化技術(shù)形成圖表，最終形成輔助決策的預(yù)測信息。

3數(shù)據(jù)挖掘技術(shù)在工業(yè)信息化中的運用

數(shù)據(jù)挖掘技術(shù)在工業(yè)中的運用體現(xiàn)在方方面面，如在工業(yè)產(chǎn)品生產(chǎn)制造、銷售、售后的每個環(huán)節(jié)都將運用到大數(shù)據(jù)技術(shù)。數(shù)據(jù)挖掘技術(shù)在每一個環(huán)節(jié)都能用得到，并能提高效率，在實現(xiàn)工業(yè)自動化過程中很大一方面都需要依靠大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)。建立工業(yè)信息數(shù)據(jù)庫，將有效的數(shù)據(jù)進行輸入，然后再對數(shù)據(jù)進行分析，提取有用的信息，提高工業(yè)的智能化程度。工業(yè)中將用到很多工業(yè)設(shè)備，及時對設(shè)備進行診斷是很有必要的，能夠精準地抓住設(shè)備所出現(xiàn)的問題，然后進行修理，提高機器的運行效率，減少人工操作，將大大地提高機器作業(yè)能力。在工業(yè)生產(chǎn)領(lǐng)域，數(shù)據(jù)挖掘技術(shù)一般應(yīng)用在生產(chǎn)安排、質(zhì)量監(jiān)督、故障排查和供應(yīng)鏈優(yōu)化四個方面[4]。

（1）生產(chǎn)安排。由于傳感器網(wǎng)絡(luò)和自動識別技術(shù)在整個生產(chǎn)過程中的應(yīng)用，通過對生產(chǎn)全過程的實時動態(tài)監(jiān)控可以實現(xiàn)對物料使用情況的實時監(jiān)控、對設(shè)備健康狀況的預(yù)先排查，還可以通過數(shù)據(jù)挖掘技術(shù)分析預(yù)測完工期、磨具壽命等變量，預(yù)先發(fā)現(xiàn)生產(chǎn)過程中可能出現(xiàn)的問題，能夠減少誤差，提高安全性，轉(zhuǎn)變被動應(yīng)對突發(fā)事件的運行模式，保證生產(chǎn)線穩(wěn)定順利運行，通過及時主動調(diào)整生產(chǎn)計劃，最終保證生產(chǎn)工作按時完成。

（2）質(zhì)量監(jiān)督。傳統(tǒng)質(zhì)量管理基于產(chǎn)品的質(zhì)量檢查和次品率，是一種節(jié)點管理手段，這一管理方式確實能有效保障產(chǎn)品質(zhì)量，但對于從整個生產(chǎn)過程的角度保證產(chǎn)品質(zhì)量以及對生產(chǎn)流程優(yōu)化改善的幫助并不明顯。基于數(shù)據(jù)挖掘技術(shù)的質(zhì)量監(jiān)督通過對生產(chǎn)過程各個環(huán)節(jié)重要參數(shù)的收集，形成時間序列數(shù)據(jù)，分析評估與次品相關(guān)的關(guān)鍵指標，能夠直接在具體的生產(chǎn)環(huán)節(jié)及時發(fā)現(xiàn)導(dǎo)致次品產(chǎn)生的原因，及時進行優(yōu)化改善，使生產(chǎn)企業(yè)在全面掌握產(chǎn)品質(zhì)量性能的基礎(chǔ)上形成質(zhì)量實時質(zhì)量診斷系統(tǒng)，智能定位質(zhì)量問題[5]。

（3）故障排查。傳統(tǒng)故障診斷是在設(shè)備發(fā)生故障后，停運生產(chǎn)線，通過專家判斷故障類型，并進行維修，這屬于典型的事后管理，處置與維護具有滯后性?；跀?shù)據(jù)挖掘技術(shù)的故障排查是通過設(shè)備上的傳感器，實時收集設(shè)備運轉(zhuǎn)的關(guān)鍵數(shù)據(jù)，如負荷、震動、溫度、壓力、電流等。通過數(shù)據(jù)挖掘的數(shù)據(jù)分析，與生產(chǎn)數(shù)據(jù)、知識庫進行比對，實現(xiàn)對設(shè)備故障的預(yù)測和診斷，并自動生成維護建議，從而實現(xiàn)對設(shè)備故障的事前管理，提高工作效率。

（4）供應(yīng)鏈優(yōu)化。由自動識別技術(shù)、物聯(lián)網(wǎng)以及傳感器技術(shù)構(gòu)建起完整的供應(yīng)鏈數(shù)據(jù)庫。利用該數(shù)據(jù)庫，通過回歸分析和聚類分析等數(shù)據(jù)挖掘手段，實時監(jiān)控全產(chǎn)業(yè)鏈供求變化，挖掘潛在供應(yīng)鏈風險。預(yù)測物料需求情況和供給情況，在維持低庫存的情況下防止避免物料供給不足，以實現(xiàn)庫存管理最優(yōu)化和物流成本最低化。

大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)在工業(yè)中的運用還體現(xiàn)在其他很多方面，數(shù)據(jù)化的發(fā)展很大程度上提高了工業(yè)的生產(chǎn)效率，提高我國的工業(yè)信息化、自動化水平，保證我國的工業(yè)健康、穩(wěn)定、高效地發(fā)展[6]。

4結(jié)束語

在大數(shù)據(jù)時代，數(shù)據(jù)挖掘技術(shù)對于工業(yè)信息化發(fā)展十分重要，面對傳統(tǒng)工業(yè)的轉(zhuǎn)型，為了能夠讓工業(yè)有序健康地發(fā)展，將數(shù)據(jù)挖掘、大數(shù)據(jù)分析等新型技術(shù)運用到企業(yè)發(fā)展和生產(chǎn)中是促進工業(yè)轉(zhuǎn)型升級的關(guān)鍵手段。提高工業(yè)的信息化水平和自動化能力，是符合當今時代對工業(yè)發(fā)展的要求，更符合《中國制造2025》的國家戰(zhàn)略。工業(yè)是國家的支柱性產(chǎn)業(yè)，優(yōu)化生產(chǎn)流程，提高生產(chǎn)效率能有效提高我國的工業(yè)能力，從而進一步提升我國綜合經(jīng)濟實力。面對全球的信息風暴，能夠快速準確地將有用的信息挖掘出來，將其運用到工業(yè)生產(chǎn)中，促進我國的經(jīng)濟發(fā)展，將不同的學科信息交叉相結(jié)合，信息互換和交流能夠更好地提高技術(shù)水平，在工業(yè)發(fā)展中唯有技術(shù)才是保障也是助力，能夠有效地提高工業(yè)信息化水平。

參考文獻

[1] 何沙，胡堯，王林元，等.基于大數(shù)據(jù)技術(shù)的應(yīng)急決策指揮體系構(gòu)建——以中國國際石油合作突發(fā)事件為例[J].科技管理研究，2017（3）：11-12.

[2] 龔健.數(shù)據(jù)挖掘技術(shù)在農(nóng)業(yè)信息服務(wù)中的應(yīng)用研究[D].合肥：安徽農(nóng)業(yè)大學，2018，16（3）：109.

[3] 姚璐.大數(shù)據(jù)時代下企業(yè)管理及應(yīng)用[J].科技創(chuàng)業(yè)月刊，2018（1）： 82-83.

[4] 于文.大數(shù)據(jù)時代背景下數(shù)據(jù)挖掘技術(shù)與企業(yè)信息化[J].通訊世界，2016，23（2）：62.

[5] 趙穎.面向生產(chǎn)管控的工業(yè)大數(shù)據(jù)研究及應(yīng)用[J].計算機科學，2019，46（6A）：45-46.

[6] 許寧.基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)在工業(yè)信息化中的應(yīng)用探究 [J].現(xiàn)代工業(yè)經(jīng)濟和信息化，2017，154（22）：50-54.