骨干裝備制造企業大數據平臺構建

侯洪鳳，任 意，張澤宇

（大連科技學院，遼寧大連116052）

骨干裝備制造企業大數據平臺構建

侯洪鳳，任 意，張澤宇

（大連科技學院，遼寧大連116052）

如今，制造業正進入大數據時代，因此，針對遼寧省裝備制造業兩化融合的現狀，探討大數據平臺構建的必要性和可行性，并嘗試構建企業級大數據平臺，幫助骨干裝備制造企業開辟創新轉型途徑。

裝備制造業；兩化融合；大數據平臺

一、工業大數據

大數據不僅指海量數據資源，也指能從海量異構數據資源中有效抽取出富含價值的信息前沿技術。大數據通常具有數據類型繁多、數據體量巨大、價值密度低、處理速度快等特點[1-3]。近幾年，大數據受到廣泛關注，在互聯網、醫療、金融、電信等行業引發了應用熱潮。相較而言，制造業對大數據的利用水平明顯落后于其他行業[4]。

遼寧省骨干裝備制造企業經過前期兩化融合前期成果的積累，已經成功部署企業資源計劃（ERP）、產品數據管理系統（PDM）、產品生命周期管理（PLM）等諸多信息化系統，單項應用已經非常普遍，部分企業已經實現綜合集成。這些系統應用涵蓋了產品的整個生命周期，從而積累了大量的傳統數據。另外，制造企業通過內嵌入產品中的傳感器及時獲取機器運轉中產生的大量實時監測數據。最后，隨著互聯網和工業深度融合發展，來自于外部互聯網的數據，如聲音、符號、圖形、圖像、視頻等非結構化數據也在急劇增長。上述數據都是在工業領域信息化相關應用中所產生的海量數據，因此也被稱為工業大數據。由于工業大數據來源廣泛、數據量巨大、類型復雜、信息冗余，給處理和應用工業大數據帶來了極大的挑戰[5]。

二、構建大數據平臺的必要性和可行性分析

（一）必要性分析

第一，從企業自身發展需求來看，遼寧省骨干裝備制造企業兩化融合卓有成效，如沈飛、沈機、鞍鋼、大連機床，大連重工等企業兩化融合已經具有較高水平，進入了集成提升和創新突破的發展階段，借助大數據可以打造出信息化環境下的新型能力，實現企業跨越式發展。

第二，新形勢下，裝備制造企業面臨巨大的外部壓力。首先，客戶需求多樣化和緊迫性的要求，對于產品研制的周期要求越來越高；其次，產品體系復雜，對產品質量要求日益增高，全面質量控制越來越受重視；最后，隨著土地、勞動力等要素成本的快速上漲，以及資源環境約束的進一步增強，我國制造業傳統的低成本競爭優勢不斷減弱[6]。這些挑戰根據傳統方式很難解決，因此需要通過大數據來驅動創新，加快上市周期，提升產品質量，降低研制成本。

（二）可行性分析

技術可行性分析：在Hadoop、Spark、Storm等開源技術的影響下，大數據的技術壁壘越來越低，使得開展大數據業務的裝備制造企業無需擔憂技術實現問題，而是重點放到對需求的挖掘、分析和滿足上。

社會可行性分析：國務院先后出臺了《中國制造2025》、《國務院關于積極推進“互聯網+”行動的指導意見》，遼寧省政府非常重視大數據，先后出臺了《遼寧省促進大數據發展行動實施方案》等政策文件。遼寧省計劃通過3—5年的探索，培育一批大數據骨干企業，通過大數據提升工業能力，推動老東北工業基地轉型升級。

管理可行性分析：兩化程度較高的裝備制造企業采用大數據、物聯網、云計算等技術實現企業現有信息系統的集成化和智能物聯網化有著迫切的需求，希望形成產品全生命周期數據化管理和全局數據優化分析。企業的需求為這些核心技術的落地應用提供了良好的環境[7]。

三、平臺建設

大數據平臺的總體目標是搭建一個匯聚、存儲、管理企業海量數據的平臺，解決數據量暴增所帶來的存儲與計算問題，提供海量數據處理和分析能力，為產品全生命周期和企業生產經營各環節提供有價值的信息。

企業級大數據平臺基于Hadoop平臺，能提供海量數據的分布式存儲和處理。它通盤考慮各種類型的數據采集、分級存儲管理問題，以滿足不同數據需求[8]。

大平臺架構如圖1所示，包括采集層、數據層和能力層，具體介紹如下。

圖1 大數據平臺架構

（一）采集層

采集層負責多渠道、多層面、快速、準確的收集數據。通過ETL（抽取、轉換、清洗、裝載）過程，采集加工操作環境中各信息系統中的數據；利用網絡爬蟲Nutch、Crawler、scrapy從互聯網上收集數據；利用大數據框架下的Flume+Kofko技術實時收集海量日志；利用第三方數據采集技術獲取客戶、競爭對手等數據；利用數據接入技術實現多源異構海量監控數據的采集和融合。

（二）數據層

大數據平臺架構在數據層采用數據分級存儲的原則，可根據情況開放不同的數據開放接口滿足不同需求。

1.將來自于各企業信息系統的數據，通過ETL工具進行清洗、轉換，不做關聯操作，將設計資源、制造資源、工程數據等基礎數據加載到公共基礎數據庫,將事務數據、運營數據加載到ODS中。

2.利用網絡爬蟲、第三方數據采集、監控數據接入等技術將海量的流量話單數據、網頁內容數據、上網日志數據等數據加載入Hadoop做長久保存。Hadoop進行非結構化數據分析，產生的結果加載到企業數據倉庫中。

3.清洗、轉換后的ODS數據，按照某一主題（生產管理、項目管理）構造數據間的關聯映射關系，經過輕度匯總加載到主題分析庫中。主題分析庫經過深度匯總，生成綜合數據加載到企業數據倉庫中。

（三）能力層

在數據匯聚基礎上利用強大的挖掘技術、分析技術、高維可視化技術等對數據進行有效跨域整合，對上層應用提供各種跨域數據處理和分析能力。

四、結論

對裝備制造企業來說，大數據代表的不僅是一種先進的數據處理技術，而更多的是一種管理理念的變革。所以，工業大數據從量的積累到價值的突破，從讓決策層認識工業大數據到利用大數據技術重塑核心競爭力和加快制造業轉型升級，還需要很長的路[5]。不同的企業有不同的基礎和目標，裝備制造業應該根據自身情況選擇由不同應用場景驅動大數據開發，循序漸進，逐步建設，直到形成服務于產品全生命周期的實時的、整體聯動的IT解決方案。

[1]孟小峰，慈祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013，（1）.

[2]王元卓，靳小龍，程學旗.網絡大數據：技術與挑戰[J].計算機研究與發展，2013，（6）.

[3] 鄔賀銓.大數據時代的機遇與挑戰[J].求是，2013，（4）.

[4] 宮夏屹，等.大數據平臺技術綜述[J].系統仿真學報，2014，（3）.

[5]高嬰勱.工業大數據價值挖掘路徑[J].中國工業評論，2015，（3）.

[6]張翔，趙群.大數據時代中國制造業創新發展試述[J].中國制造，2015，（8）.

[7]張潔.大數據助力裝備制造業的智能化[J].電器工業，2016，（2）.

[8]陳娜，等.基于Hadoop的電信BSS大數據平臺建設研究[J].電信科學，2013，（3）.

F426.61

A

1673-291X（2017）35-0026-02

2017-09-23

遼寧省教育廳科學研究一般項目（W2015076），遼寧省教育科學“十三五”規劃項目（JG16DB061），遼寧省大學生創新創業訓練計劃項目（201613207000035）

侯洪鳳（1979-），女，山東萊州人，博士研究生，副教授，從事企業信息化建設，車間調度研究。

[責任編輯 張宇霞]