微電子封裝設(shè)備遠(yuǎn)程運維平臺設(shè)計與實現(xiàn)

中國電子科技集團(tuán)公司第二研究所 韓棟梁 賀霄琛

微電子制造企業(yè)的設(shè)備運維檢修模式還是采用傳統(tǒng)的檢修人員現(xiàn)場運維，工作效率低且占用大量人工，設(shè)備出現(xiàn)故障會影響整個生產(chǎn)線運行。為提高現(xiàn)場設(shè)備的智能化運維水平，基于工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)建立設(shè)備遠(yuǎn)程運維平臺，實現(xiàn)了設(shè)備遠(yuǎn)程數(shù)據(jù)采集、可視化遠(yuǎn)程操作、智能化巡檢、遠(yuǎn)程故障處理指導(dǎo)等新型運維。應(yīng)用結(jié)果表明，該平臺的應(yīng)用使設(shè)備故障處理更加高效，通過完善故障診斷模型，可實現(xiàn)設(shè)備的故障自診斷和預(yù)測性維護(hù)。

微電子封裝設(shè)備遠(yuǎn)程運維預(yù)測性維護(hù)對于微電子制造生產(chǎn)線上的設(shè)備運行、維護(hù)及故障維修的執(zhí)行效率提升起到了關(guān)鍵的作用，傳統(tǒng)維護(hù)過程存在資源浪費、維護(hù)周期不確定等不足。隨著新型傳感技術(shù)、工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)在遠(yuǎn)程運維中的應(yīng)用，實現(xiàn)了設(shè)備參數(shù)遠(yuǎn)程采集和可視化遠(yuǎn)程操作，設(shè)備故障診斷和預(yù)測性維護(hù)能力得到快速提升。

數(shù)據(jù)資源日益成為企業(yè)的戰(zhàn)略資源，通過建立以數(shù)據(jù)為中心的大數(shù)據(jù)平臺，利用大數(shù)據(jù)平臺實時對海量數(shù)據(jù)進(jìn)行分析處理，使數(shù)據(jù)可視化，輔助企業(yè)決策，全面支撐企業(yè)生產(chǎn)設(shè)備的管理、運行、維護(hù)方面的活動[1]。

本文在以上分析研究的基礎(chǔ)上，依托新一代信息技術(shù)與智能化設(shè)備，構(gòu)建基于云平臺的遠(yuǎn)程運維系統(tǒng)。利用大數(shù)據(jù)技術(shù)對海量數(shù)據(jù)進(jìn)行分析處理，通過遠(yuǎn)程運維來實現(xiàn)設(shè)備巡檢與故障預(yù)測，將故障事后處理提前為事前預(yù)防，提高故障處理的時效性，通過實際應(yīng)用，效果明顯，具有很好的推廣前景。

1 系統(tǒng)總體架構(gòu)設(shè)計

遠(yuǎn)程運維平臺設(shè)計基于分布式并行的云計算架構(gòu)，通過并行計算框架和分布式文件系統(tǒng)獲取計算和存儲資源，快速有效地實現(xiàn)對海量數(shù)據(jù)的挖掘與分析。采用SOA架構(gòu)搭建統(tǒng)一的大數(shù)據(jù)存儲與計算、分析與服務(wù)技術(shù)架構(gòu)平臺，形成大數(shù)據(jù)深度分析挖掘能力。通過建設(shè)高可用、松耦合的系統(tǒng)應(yīng)用，進(jìn)而形成數(shù)據(jù)儲量豐富、應(yīng)用接口開放、業(yè)務(wù)流程靈活的信息系統(tǒng)體系[2]。

系統(tǒng)總體架構(gòu)包括基礎(chǔ)硬件層、大數(shù)據(jù)平臺層、應(yīng)用平臺層。其核心是設(shè)計符合業(yè)務(wù)管理需要的大數(shù)據(jù)中心。系統(tǒng)整體架構(gòu)如圖1所示。

圖1 系統(tǒng)整體架構(gòu)圖Fig.1 Overall system architecture

1.1 基礎(chǔ)硬件層

基礎(chǔ)硬件層主要包括：微電子封裝生產(chǎn)線的實體硬件設(shè)備，用于采集信息的各類傳感器，用于數(shù)據(jù)采集與發(fā)送的網(wǎng)關(guān)設(shè)備，用于部署各個應(yīng)用系統(tǒng)和存儲數(shù)據(jù)的服務(wù)器等。

1.2 大數(shù)據(jù)平臺層

大數(shù)據(jù)平臺層是大數(shù)據(jù)信息服務(wù)系統(tǒng)的核心支撐層，實現(xiàn)數(shù)據(jù)交換、存儲、整合計算以及數(shù)據(jù)服務(wù)等功能，Apache Hadoop針對大規(guī)模分布式數(shù)據(jù)應(yīng)用，解決大數(shù)據(jù)存儲、大規(guī)模數(shù)據(jù)計算、快速數(shù)據(jù)分析的基礎(chǔ)數(shù)據(jù)平臺。

其核心軟件有：分布式文件系統(tǒng)（HDFS）、并行計算框架（MapReduce）、分布式存儲系統(tǒng)（HBase）、數(shù)據(jù)倉庫工具（Hive）、數(shù)據(jù)計算引擎（Spark）、Web應(yīng)用服務(wù)器軟件（Apache Tomcat）、消息隊列軟件分布式消息（Kafka）[3]。

1.3 應(yīng)用平臺層

應(yīng)用平臺層完成大數(shù)據(jù)操作、數(shù)據(jù)流操作和任務(wù)調(diào)度等功能，是大數(shù)據(jù)信息服務(wù)系統(tǒng)的功能實現(xiàn)及UI表達(dá)層，基于B/S結(jié)構(gòu)的Java應(yīng)用技術(shù)開發(fā)，采用微服務(wù)架構(gòu)，具有靈活的可擴充接口。

2 大數(shù)據(jù)平臺層實現(xiàn)

建立邏輯合理且高質(zhì)量的數(shù)據(jù)資源體系，涵蓋原始數(shù)據(jù)、基礎(chǔ)庫資源、大數(shù)據(jù)分析資源等，從眾多數(shù)據(jù)源中獲取有效數(shù)據(jù)。

大數(shù)據(jù)平臺針對不同數(shù)據(jù)建立相應(yīng)的業(yè)務(wù)數(shù)據(jù)抽取、轉(zhuǎn)換清洗和加載模型，并根據(jù)業(yè)務(wù)數(shù)據(jù)建立數(shù)據(jù)模型，整理和抽取關(guān)鍵分析指標(biāo)，基于不同維度的分析結(jié)果，實現(xiàn)智能化分析決策。

2.1 數(shù)據(jù)平臺系統(tǒng)架構(gòu)

大數(shù)據(jù)平臺數(shù)據(jù)架構(gòu)包含采集層、整合層、匯總層和應(yīng)用層四層結(jié)構(gòu)，數(shù)據(jù)平臺架構(gòu)如圖2所示。

圖2 數(shù)據(jù)平臺架構(gòu)圖Fig.2 Data platform architecture

（1）采集層。采集層實時采集數(shù)據(jù)，并進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換。采用靈活的監(jiān)測技術(shù)手段，快速查找需要進(jìn)行采集的數(shù)據(jù)源；同時根據(jù)采集任務(wù)量，啟動多線程進(jìn)行數(shù)據(jù)源的快速采集。

（2）整合層。該層是數(shù)據(jù)中心的數(shù)據(jù)倉庫形成層。數(shù)據(jù)由各種設(shè)備數(shù)據(jù)采集并完成整合，根據(jù)業(yè)務(wù)類型，進(jìn)行相關(guān)數(shù)據(jù)的統(tǒng)一歸類和存儲，形成業(yè)務(wù)數(shù)據(jù)整合。

（3）匯總層。匯總層根據(jù)業(yè)務(wù)需要形成相應(yīng)的業(yè)務(wù)基礎(chǔ)表、明細(xì)表和靜態(tài)表；緊密圍繞上層業(yè)務(wù)應(yīng)用場景構(gòu)建數(shù)據(jù)模型，為數(shù)據(jù)服務(wù)能力的封裝、形成與輸出奠定好基礎(chǔ)。

（4）應(yīng)用層。應(yīng)用層是由業(yè)務(wù)模板需求結(jié)合數(shù)據(jù)統(tǒng)計需求進(jìn)行適度整合而成，支撐最終的數(shù)據(jù)服務(wù)能力，通過數(shù)據(jù)服務(wù)接口與應(yīng)用系統(tǒng)進(jìn)行信息交互，完成數(shù)據(jù)輸出，供上層應(yīng)用查詢、分析計算用。

2.2 數(shù)據(jù)平臺技術(shù)架構(gòu)

根據(jù)本平臺能力定位和業(yè)務(wù)需求，采用Hadoop分布式文件存儲/處理系統(tǒng)、Hive數(shù)據(jù)倉庫工具、Spark Streaming流式處理系統(tǒng)、Kafka分布式消息系統(tǒng)、Flume日志收集系統(tǒng)、Redis內(nèi)存數(shù)據(jù)庫等作為平臺數(shù)據(jù)服務(wù)支撐架構(gòu)。

（1）Hadoop分布式文件系統(tǒng)：采用集群方式來整合多個獨立的物理存儲資源，采用多副本方式保證數(shù)據(jù)高可用性；系統(tǒng)結(jié)構(gòu)及數(shù)據(jù)分布策略保證系統(tǒng)的高性能、可擴展性。

（2）Kafka分布式消息系統(tǒng)：其特點是可水平擴展、高吞吐量和高效的數(shù)據(jù)傳輸機制；多副本機制解決單點故障問題和容錯；數(shù)據(jù)采集的高吞吐量，防止采集數(shù)據(jù)積壓與丟失。

（3）Spark Streaming流式數(shù)據(jù)處理架構(gòu)：通過批處理作業(yè)對數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、清洗，根據(jù)業(yè)務(wù)類型進(jìn)行數(shù)據(jù)統(tǒng)一歸類、存儲。

（4）Redis高速緩存數(shù)據(jù)庫架構(gòu)：Redis是基于內(nèi)存的存儲系統(tǒng)，支持內(nèi)存數(shù)據(jù)持久化，將所有數(shù)據(jù)快速加載到內(nèi)存中。

（5）大數(shù)據(jù)查詢引擎：Hive將結(jié)構(gòu)化數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，可以將SQL語句轉(zhuǎn)換為 Map-Reduce任務(wù)運行，完成數(shù)據(jù)倉庫的統(tǒng)計分析。

2.3 數(shù)據(jù)平臺功能模塊

數(shù)據(jù)平臺對數(shù)據(jù)進(jìn)行集中抽取、清洗、加工及整理至數(shù)據(jù)倉庫，根據(jù)業(yè)務(wù)需求建立數(shù)據(jù)集市。平臺由數(shù)據(jù)采集模塊、存儲計算模塊及訪問支撐模塊組成。

數(shù)據(jù)采集模塊提供多數(shù)據(jù)源提取、多通道傳輸、多種方式聚合的數(shù)據(jù)采集工具及接口，包括Flume集群日志采集、Sqoop關(guān)系數(shù)據(jù)庫數(shù)據(jù)批量提取、HDFS文件上傳下載FTP客戶端。

存儲計算模塊實現(xiàn)海量數(shù)據(jù)存儲、批處理計算、實時計算、實時查詢及集群運行監(jiān)控等功能，包括YARN分布式資源管理系統(tǒng)、分布式文件系統(tǒng)HDFS、Spark/MR批處理、Spark Streaming實時計算、Hbase實時查詢。

訪問支撐模塊提供大數(shù)據(jù)平臺層接口及內(nèi)存數(shù)據(jù)庫，包括封裝了SparkSq1、Hive的SQL查詢接口，封裝了MR、Spark開發(fā)函數(shù)庫API編程接口。

3 應(yīng)用平臺層實現(xiàn)

3.1 應(yīng)用平臺技術(shù)選型

平臺設(shè)計采用微服務(wù)架構(gòu)（Microservices）。是采用一組服務(wù)的方式來構(gòu)建一個應(yīng)用，服務(wù)獨立部署在不同的進(jìn)程中，不同服務(wù)通過一些輕量級交互機制來通信，服務(wù)可獨立擴展伸縮，每個服務(wù)定義明確的邊界，不同服務(wù)甚至可以采用不同的編程語言來實現(xiàn)和維護(hù)[4]。

平臺開發(fā)環(huán)境為Java JDK 1.8，主框架選用Spring Boot，分布式套件主框架為Spring Clouds，持久層選用Apache MyBatis，前端CSS框架為Bootstrap，緩存存儲框架選用Redis。

3.2 應(yīng)用平臺功能模塊

實現(xiàn)數(shù)據(jù)的可視化展示及設(shè)備全生命周期的信息化管控。大數(shù)據(jù)平臺對外提供訪問接口調(diào)用來實現(xiàn)信息交換。接口采用封裝的WebService接口方式。系統(tǒng)主要功能如下：

（1）設(shè)備管理：設(shè)備信息管理、關(guān)鍵部件管理、配件管理及供應(yīng)商信息等。對所有信息進(jìn)行增、刪、改、查，動態(tài)配置基礎(chǔ)信息。

（2）設(shè)備監(jiān)控：設(shè)備狀態(tài)監(jiān)控、生產(chǎn)數(shù)據(jù)監(jiān)控、關(guān)鍵部件監(jiān)控以及故障報警等。監(jiān)控設(shè)備運行狀態(tài)，如開/關(guān)機、運行/待機、故障報警、手動/自動等。

（3）分析報表： 從不同維度和時段形成報表數(shù)據(jù)，報表數(shù)據(jù)包括生產(chǎn)數(shù)據(jù)、故障數(shù)據(jù)、質(zhì)量數(shù)據(jù)等。展示設(shè)備關(guān)鍵性能指標(biāo)，形成量化分析指標(biāo)。

（4）可視化展示：將數(shù)據(jù)應(yīng)用平臺中的各種報表、分析、圖形等信息組合起來，形象、直觀、具體的展示各種指標(biāo)數(shù)據(jù)，形成面向業(yè)務(wù)和用戶的展示界面。

4 結(jié)語

通過建設(shè)微電子封裝設(shè)備遠(yuǎn)程運維平臺，在數(shù)據(jù)采集、清洗、存儲的基礎(chǔ)上，利用大數(shù)據(jù)技術(shù)，對數(shù)據(jù)進(jìn)行效能分析，實現(xiàn)了設(shè)備故障診斷及預(yù)測維護(hù)，提高了企業(yè)的運營效率、降低了運營成本，促進(jìn)業(yè)務(wù)和資源整合，全面提高企業(yè)核心競爭力。