基于大數(shù)據(jù)的艦船裝備維修保障信息分析系統(tǒng)設(shè)計(jì)*

李　偉　金國(guó)慶

(海軍工程大學(xué)電子工程學(xué)院　武漢　430033)

?

基于大數(shù)據(jù)的艦船裝備維修保障信息分析系統(tǒng)設(shè)計(jì)*

李偉金國(guó)慶

(海軍工程大學(xué)電子工程學(xué)院武漢430033)

摘要針對(duì)艦船裝備維修保障信息采集、存儲(chǔ)、分析與應(yīng)用的需求,提出了基于大數(shù)據(jù)處理技術(shù)的艦船裝備維修保障信息分析系統(tǒng)的設(shè)計(jì)方案。方案中包括系統(tǒng)總體設(shè)計(jì)、系統(tǒng)結(jié)構(gòu)設(shè)計(jì)、系統(tǒng)功能設(shè)計(jì)和系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)四個(gè)方面。系統(tǒng)在底層使用Hadoop集群組件存儲(chǔ)、計(jì)算和分析海量數(shù)據(jù)信息,在高層通過(guò)接口直接透明的調(diào)用底層存儲(chǔ)與計(jì)算能力,從而實(shí)現(xiàn)系統(tǒng)對(duì)海量艦船裝備維修保障信息的基礎(chǔ)數(shù)據(jù)管理、數(shù)據(jù)統(tǒng)計(jì)查詢和數(shù)據(jù)分析處理的功能。

關(guān)鍵詞大數(shù)據(jù); 維修保障; 分析系統(tǒng); 設(shè)計(jì)

Design of Ship Equipment Maintenance Information Analysis System Based on Big Data

LI WeiJIN Guoqing

(Electronic Engineering College, Naval University of Engineering, Wuhan430033)

AbstractTo meet requirements of the information collection, storage, analysis and application of the ship equipment maintenance, the design of analysis system for ship equipment maintenance information based on big data is proposed. The scheme includes four aspects, including system design, system structure design, system function design and system database design. System uses Hadoop cluster component storage, calculation and analysis of massive amounts of data in the bottom. at the top by interfaces it directly calls the underlying storage and computing power. So functions of data management, data query, data analysis and processing for the massive ship equipment maintenance information can be realized.

Key Wordsbig data, maintenance information, analysis system, design

Class NumberU674.7

1引言

目前,航海運(yùn)輸業(yè)已成為支撐我國(guó)經(jīng)濟(jì)快速發(fā)展的主要運(yùn)輸產(chǎn)業(yè),在航海運(yùn)輸業(yè)高速發(fā)展的同時(shí)也產(chǎn)生了船舶遠(yuǎn)航維修保障困難,船塢修理廠維修費(fèi)用高昂,維修周期長(zhǎng)、效率低等問(wèn)題。據(jù)了解,各類船舶裝備維修統(tǒng)計(jì)信息結(jié)構(gòu)復(fù)雜、分布分散、共享困難,難以實(shí)現(xiàn)有效管理和綜合利用。因此,設(shè)計(jì)基于大數(shù)據(jù)的艦船裝備維修保障信息分析系統(tǒng),對(duì)各型艦船裝備維修信息進(jìn)行統(tǒng)一管理和集中分析,并利用這些裝備維修數(shù)據(jù)開展相應(yīng)業(yè)務(wù)的分析研究,如同型號(hào)裝備的故障變化規(guī)律、全壽命周期費(fèi)用分析等,可以為船舶使用單位和船塢修理廠制定科學(xué)的維修保障計(jì)劃、優(yōu)化維修保障資源配置提供技術(shù)支撐[1]。

2系統(tǒng)需求分析

1) 分析系統(tǒng)應(yīng)具備對(duì)海量艦船裝備維修保障信息的數(shù)據(jù)存儲(chǔ)與管理功能。

2) 分析系統(tǒng)應(yīng)具有良好的人機(jī)交互界面,界面簡(jiǎn)潔實(shí)用、功能齊全,方便各單位、部門查詢使用。

3) 分析系統(tǒng)應(yīng)具有強(qiáng)大的通信和信息處理能力,完成海量艦船裝備維修保障信息的匯總和管理工作。

4) 分析系統(tǒng)應(yīng)具有強(qiáng)大的統(tǒng)計(jì)查詢和輔助分析的功能。

3系統(tǒng)設(shè)計(jì)原則

1) 模塊化設(shè)計(jì)。分析系統(tǒng)包含多個(gè)子系統(tǒng),采用模塊化設(shè)計(jì),減少模塊間相關(guān)性影響,便于軟件功能的擴(kuò)展和升級(jí)。

2) 安全性設(shè)計(jì)。分析系統(tǒng)設(shè)置安全防護(hù)機(jī)制,對(duì)系統(tǒng)登陸訪問(wèn)采用多重權(quán)限控制機(jī)制。系統(tǒng)網(wǎng)絡(luò)安全防護(hù)級(jí)別達(dá)到國(guó)際GB17859——1999《計(jì)算機(jī)信息系統(tǒng)安全防護(hù)等級(jí)劃分準(zhǔn)則》第二級(jí)標(biāo)準(zhǔn)。

3) 可靠性設(shè)計(jì)。優(yōu)化系統(tǒng)硬件和軟件設(shè)計(jì),確保數(shù)據(jù)傳輸安全和系統(tǒng)運(yùn)行穩(wěn)定。

4) 實(shí)用性設(shè)計(jì)。依據(jù)不同部門的使用需求,制定系統(tǒng)業(yè)務(wù)功能,滿足各部門使用要求。

5) 可維護(hù)性設(shè)計(jì)。系統(tǒng)采用模塊化設(shè)計(jì),能夠通過(guò)分析系統(tǒng)自身維護(hù)軟件對(duì)數(shù)據(jù)進(jìn)行定期維護(hù)。

6) 操作界面設(shè)計(jì)。系統(tǒng)采用人性化人機(jī)交互界面設(shè)計(jì),界面功能區(qū)設(shè)計(jì)合理,操作簡(jiǎn)單。

4系統(tǒng)總體設(shè)計(jì)

1) 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)

分析系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)采用分層的設(shè)計(jì)思想,利用Hadoop大數(shù)據(jù)處理集群所提供的強(qiáng)大的數(shù)據(jù)存儲(chǔ)和并行計(jì)算能力,實(shí)現(xiàn)對(duì)艦船裝備維修保障信息的分析挖掘。在底層,使用Hadoop集群組件存儲(chǔ)、計(jì)算和分析海量數(shù)據(jù)信息;在高層,通過(guò)使用接口軟件,直接透明的調(diào)用底層存儲(chǔ)與計(jì)算能力[2]。分析系統(tǒng)的總體設(shè)計(jì)分為數(shù)據(jù)集成層、文件存儲(chǔ)層、數(shù)據(jù)存儲(chǔ)層、編程模型層、數(shù)據(jù)分析層、系統(tǒng)應(yīng)用層六個(gè)層,如圖1所示。

(1)數(shù)據(jù)集成層。數(shù)據(jù)集成層是系統(tǒng)需要處理的數(shù)據(jù)來(lái)源。數(shù)據(jù)集成層的作用是在外部數(shù)據(jù)源和文件存儲(chǔ)層或數(shù)據(jù)存儲(chǔ)層之間進(jìn)行適配,以實(shí)現(xiàn)雙向的數(shù)據(jù)高效導(dǎo)入導(dǎo)出。

(2)文件存儲(chǔ)層。文件存儲(chǔ)層利用分布式文件系統(tǒng)技術(shù),將底層數(shù)量眾多且分布在不同位置的應(yīng)用數(shù)據(jù)、數(shù)據(jù)庫(kù)數(shù)據(jù)、日志數(shù)據(jù)和其他數(shù)據(jù)源組織在一起,通過(guò)統(tǒng)一的接口向上層應(yīng)用提供對(duì)象級(jí)文件訪問(wèn)服務(wù)能力。文件存儲(chǔ)層向下與數(shù)據(jù)源和數(shù)據(jù)集成層連接訪問(wèn)具體的存儲(chǔ)資源,向上為編程模型層和數(shù)據(jù)存儲(chǔ)層提供文件訪問(wèn)服務(wù)。

(3)數(shù)據(jù)存儲(chǔ)層。數(shù)據(jù)存儲(chǔ)層的功能是提供分布式、可擴(kuò)展的大量數(shù)據(jù)表的存儲(chǔ)和管理能力,支持在大規(guī)模數(shù)據(jù)量的情況下完成快速的數(shù)據(jù)讀寫操作,并且可以通過(guò)簡(jiǎn)單的硬件擴(kuò)容實(shí)現(xiàn)存儲(chǔ)能力的線性增長(zhǎng)。

圖1　艦船裝備維修保障信息分析系統(tǒng)總體結(jié)構(gòu)

(4)編程模型層。編程模型層的作用是為大規(guī)模數(shù)據(jù)處理提供了一個(gè)抽象的并行計(jì)算編程模型,以及為此模型提供可實(shí)施的編程環(huán)境和運(yùn)行環(huán)境。

(5)數(shù)據(jù)分析層。數(shù)據(jù)分析層是大數(shù)據(jù)處理架構(gòu)的核心,通過(guò)建立各種數(shù)學(xué)模型挖掘數(shù)據(jù)中的潛在價(jià)值。

(6)系統(tǒng)應(yīng)用層。主要完成數(shù)據(jù)的統(tǒng)計(jì)查詢和分析展現(xiàn)的功能。

2) 系統(tǒng)數(shù)據(jù)處理流程

艦船裝備維修保障信息根據(jù)其數(shù)據(jù)類型和數(shù)據(jù)結(jié)構(gòu)的不同分別存儲(chǔ)于分析系統(tǒng)的分布式文件系統(tǒng)HDFS和非結(jié)構(gòu)化數(shù)據(jù)庫(kù)HBase中,分析系統(tǒng)的數(shù)據(jù)處理流程將根據(jù)不同存儲(chǔ)類型的數(shù)據(jù)分別進(jìn)行分析處理,如圖2所示。

圖2　艦船裝備維修保障信息分析系統(tǒng)數(shù)據(jù)處理流程

(1)對(duì)于存儲(chǔ)在HDFS中的文本數(shù)據(jù),根據(jù)用戶的不同業(yè)務(wù)查詢使用需求,選擇相對(duì)應(yīng)的基于MapReduce的數(shù)據(jù)挖掘模型(如可靠性分析模型、故障預(yù)警模型等),針對(duì)所選模型,使用Java語(yǔ)言開發(fā)MapReduce并行化運(yùn)行程序,通過(guò)參數(shù)配置,將計(jì)算任務(wù)分配給各個(gè)計(jì)算節(jié)點(diǎn)共同執(zhí)行計(jì)算任務(wù),最終輸出計(jì)算結(jié)果。

(2)對(duì)于存儲(chǔ)在HBase中的數(shù)據(jù)庫(kù)數(shù)據(jù),根據(jù)用戶的不同業(yè)務(wù)需求,選擇相對(duì)應(yīng)的基于HBase數(shù)據(jù)庫(kù)的數(shù)據(jù)挖掘模型,針對(duì)所選模型,使用HiveQL高級(jí)語(yǔ)言編寫運(yùn)行語(yǔ)句并提交給Hive數(shù)據(jù)挖掘工具,Hive將這些語(yǔ)句自動(dòng)轉(zhuǎn)化為MapReduce運(yùn)行程序,通過(guò)參數(shù)配置,將計(jì)算任務(wù)分配給各個(gè)計(jì)算節(jié)點(diǎn)共同執(zhí)行計(jì)算任務(wù),最終輸出計(jì)算結(jié)果。

5系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

艦船裝備維修保障信息分析系統(tǒng)按組成結(jié)構(gòu)分為:數(shù)據(jù)采集子系統(tǒng)、大數(shù)據(jù)存儲(chǔ)子系統(tǒng)、大數(shù)據(jù)分析子系統(tǒng)、數(shù)據(jù)展現(xiàn)子系統(tǒng)和安全管理子系統(tǒng),其系統(tǒng)組成框圖如圖3所示。

圖3　艦船裝備維修保障信息分析系統(tǒng)組成框圖

6系統(tǒng)功能設(shè)計(jì)

艦船裝備維修保障信息分析系統(tǒng)功能包括數(shù)據(jù)管理功能、數(shù)據(jù)統(tǒng)計(jì)查詢功能和數(shù)據(jù)分析處理功能,如圖4所示。

圖4　艦船裝備維修保障信息分析系統(tǒng)功能概覽

1) 數(shù)據(jù)管理功能

艦船裝備維修保障信息分析系統(tǒng)實(shí)現(xiàn)的數(shù)據(jù)管理功能包括基礎(chǔ)數(shù)據(jù)管理、裝備信息管理、使用記錄管理、故障維修管理、備品備件管理和維修工具管理。

2) 數(shù)據(jù)統(tǒng)計(jì)查詢功能

實(shí)現(xiàn)對(duì)系統(tǒng)中各類數(shù)據(jù)快捷統(tǒng)計(jì)的功能,包括裝備信息統(tǒng)計(jì)、保養(yǎng)統(tǒng)計(jì)、使用統(tǒng)計(jì)、故障統(tǒng)計(jì)、備件統(tǒng)計(jì)、工具統(tǒng)計(jì)。

3) 數(shù)據(jù)分析處理功能

實(shí)現(xiàn)對(duì)系統(tǒng)中的使用統(tǒng)計(jì)和故障統(tǒng)計(jì)結(jié)果進(jìn)行后臺(tái)數(shù)據(jù)分析。主要包括對(duì)裝備平均無(wú)故障時(shí)間、平均維修時(shí)間、備件消耗情況進(jìn)行分析,按照統(tǒng)計(jì)模型給出裝備的可靠性和維修性評(píng)價(jià)。

7系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)

1) 設(shè)計(jì)思路

為滿足對(duì)海量艦船裝備維修保障信息對(duì)數(shù)據(jù)庫(kù)高吞吐、高可靠、高性能的要求,本系統(tǒng)數(shù)據(jù)庫(kù)采用面向列存儲(chǔ)的分布式、非結(jié)構(gòu)化數(shù)據(jù)庫(kù)設(shè)計(jì),其優(yōu)點(diǎn)在于實(shí)現(xiàn)高并發(fā)讀寫操作、提高讀寫速度、節(jié)省存儲(chǔ)空間。該數(shù)據(jù)庫(kù)構(gòu)建于HDFS分布式文件系統(tǒng)之上,以列為單位進(jìn)行存儲(chǔ),每列相鄰兩行的存儲(chǔ)數(shù)據(jù)在物理上相鄰。

2) 數(shù)據(jù)庫(kù)組成

艦船裝備維修保障信息分析系統(tǒng)數(shù)據(jù)庫(kù)包括基礎(chǔ)數(shù)據(jù)庫(kù)、交換數(shù)據(jù)庫(kù)和業(yè)務(wù)數(shù)據(jù)庫(kù)。

(1)基礎(chǔ)數(shù)據(jù)庫(kù)

基礎(chǔ)數(shù)據(jù)庫(kù)是為實(shí)現(xiàn)系統(tǒng)縱向貫通、橫向互聯(lián)以及信息的共享交換而建立的標(biāo)準(zhǔn)化數(shù)據(jù)存儲(chǔ)區(qū),主要包括基礎(chǔ)代碼、基礎(chǔ)信息、數(shù)據(jù)字典三部分內(nèi)容。

(2)交換數(shù)據(jù)庫(kù)

交換數(shù)據(jù)庫(kù)主要存儲(chǔ)內(nèi)部交換數(shù)據(jù)和外部交換數(shù)據(jù)。內(nèi)部交換數(shù)據(jù)用于系統(tǒng)內(nèi)部各業(yè)務(wù)之間的信息交換,外部交換數(shù)據(jù)用于與艦船裝備維修保障信息采集系統(tǒng)和岸基數(shù)據(jù)管理分系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)交換。

(3)業(yè)務(wù)數(shù)據(jù)庫(kù)

業(yè)務(wù)數(shù)據(jù)庫(kù)用于實(shí)現(xiàn)對(duì)艦船裝備維修保障信息的存儲(chǔ)與管理,主要涉及的模塊為裝備管理模塊,其功能是管理裝備基本信息、使用信息、維修信息、保養(yǎng)信息、備品備件信息及工具信息,支持添加、刪除、修改和瀏覽功能。

8結(jié)語(yǔ)

建立基于大數(shù)據(jù)處理技術(shù)的艦船裝備維修保障信息分析系統(tǒng)是未來(lái)船舶維修領(lǐng)域發(fā)展的必然趨勢(shì)。艦船裝備維修保障信息分析系統(tǒng)的可靠運(yùn)行,能夠?qū)崿F(xiàn)對(duì)日益劇增的海量艦船裝備維修保障信息進(jìn)行有效管理和快速的查詢分析,從而為裝備維修部門制定科學(xué)的裝備維修計(jì)劃提供強(qiáng)大的數(shù)據(jù)支撐。

參 考 文 獻(xiàn)

[1] 張偉.基于維修信息的艦船電子裝備故障預(yù)測(cè)技術(shù)研究[D].武漢:海軍工程大學(xué),2011:21-22.

[2] 劉愛軍.艦船裝備維修信息系統(tǒng)研究[D].武漢:海軍工程大學(xué),2013:35-36.

[3] 潘婷.基于物聯(lián)網(wǎng)服務(wù)平臺(tái)的海量傳感信息Hadoop處理方法和系統(tǒng)設(shè)計(jì)[D].南京:南京郵電大學(xué),2013.

[4] 楊承山.數(shù)據(jù)挖掘技術(shù)在艦艇維修管理信息系統(tǒng)中的應(yīng)用研究[D].武漢:海軍工程大學(xué),2008.

[5] 王曉慶.基于云計(jì)算的南京財(cái)經(jīng)大學(xué)數(shù)據(jù)中心建設(shè)研究[D].南京:南京郵電大學(xué),2013.

[6] 李偉衛(wèi).基于Hadoop平臺(tái)的數(shù)據(jù)挖掘技術(shù)研究[D].西安:西北農(nóng)林科技大學(xué),2013.

[7] 張敏,周金輝.云計(jì)算在高校教育信息化建設(shè)中的應(yīng)用探究[J].中國(guó)教育技術(shù)裝備,2013,13:17-21.

[8] 王曉慶.基于云計(jì)算的南京財(cái)經(jīng)大學(xué)數(shù)據(jù)中心建設(shè)研究[D].南京:南京郵電大學(xué)專業(yè)學(xué)位碩士研究生學(xué)位論文,2013:35-37.

[9] 廖鋒,成靜靜.大數(shù)據(jù)環(huán)境下Hadoop分布式系統(tǒng)的研究與設(shè)計(jì)[J].通信熱點(diǎn),2013,10:42-43.

中圖分類號(hào)U674.7

DOI:10.3969/j.issn.1672-9730.2016.02.026

作者簡(jiǎn)介:李偉,男,碩士,工程師,研究方向:系統(tǒng)工程。金國(guó)慶,男,碩士,高級(jí)工程師,研究方向:計(jì)算機(jī)與系統(tǒng)工程。

*收稿日期:2015年8月6日,修回日期:2015年9月19日