基于大數據的艦船裝備維修保障信息分析系統設計*

李　偉　金國慶

(海軍工程大學電子工程學院　武漢　430033)

?

基于大數據的艦船裝備維修保障信息分析系統設計*

李偉金國慶

(海軍工程大學電子工程學院武漢430033)

摘要針對艦船裝備維修保障信息采集、存儲、分析與應用的需求,提出了基于大數據處理技術的艦船裝備維修保障信息分析系統的設計方案。方案中包括系統總體設計、系統結構設計、系統功能設計和系統數據庫設計四個方面。系統在底層使用Hadoop集群組件存儲、計算和分析海量數據信息,在高層通過接口直接透明的調用底層存儲與計算能力,從而實現系統對海量艦船裝備維修保障信息的基礎數據管理、數據統計查詢和數據分析處理的功能。

關鍵詞大數據; 維修保障; 分析系統; 設計

Design of Ship Equipment Maintenance Information Analysis System Based on Big Data

LI WeiJIN Guoqing

(Electronic Engineering College, Naval University of Engineering, Wuhan430033)

AbstractTo meet requirements of the information collection, storage, analysis and application of the ship equipment maintenance, the design of analysis system for ship equipment maintenance information based on big data is proposed. The scheme includes four aspects, including system design, system structure design, system function design and system database design. System uses Hadoop cluster component storage, calculation and analysis of massive amounts of data in the bottom. at the top by interfaces it directly calls the underlying storage and computing power. So functions of data management, data query, data analysis and processing for the massive ship equipment maintenance information can be realized.

Key Wordsbig data, maintenance information, analysis system, design

Class NumberU674.7

1引言

目前,航海運輸業已成為支撐我國經濟快速發展的主要運輸產業,在航海運輸業高速發展的同時也產生了船舶遠航維修保障困難,船塢修理廠維修費用高昂,維修周期長、效率低等問題。據了解,各類船舶裝備維修統計信息結構復雜、分布分散、共享困難,難以實現有效管理和綜合利用。因此,設計基于大數據的艦船裝備維修保障信息分析系統,對各型艦船裝備維修信息進行統一管理和集中分析,并利用這些裝備維修數據開展相應業務的分析研究,如同型號裝備的故障變化規律、全壽命周期費用分析等,可以為船舶使用單位和船塢修理廠制定科學的維修保障計劃、優化維修保障資源配置提供技術支撐[1]。

2系統需求分析

1) 分析系統應具備對海量艦船裝備維修保障信息的數據存儲與管理功能。

2) 分析系統應具有良好的人機交互界面,界面簡潔實用、功能齊全,方便各單位、部門查詢使用。

3) 分析系統應具有強大的通信和信息處理能力,完成海量艦船裝備維修保障信息的匯總和管理工作。

4) 分析系統應具有強大的統計查詢和輔助分析的功能。

3系統設計原則

1) 模塊化設計。分析系統包含多個子系統,采用模塊化設計,減少模塊間相關性影響,便于軟件功能的擴展和升級。

2) 安全性設計。分析系統設置安全防護機制,對系統登陸訪問采用多重權限控制機制。系統網絡安全防護級別達到國際GB17859——1999《計算機信息系統安全防護等級劃分準則》第二級標準。

3) 可靠性設計。優化系統硬件和軟件設計,確保數據傳輸安全和系統運行穩定。

4) 實用性設計。依據不同部門的使用需求,制定系統業務功能,滿足各部門使用要求。

5) 可維護性設計。系統采用模塊化設計,能夠通過分析系統自身維護軟件對數據進行定期維護。

6) 操作界面設計。系統采用人性化人機交互界面設計,界面功能區設計合理,操作簡單。

4系統總體設計

1) 系統總體結構設計

分析系統總體結構設計采用分層的設計思想,利用Hadoop大數據處理集群所提供的強大的數據存儲和并行計算能力,實現對艦船裝備維修保障信息的分析挖掘。在底層,使用Hadoop集群組件存儲、計算和分析海量數據信息;在高層,通過使用接口軟件,直接透明的調用底層存儲與計算能力[2]。分析系統的總體設計分為數據集成層、文件存儲層、數據存儲層、編程模型層、數據分析層、系統應用層六個層,如圖1所示。

(1)數據集成層。數據集成層是系統需要處理的數據來源。數據集成層的作用是在外部數據源和文件存儲層或數據存儲層之間進行適配,以實現雙向的數據高效導入導出。

(2)文件存儲層。文件存儲層利用分布式文件系統技術,將底層數量眾多且分布在不同位置的應用數據、數據庫數據、日志數據和其他數據源組織在一起,通過統一的接口向上層應用提供對象級文件訪問服務能力。文件存儲層向下與數據源和數據集成層連接訪問具體的存儲資源,向上為編程模型層和數據存儲層提供文件訪問服務。

(3)數據存儲層。數據存儲層的功能是提供分布式、可擴展的大量數據表的存儲和管理能力,支持在大規模數據量的情況下完成快速的數據讀寫操作,并且可以通過簡單的硬件擴容實現存儲能力的線性增長。

圖1　艦船裝備維修保障信息分析系統總體結構

(4)編程模型層。編程模型層的作用是為大規模數據處理提供了一個抽象的并行計算編程模型,以及為此模型提供可實施的編程環境和運行環境。

(5)數據分析層。數據分析層是大數據處理架構的核心,通過建立各種數學模型挖掘數據中的潛在價值。

(6)系統應用層。主要完成數據的統計查詢和分析展現的功能。

2) 系統數據處理流程

艦船裝備維修保障信息根據其數據類型和數據結構的不同分別存儲于分析系統的分布式文件系統HDFS和非結構化數據庫HBase中,分析系統的數據處理流程將根據不同存儲類型的數據分別進行分析處理,如圖2所示。

圖2　艦船裝備維修保障信息分析系統數據處理流程

(1)對于存儲在HDFS中的文本數據,根據用戶的不同業務查詢使用需求,選擇相對應的基于MapReduce的數據挖掘模型(如可靠性分析模型、故障預警模型等),針對所選模型,使用Java語言開發MapReduce并行化運行程序,通過參數配置,將計算任務分配給各個計算節點共同執行計算任務,最終輸出計算結果。

(2)對于存儲在HBase中的數據庫數據,根據用戶的不同業務需求,選擇相對應的基于HBase數據庫的數據挖掘模型,針對所選模型,使用HiveQL高級語言編寫運行語句并提交給Hive數據挖掘工具,Hive將這些語句自動轉化為MapReduce運行程序,通過參數配置,將計算任務分配給各個計算節點共同執行計算任務,最終輸出計算結果。

5系統結構設計

艦船裝備維修保障信息分析系統按組成結構分為:數據采集子系統、大數據存儲子系統、大數據分析子系統、數據展現子系統和安全管理子系統,其系統組成框圖如圖3所示。

圖3　艦船裝備維修保障信息分析系統組成框圖

6系統功能設計

艦船裝備維修保障信息分析系統功能包括數據管理功能、數據統計查詢功能和數據分析處理功能,如圖4所示。

圖4　艦船裝備維修保障信息分析系統功能概覽

1) 數據管理功能

艦船裝備維修保障信息分析系統實現的數據管理功能包括基礎數據管理、裝備信息管理、使用記錄管理、故障維修管理、備品備件管理和維修工具管理。

2) 數據統計查詢功能

實現對系統中各類數據快捷統計的功能,包括裝備信息統計、保養統計、使用統計、故障統計、備件統計、工具統計。

3) 數據分析處理功能

實現對系統中的使用統計和故障統計結果進行后臺數據分析。主要包括對裝備平均無故障時間、平均維修時間、備件消耗情況進行分析,按照統計模型給出裝備的可靠性和維修性評價。

7系統數據庫設計

1) 設計思路

為滿足對海量艦船裝備維修保障信息對數據庫高吞吐、高可靠、高性能的要求,本系統數據庫采用面向列存儲的分布式、非結構化數據庫設計,其優點在于實現高并發讀寫操作、提高讀寫速度、節省存儲空間。該數據庫構建于HDFS分布式文件系統之上,以列為單位進行存儲,每列相鄰兩行的存儲數據在物理上相鄰。

2) 數據庫組成

艦船裝備維修保障信息分析系統數據庫包括基礎數據庫、交換數據庫和業務數據庫。

(1)基礎數據庫

基礎數據庫是為實現系統縱向貫通、橫向互聯以及信息的共享交換而建立的標準化數據存儲區,主要包括基礎代碼、基礎信息、數據字典三部分內容。

(2)交換數據庫

交換數據庫主要存儲內部交換數據和外部交換數據。內部交換數據用于系統內部各業務之間的信息交換,外部交換數據用于與艦船裝備維修保障信息采集系統和岸基數據管理分系統實現數據交換。

(3)業務數據庫

業務數據庫用于實現對艦船裝備維修保障信息的存儲與管理,主要涉及的模塊為裝備管理模塊,其功能是管理裝備基本信息、使用信息、維修信息、保養信息、備品備件信息及工具信息,支持添加、刪除、修改和瀏覽功能。

8結語

建立基于大數據處理技術的艦船裝備維修保障信息分析系統是未來船舶維修領域發展的必然趨勢。艦船裝備維修保障信息分析系統的可靠運行,能夠實現對日益劇增的海量艦船裝備維修保障信息進行有效管理和快速的查詢分析,從而為裝備維修部門制定科學的裝備維修計劃提供強大的數據支撐。

參 考 文 獻

[1] 張偉.基于維修信息的艦船電子裝備故障預測技術研究[D].武漢:海軍工程大學,2011:21-22.

[2] 劉愛軍.艦船裝備維修信息系統研究[D].武漢:海軍工程大學,2013:35-36.

[3] 潘婷.基于物聯網服務平臺的海量傳感信息Hadoop處理方法和系統設計[D].南京:南京郵電大學,2013.

[4] 楊承山.數據挖掘技術在艦艇維修管理信息系統中的應用研究[D].武漢:海軍工程大學,2008.

[5] 王曉慶.基于云計算的南京財經大學數據中心建設研究[D].南京:南京郵電大學,2013.

[6] 李偉衛.基于Hadoop平臺的數據挖掘技術研究[D].西安:西北農林科技大學,2013.

[7] 張敏,周金輝.云計算在高校教育信息化建設中的應用探究[J].中國教育技術裝備,2013,13:17-21.

[8] 王曉慶.基于云計算的南京財經大學數據中心建設研究[D].南京:南京郵電大學專業學位碩士研究生學位論文,2013:35-37.

[9] 廖鋒,成靜靜.大數據環境下Hadoop分布式系統的研究與設計[J].通信熱點,2013,10:42-43.

中圖分類號U674.7

DOI:10.3969/j.issn.1672-9730.2016.02.026

作者簡介:李偉,男,碩士,工程師,研究方向:系統工程。金國慶,男,碩士,高級工程師,研究方向:計算機與系統工程。

*收稿日期:2015年8月6日,修回日期:2015年9月19日