基于云計(jì)算的艦船航行數(shù)據(jù)存儲與備份系統(tǒng)設(shè)計(jì)

賈麗娜

(武漢船舶職業(yè)技術(shù)學(xué)院, 湖北 武漢 430050)

0 引 言

隨著互聯(lián)網(wǎng)與計(jì)算機(jī)技術(shù)的發(fā)展，船舶的智能化技術(shù)、自動化技術(shù)不斷發(fā)展，智能化船舶不僅僅是指硬件設(shè)備的自動化、智能化，也是船舶航行數(shù)據(jù)的自動化、智能化。云計(jì)算技術(shù)是基于計(jì)算機(jī)與互聯(lián)網(wǎng)發(fā)展而來的一項(xiàng)新技術(shù)，在促進(jìn)船舶智能化方面有巨大的作用，主要包括：

1）船舶數(shù)據(jù)管理。云計(jì)算技術(shù)可以提供強(qiáng)大的數(shù)據(jù)存儲和管理能力，將船舶各種數(shù)據(jù)（如航行數(shù)據(jù)、機(jī)電設(shè)備數(shù)據(jù)、貨物信息等）集中存儲在云端，實(shí)現(xiàn)數(shù)據(jù)共享和統(tǒng)一管理，提高數(shù)據(jù)的安全性和可靠性。

2）船舶運(yùn)營管理。云計(jì)算技術(shù)可以提供實(shí)時(shí)的船舶運(yùn)營管理服務(wù)，包括船舶位置監(jiān)控、航線規(guī)劃、貨物跟蹤等，幫助船舶企業(yè)實(shí)現(xiàn)更高效的船舶運(yùn)營管理。

3）船舶維修保養(yǎng)。云計(jì)算技術(shù)可以提供更加智能化的船舶維修保養(yǎng)服務(wù)，包括設(shè)備故障預(yù)測、維修計(jì)劃制定、維修記錄管理等，幫助船舶企業(yè)降低維修成本，提高設(shè)備可靠性和安全性。

4）船舶智能化控制。云計(jì)算技術(shù)可以實(shí)現(xiàn)船舶智能化控制，包括船舶自動駕駛、智能航行控制、智能貨物管理等，提高船舶的自動化程度和智能化水平。

5）船舶安全管理。云計(jì)算技術(shù)可以提供更加全面的船舶安全管理服務(wù)，包括船舶安全監(jiān)測、安全風(fēng)險(xiǎn)評估、安全預(yù)警等，幫助船舶企業(yè)提高安全管理水平，降低安全風(fēng)險(xiǎn)。

本文針對云計(jì)算在艦船航行數(shù)據(jù)存儲與備份系統(tǒng)的應(yīng)用進(jìn)行研究，介紹了典型的Hadoop 云計(jì)算技術(shù)，搭建了數(shù)據(jù)存儲與備份系統(tǒng)的基本框架，并詳細(xì)介紹系統(tǒng)的關(guān)鍵構(gòu)成。

1 Hadoop 云計(jì)算技術(shù)的研究與發(fā)展現(xiàn)狀

Hadoop 是一項(xiàng)Apache 牽頭開發(fā)的分布式計(jì)算框架，它的設(shè)計(jì)定位是一種連接大中型集群硬件設(shè)備與用戶的平臺，一方面為應(yīng)用程序提供穩(wěn)定可靠的接口，另一方面可以充分調(diào)用線下的大規(guī)模運(yùn)算器和處理器資源[1]。

Hadoop 主要由HDFS 分布式文件系統(tǒng)和MapReduce 分布式計(jì)算模型兩部分組成，HDFS 是一種分布式文件系統(tǒng)，可以在集群中存儲大規(guī)模數(shù)據(jù)，并通過多個(gè)節(jié)點(diǎn)實(shí)現(xiàn)可靠性和容錯(cuò)性。而MapReduce 是一種分布式計(jì)算模型，可以對存儲在HDFS 上的數(shù)據(jù)進(jìn)行分布式處理和分析。這些組件共同構(gòu)成了Hadoop 生態(tài)系統(tǒng)的核心，使得處理大規(guī)模數(shù)據(jù)變得更加高效和可靠。Hadoop 的基本原理架構(gòu)如圖1 所示。

圖1 Hadoop 的基本原理架構(gòu)圖Fig. 1 Basic architecture diagram of Hadoop

Hadoop 的關(guān)鍵特性包括：

1）虛擬化

Hadoop 的虛擬化特征是實(shí)現(xiàn)計(jì)算資源可拆分與分配功能的基礎(chǔ)，基于互聯(lián)網(wǎng)技術(shù)，Hadoop 可以充分調(diào)用多核CPU 的計(jì)算資源，滿足用戶的計(jì)算需求。Hadoop 的虛擬化并不是計(jì)算資源的虛擬化，而是指接入計(jì)算資源的接口虛擬化，Hadoop 為每個(gè)用戶分配了不同的ID，每個(gè)ID 背后都能調(diào)用線下的服務(wù)器集群，實(shí)現(xiàn)計(jì)算資源利用的最大化。

2）伸縮性

Hadoop 云計(jì)算平臺具有良好的伸縮性，可以根據(jù)用戶訪問的數(shù)量，合理配置IT 資源。Hadoop 伸縮性也體現(xiàn)在HDFS 和MapReduce 模塊的可擴(kuò)展性：① HDFS 可以存儲PB 級別的數(shù)據(jù)，而且可以輕松地?cái)U(kuò)展存儲容量，只需要新增節(jié)點(diǎn)即可[2]。② Hadoop 的MapReduce 框架可以輕松地?cái)U(kuò)展計(jì)算能力，只需要新增計(jì)算資源節(jié)點(diǎn)即可。

3）多用戶服務(wù)

Hadoop 云平臺的核心是為用戶提供服務(wù)，包括各類用戶界面和可編程訪問的接口，同時(shí)，Hadoop 平臺需要考慮多用戶并行技術(shù)，既要保持用戶數(shù)據(jù)之間的相對獨(dú)立性，又要能夠充分調(diào)度用戶資源，解決共性的問題。

2 艦船航行數(shù)據(jù)存儲與備份系統(tǒng)設(shè)計(jì)

2.1 船舶航行數(shù)據(jù)存儲和備份系統(tǒng)的基本框架設(shè)計(jì)

針對海上船舶的航行數(shù)據(jù)存儲和備份問題，本文基于Hadoop 云平臺技術(shù)，建立了艦船航行數(shù)據(jù)存儲和備份系統(tǒng)，系統(tǒng)的功能框圖如圖2 所示

圖2 艦船航行數(shù)據(jù)存儲和備份系統(tǒng)功能框圖Fig. 2 Functional block diagram of ship navigation data storage and backup system

艦船航行數(shù)據(jù)存儲和備份系統(tǒng)的關(guān)鍵特性包括：

1.B/S 架構(gòu)

艦船航行數(shù)據(jù)存儲和備份系統(tǒng)在調(diào)用Hadoop 云計(jì)算資源時(shí)，采用基本架構(gòu)為B/S 架構(gòu)，由于船舶數(shù)據(jù)存儲和備份系統(tǒng)是一種可視化平臺，需要進(jìn)行數(shù)據(jù)、應(yīng)用的快速迭代，采用C/S 架構(gòu)已經(jīng)無法滿足[3]，因此，本文選用B/S 架構(gòu)搭建系統(tǒng)平臺。

B/S 架構(gòu)的優(yōu)勢在于：

① 基于瀏覽器的工作模式，用戶通過瀏覽器向服務(wù)器發(fā)送請求，只要攜帶瀏覽器的設(shè)備就能實(shí)現(xiàn)系統(tǒng)的訪問，非常方便。

② 高效性。B/S 架構(gòu)可以通過服務(wù)器端的負(fù)載均衡和分布式處理，實(shí)現(xiàn)高效的數(shù)據(jù)處理和資源利用，提高系統(tǒng)的響應(yīng)速度和吞吐量。

③ 安全性：B/S 架構(gòu)將應(yīng)用程序的核心邏輯和數(shù)據(jù)都放在服務(wù)器端，客戶端只是通過瀏覽器等工具與服務(wù)器進(jìn)行交互，可以有效避免客戶端的非法操作和攻擊，提高系統(tǒng)的安全性。

④ 可維護(hù)性：B/S 架構(gòu)將應(yīng)用程序的核心邏輯和數(shù)據(jù)都放在服務(wù)器端，客戶端只是通過瀏覽器等工具與服務(wù)器進(jìn)行交互，可以方便地對服務(wù)器端進(jìn)行維護(hù)和升級，不需要對客戶端進(jìn)行大規(guī)模的更新和維護(hù)，降低了維護(hù)成本和難度。

B/S 架構(gòu)的工作流程圖如圖3 所示。

圖3 B/s 架構(gòu)的工作流程圖Fig. 3 Flowchart of the B/s architecture

2）通信衛(wèi)星的選取

艦船航行數(shù)據(jù)存儲和備份系統(tǒng)采用B/S 架構(gòu)，因此對數(shù)據(jù)鏈路的傳輸穩(wěn)定性有較高的要求，本文采用海事衛(wèi)星 (INMARSAT)通信系統(tǒng)進(jìn)行數(shù)據(jù)傳輸， Inmarsat 第五代衛(wèi)星系統(tǒng)能夠?qū)崿F(xiàn)全球范圍內(nèi)的高速移動寬帶業(yè)務(wù)，滿足系統(tǒng)的通信需求。

2.2 艦船數(shù)據(jù)存儲與備份系統(tǒng)的云服務(wù)器設(shè)計(jì)

由于艦船航行數(shù)據(jù)量大且源源不斷的產(chǎn)生，因此在設(shè)計(jì)云服務(wù)器時(shí)，遵循下述原則：

1）軟件即服務(wù)SaaS

船舶數(shù)據(jù)系統(tǒng)基于云平臺開發(fā)時(shí)，是將數(shù)據(jù)存儲和備份應(yīng)用程序作為服務(wù)提供給客戶，而不是將軟件安裝在船舶客戶本地的計(jì)算機(jī)上。SaaS 模式下，船舶終端用戶可以通過通信網(wǎng)絡(luò)隨時(shí)訪問軟件應(yīng)用程序，而不是下載和安裝軟件。SaaS 模式的優(yōu)點(diǎn)包括靈活性、可擴(kuò)展性、易于使用、低成本和無需維護(hù)等。

2）平臺即服務(wù)PaaS

船舶數(shù)據(jù)存儲和備份系統(tǒng)服務(wù)器開發(fā)時(shí)，遵循平臺即服務(wù)（PaaS）的原則，云計(jì)算為用戶提供一個(gè)完整的應(yīng)用程序開發(fā)和部署平臺，比如操作系統(tǒng)、數(shù)據(jù)庫、Web 服務(wù)器、開發(fā)工具和應(yīng)用程序框架等，使得船舶用戶可以專注于應(yīng)用程序的開發(fā)，而無需關(guān)注底層的基礎(chǔ)設(shè)施和管理工作，基于PaaS 原則，船舶數(shù)據(jù)庫系統(tǒng)可以更快的構(gòu)建、部署和擴(kuò)展，也能降低程序開發(fā)的成本。

3）設(shè)施即服務(wù)IaaS[4]

運(yùn)用IaaS 原則建立船舶數(shù)據(jù)存儲與備份系統(tǒng)，通過IaaS 獲取云服務(wù)器的硬件資源，比如阿里云資源，不僅能夠降低云服務(wù)器和平臺的開發(fā)難度，還能大幅度降低系統(tǒng)云服務(wù)器的開發(fā)成本。

基于云計(jì)算的艦船數(shù)據(jù)存儲與備份系統(tǒng)的云服務(wù)器功能框架如圖4 所示。

圖4 艦船數(shù)據(jù)存儲與備份系統(tǒng)的云服務(wù)器功能框架Fig.4Cloud server functional framework of ship data storage and backup system

2.3 船舶航行數(shù)據(jù)存儲和備份系統(tǒng)的數(shù)據(jù)庫開發(fā)

數(shù)據(jù)庫是船舶數(shù)據(jù)存儲與備份系統(tǒng)的核心，結(jié)合云計(jì)算技術(shù)，系統(tǒng)并不在本地設(shè)備上開發(fā)數(shù)據(jù)庫，而是采用云端數(shù)據(jù)庫SQL Azure 技術(shù)。

SQL Azure 云端數(shù)據(jù)庫引擎是基于網(wǎng)絡(luò)的關(guān)系型數(shù)據(jù)庫引擎，也是基于SQL Server 數(shù)據(jù)庫技術(shù)開發(fā)而來的一種數(shù)據(jù)庫技術(shù)，具有并行性、可擴(kuò)展性、實(shí)用性高等優(yōu)點(diǎn)。

SQL Azure 數(shù)據(jù)庫引擎的功能圖如圖5 所示

圖5 SQL Azure 數(shù)據(jù)庫引擎的功能圖Fig. 5 Function diagram of SQL Azure database engine

可知，SQL Azure 數(shù)據(jù)庫引擎主要有3 種層次架構(gòu)：

1）服務(wù)層

服務(wù)層是SQL Azure 數(shù)據(jù)庫引擎的前端服務(wù)接口，負(fù)責(zé)接收來自不同用戶、不同場景的數(shù)據(jù)請求，包括SSL、TDS 、連接與指令、Http 等，服務(wù)提供層將數(shù)據(jù)通過gateway 分發(fā)到不同用戶IP[5]。

2）平臺層

平臺層是SQL Azure 數(shù)據(jù)庫的虛擬機(jī)所在位置，每個(gè)虛擬機(jī)負(fù)責(zé)管理指定用戶數(shù)量的數(shù)據(jù)庫，并具有服務(wù)請求管理的權(quán)限。

3）基礎(chǔ)層

基礎(chǔ)層是SQL Azure 數(shù)據(jù)庫引擎的計(jì)算單元和網(wǎng)絡(luò)基礎(chǔ)，在訪問SQL Azure 數(shù)據(jù)庫引擎時(shí)，需要對每一個(gè)Windows Azure 賬戶進(jìn)行ID 驗(yàn)證。。

3 艦船航行數(shù)據(jù)存儲與備份系統(tǒng)軟件開發(fā)

針對船舶航行數(shù)據(jù)存儲與備份系統(tǒng)的軟件程序開發(fā)，本文選用的編程語言為Ajax 語言[6]，Ajax 是一種基于Web 的Java Script 技術(shù)，應(yīng)用潛力巨大。

Ajax 的優(yōu)勢在于：

1）減輕服務(wù)器負(fù)擔(dān)

使用Ajax 可以將部分?jǐn)?shù)據(jù)的獲取和處理交給客戶端完成，對于減輕船舶數(shù)據(jù)存儲與備份系統(tǒng)服務(wù)器的負(fù)擔(dān)有明顯效果，同時(shí)也能提高服務(wù)器的分時(shí)復(fù)用性能。

2）提高響應(yīng)速度

使用Ajax 可以實(shí)現(xiàn)局部更新，減少了網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量，傳統(tǒng)的Web 應(yīng)用采用填寫表單的數(shù)據(jù)訪問模式，用戶提交一個(gè)Web 服務(wù)器請求后，Web 服務(wù)器會返回針對用戶請求的頁面。這種訪問模式的響應(yīng)速度慢，且大量占據(jù)服務(wù)器的通信帶寬。Ajax 技術(shù)在面對服務(wù)請求時(shí)，可以直接在客戶端采用JavaScript 生成用戶所需的答復(fù)，省去了服務(wù)器和瀏覽器之間的通信流程。

3）提高交互性

使用Ajax 可以實(shí)現(xiàn)動態(tài)交互效果，如實(shí)時(shí)搜索、自動補(bǔ)全等，可以在客戶端的機(jī)器上進(jìn)行需求和答復(fù)的交互，不需要增加瀏覽器插件，提高了頁面的交互性。

4）提高可維護(hù)性

使用Ajax 可以將頁面的邏輯分離，使得代碼更加清晰，易于維護(hù)。

5）提高可擴(kuò)展性

使用Ajax 可以實(shí)現(xiàn)模塊化開發(fā)，使得系統(tǒng)更加靈活，易于擴(kuò)展。

下圖為基于Ajax 的艦船航行數(shù)據(jù)存儲與備份系統(tǒng)工作流程：

系統(tǒng)首先進(jìn)行初始化，然后進(jìn)行SQL Azure 服務(wù)器的初始化，系統(tǒng)自動判斷數(shù)據(jù)傳輸需求，然后調(diào)用Ajax 程序調(diào)用，經(jīng)過B/S 架構(gòu)數(shù)據(jù)傳輸，實(shí)現(xiàn)整個(gè)艦船航行數(shù)據(jù)存儲與備份系統(tǒng)的工作。

4 結(jié) 語

為了提高船舶航行數(shù)據(jù)的采集、分析和處理水平，本文設(shè)計(jì)開發(fā)了艦船航行數(shù)據(jù)存儲與備份系統(tǒng)，該系統(tǒng)充分采用Hadoop 云計(jì)算技術(shù)和SQL Azure 數(shù)據(jù)技術(shù)，采用B/S 架構(gòu)搭建，能夠滿足船舶終端用戶對數(shù)據(jù)采集、訪問、上傳、請求等不同使用場景的需求，具有十分重要的價(jià)值。