船舶管理系統船岸數據同步機制分析

肖金赫，鄧義斌

(1.中國船級社武漢分社，武漢430022;2.武漢理工大學能源與動力工程學院，武漢430063)

船舶管理系統船岸數據同步機制分析

肖金赫1，鄧義斌2

(1.中國船級社武漢分社，武漢430022;2.武漢理工大學能源與動力工程學院，武漢430063)

針對船舶管理系統網絡特點及其獨特的分布式數據庫同步需求,分析船岸數據同步更新機制,以數據同步組件方式,從數據采集、網絡數據交互模型、數據緩存、數據同步流程等方面設計和實現船岸數據同步。通過軟件技術解決數據同步的可靠性問題,為船舶管理系統的數據同步提出可行的解決方案。

船舶管理系統;分布式數據庫;數據同步;觸發器

現代船舶電氣自動化程度越來越高,已從單一設備、子系統向全船綜合自動化發展［1］,部分設備和船舶的整體狀況已能夠通過網絡實現岸基自動管理。船舶岸基自動化管理有助于航行安全,包括船隊的管理協調、船舶事故原因分析、船舶設備狀態監控［2］、船舶的維修保養指導,以及行政主管部門的監管等;有助于提高航運企業的經營效率,降低生產成本。由于水運的特殊性,其通信不像岸上通信方便、穩定和同步,并且船舶具有的分散性、流動性及船岸分離等特點,使多數船舶管理系統采用分布式數據庫的架構。

構建一個數據庫首先要確定該船的主要功能和主要技術參數［3］,每一艘船舶都是分布式數據庫系統中具有個性的獨立的數據庫。而分布式數據庫的同步是一項復雜的系統工程,在數據的采集、打包、傳輸、解包及更新等步驟中面臨著一致性、安全性、高效性等特殊要求［4-5］。一些商業數據庫廠商提出較為通用的數據庫復制方案,如基于電子郵件的同步方式、基于FTP的數據同步方式及數據同步組件方式,等［6］,但仍無法滿足用戶的多樣性需求［7］。目前,分布式數據庫通信方式以移動載體數據庫和無線網絡應用為主。薛明剛等［8］將基于電子郵件的船岸數據同步方式用于船舶燃料監測系統,但是存在郵件丟失和郵件的發送和接收順序不一致的情況,使數據同步變得非常復雜。因此需要針對船舶管理系統較為獨特的船岸同步需求,設計靈活方便的數據同步組件,使船舶管理系統從岸基版擴展到船舶版,實現完整的船岸一體化船舶管理系統。

1 需求概述

1.1 分布式數據庫系統網絡架構

大多數船舶管理系統采用分布式數據庫系統網絡架構,見圖1。

圖1 分布式數據庫系統網絡架構

總庫數據服務器是岸基版船舶管理系統的數據中心,匯集整個系統的數據。各分庫布置在相應的船舶上,只管理與本船相關的數據信息。不管是船舶版還是岸基版的船舶管理系統,只對本地數據庫進行操作,通過總庫與各分庫的數據同步來完成系統的數據更新。這種架構優點突出［9］。

1.2 船舶管理系統數據庫的技術特點

1)為方便進行船岸數據交換,保持船端和岸端數據庫結構的一致性,并且把船岸業務數據在數據表層面上分離,把船舶版的管理數據與岸基版的管理數據分別設計在不同的數據表中。

2)為保持數據一致性同時減小數據傳輸量,在數據交換時,船舶分庫的變更數據全部更新至岸基總數據庫,而僅把總庫中與該船相關的數據更新至相應的分庫。

1.3 數據庫之間的網絡狀況特點

總庫所在網絡有固定IP影射到外網。分庫所在網絡為動態分配IP,無固定IP,環境不穩定,但都可以保證有連接機會。

1.4 數據同步功能要求和特點

1)記錄分庫的數據變更,定時同步分庫變更數據到總庫。

2)記錄總庫的數據變更,將總庫變更數據同步到相應的分庫。總庫并不是把全部變更數據同步到分庫,而是把與該分庫有關的變更數據進行同步。

3)各分庫之間不需要進行數據同步。

4)鑒于船岸網絡連接的不穩定,必須采用一種可靠的工作機制,保證同步數據的正確性。

1.5 設計程序框架

根據數據庫部署的網絡結構,采用C/S程序架構,在總庫所在網絡的外網服務器部署總庫同步服務端,在分庫所在的網絡部署分庫同步服務端。為了方便開發和維護,把數據同步程序集成在一起開發,形成一個同步服務程序,通過配置文件來決定該同步服務程序是分庫還是主庫,方便更新和維護。

1)數據庫自動同步配置工具。同步服務配置程序,負責定制同步任務和網絡通信的基礎參數。

2)數據同步服務程序。負責查詢本地數據庫,將變更數據發送到遠端同步程序,同時負責把遠端發來的數據寫入數據庫。

3)上傳數據任務。分庫上傳到總庫的查詢任務,任務在分庫配置程序定義。

4)接受數據任務。分庫接收總庫數據的查詢任務,任務在分庫配置程序定義,通過網絡發送到總庫服務端,總庫服務端將會依據這個查詢任務來查詢要同步的數據,發送給分庫服務程序。

5)分庫數據時間戳。分庫只會從總庫下載這個時間以后的數據。

6)同步服務網絡配置參數。

7)本地修改緩存。從網絡端傳來的數據,不會直接寫入數據庫,先存入本地修改緩存,只有全部網絡數據交互完畢才會把本地修改緩存數據寫入數據庫。

8)本地刪除緩存。分庫把數據傳到網絡的同時,會把這些數據寫入本地刪除緩存,待全部同步數據交互完畢才會執行對數據庫的刪除。

9)注冊啟動數據同步服務。

10)停止反注冊數據同步服務。

11)異常日志。

2 數據同步方案

2.1 數據采集

采用差異同步法得到最小數據變動集,進行數據同步可以減小傳輸數據量［10］。利用數據庫自身的數據觸發器功能來實現數據庫的變更記錄,對每張表建立一個變更記錄表,變更記錄表比原表多兩個字段。

1)字段一,標識本次數據操作是Insert還是Delete,對于數據庫記錄的上傳數據操作,數據庫實際上是先執行Delete,然后執行一次Insert,因此,一條記錄的上傳數據操作,將會產生2條記錄到變更記錄表。

2)字段二,數據類型為datetime,記錄數據的變更時間。

對原表進行的所有數據操作將會記錄到相應的變更記錄表中。

2.2 數據交互模型

鑒于網絡傳輸數據的不穩定性,分庫與主庫通過網絡交互數據時,并不直接寫入數據庫,而是存入本地緩存文件,當網絡數據交互完畢,對數據庫的操作無異常發生時,才是一次有效的同步。主庫與分庫的網絡交互模型見圖2。

圖2 主庫與分庫之間的數據同步模型

2.3 數據庫寫入緩存設計

數據緩存分為2類,分別為修改緩存和刪除緩存,兩者結構完全相同,其作用如下。

1)從遠端網絡發來的同步數據記錄,這些記錄將會寫入本地數據庫的原始表中,因此把這些數據寫入本地的修改緩存文件。

2)本地備份表的變更記錄,在發送到遠端服務器成功后,需要寫入刪除緩存文件。

2.4 數據同步流程設計

總庫同步服務程序啟動后,就啟動網絡監聽線程,等待分庫發起同步連接。總庫同步工作流程見圖3,有3類線程。

1)等候網絡連接線程。等待分庫的服務程序接入。

2)接收和發送同步數據線程。與分庫同步線程進行交互,傳遞和接收同步數據,同時把數據寫入本地緩存文件。

3)枚舉緩存線程。枚舉本地數據緩存文件,寫入數據庫,支持斷點寫入。

圖3 總庫同步服務工作流程圖

分庫同步工作流程見圖4。

分庫同步服務程序啟動后,分庫同步申請線程將定時發起,定時時間間隔由用戶設置。線程首先枚舉修改緩存和刪除緩存,寫入數據到數據庫;然后向服務器發起連接,連接成功后查詢本分庫的數據變更集,發到服務器端,在收到服務器端寫入緩存完畢的反饋后,將本地數據變更集刪除。至此,分庫數據向總庫更新傳輸過程已完成,將數據更新到總庫服務器的工作由服務器端的枚舉緩存線程完成。此后分庫同步服務將向總庫服務器申請將總庫有關本分庫的數據更新同步到本分庫中。首先將該分庫的數據同步配置文件中下載任務列表發送到總庫服務器。對于一些所有分庫都需要的公共基礎數據,可以不指定查詢條件;而對于本船相關的數據,可以在下載任務列表中將船舶作為查詢條件,由總庫服務器從數據庫中查詢出相關數據形成數據包,發送到相應的分庫,由分庫同步服務線程寫入數據庫,從而完成主庫與分庫之間的同步數據傳輸。

圖4 分庫同步服務程序工作流程

由于各分庫數據同步時間不一致,而且總庫上一些公共數據變更,每個分庫都需要進行同步,所以不能對服務器端的變更記錄表進行刪除操作,因此引入上次下載時間戳,每次同步后,在分庫保留一個時間戳,這個時間戳記錄該分庫取得服務器變更數據的最后時間,當下次同步查詢數據時,把上次時間戳反饋給總庫服務端,總庫服務根據分庫的時間戳,過濾出該時間以后的變更數據進行同步。

3 數據同步的可靠性論證

1)數據傳輸。構建本地緩存能有效避免由于網絡不穩定造成數據丟失引發的數據不一致問題。通過網絡交互邏輯來保證正確有效的緩存才是一次完整的同步數據傳輸操作,從而解決網絡不穩定可能引發的問題。

2)緩存數據寫入數據庫。從緩存向數據庫寫入數據時,記錄寫入的斷點。一旦數據庫服務器斷電或應用程序異常崩潰,下次程序啟動時,可以接續斷點向數據庫寫入數據,從而保證數據庫的數據完備性。

3)數據沖突。由于船岸數據表分離,業務流程產生的船岸數據不會發生沖突;對于一些公共基礎數據,全都由總庫在負責管理,同步到各分庫也不會發生沖突,而各分庫的專用數據都有船舶編碼作為主鍵,也保證不會發生數據沖突。

4 結束語

該數據同步更新機制的實時性受制于網絡環境,但只要有可用網絡,數據同步就會自動進行,并且能保證數據的一致性和完備性,這非常適用于實時性要求不那么嚴格的船舶管理等相關業務,從而為實現完整的船岸一體化船舶管理系統奠定基礎。

目前該技術已在長江上航行的某些船舶上成功應用,其數據同步效果良好。

［1］劉沿陽,邵 旻.艦船綜合自動化系統的現狀與發展趨勢［J］.船舶工程,2006,28(2):63-66.

［2］吳志東,楊士喜.基于3G無線通信網絡的船舶遠程監控系統研究［J］.船海工程,2011(5):16-19.

［3］張茴棟,何炎平.基于EXCELL的ACCESS起重船數據庫的實現［J］.船海工程,2010(3):5-9.

［4］IQBAL H,MUHAMMAD M A.SQL query based data synchronization in heterogeneous database environment［C］∥2012 International Conterence on Computer Communication and Informatics(ICCCI2012),Jan,10-12, 2012,Coimbatore,INDIA,2012:1-5.

［5］ZHANG Y H,KANG P.The data synchronization server design based on middleware technology［C］∥2010 2nd International Conference on Computer Engineering and Technology,2010(3):462-466.

［6］姜亦學.分布式數據庫系統同步技術研究［D］.長春:長春理工大學,2008.

［7］LOU X A,CHEN J,YUAN P.The design and implementation of data synchronization mechanism in the food tracing system［C］∥Advances in Computer Science,Environment,Ecoinformatics,and Education-International Conference 2011,Part V,Communications in Computer and Information Science,2011:175-179.

［8］薛明剛,徐承飛,趙衛麗,等.船岸一體化數據同步的實現［J］.中國修船,2011,24(1):21-24.

［9］閔 媛,熊前興.移動數據庫數據同步技術研究［J］.武漢理工大學學報:交通科學與工程版,2008,32 (2):156-159.

［10］孫廣雨,山 嵐.數據同步中差異數據捕獲的設計與實現［J］.北京化工大學學報:自然科版,2011,38 (3):125-128.

Data Synchronization Mechanism for Ship Management System

XIAO Jin-he1,DENG Yi-bin2
(1Wuhan Branch of China Classification Society,Wuhan 430000,China; 2 School of Energy and Power Engineering,Wuhan University of Technology,Wuhan 430063,China)

According to network architecture features of ship management system and its unique requirements of distributed database synchronization,the ship-to-shore data synchronization updatemechanism is researched.Bymeans of data synchronization components,the ship-to-shore data synchronization is designed and realized in aspects of the data acquisition,network data interactionmodel,data caching and data synchronization process.The reliability of data synchronization is ensured by software technology,offering feasible solutions to the data synchronization of ship management system.

ship management system;distributed database;data synchronization;trigger

10.3963/j.issn.1671-7953.2015.03.030

U692

A

1671-7953(2015)03-0128-04

2015-02-09

修回日期:2015-03-10

交通運輸部科技項目(2012lg0122)

肖金赫(1977-),男,碩士,工程師

研究方向:船舶電氣系統檢驗

E-mail:jhxiao@ccs.org.cn