鐵路站車Wi-Fi運營服務系統大數據文件同步的研究與實現

王雪峰，閻志遠，黃偉偉

（1.北京經緯信息技術公司 ，北京 100081；2.中國鐵道科學研究院 電子計算技術研究所，北京 100081；3.中鐵程科技有限責任公司，北京 100081)

鐵路站車Wi-Fi運營服務系統大數據文件同步的研究與實現

王雪峰1，閻志遠2，黃偉偉3

（1.北京經緯信息技術公司 ，北京 100081；2.中國鐵道科學研究院 電子計算技術研究所，北京 100081；3.中鐵程科技有限責任公司，北京 100081)

隨著中國移動端網民數量的不斷增加，人們對3G/4G無線網絡，以及無線局域網Wi-Fi熱點的依賴程度越來越高。據統計，中國高速鐵路每天的旅客發送量高達500萬人次，所以，能夠為出行的旅客在高鐵車站和車廂內提供Wi-Fi 熱點服務，將極大地提高旅客的出行體驗，同時，也為鐵路多種經營提供了便利。本文從Rsync文件同步、數據同步方案、網絡拓撲結構等幾個方面，闡述了大數據文件如何在鐵路站車Wi-Fi運營服務系統中進行同步。并結合實際給出了具體的實現方案。

Rsync；文件同步；網絡拓撲結構

隨著高速鐵路的飛速發展，在建設旅客無線上網通道的同時，相應的軟件服務也應與時俱進。鐵路站車Wi-Fi運營服務系統就充當了提升旅客服務質量的重要角色，為旅客提供內容服務、休閑娛樂服務、視頻等。其中視頻服務功能需要將大視頻文件，從鐵路總公司（簡稱：總公司）機房通過鐵路局和動車所的內容服務器同步到車站和列車的車載服務器上，由于視頻文件較大，并且涉及的環節也較多，所以大數據文件同步的設計和實現相對難度較大，同時還需要充分考慮文件傳輸過程中由于網絡原因出現傳輸中斷的后續處理問題。本文將從Rsync、文件同步、網絡拓撲結構等幾方面，提出一些關于大數據文件同步的設計和實現方案。

1 需求分析

1.1 系統需求概述

隨著“互聯網+”概念的提出，鐵路也需要結合自身資源優勢，整理鐵路內部和外部的相關資源。為了給旅客提供一個便捷高效的互聯網上網環境，進一步提升旅客的出行體驗，鐵路相關部門計劃搭建鐵路站車Wi-Fi運營服務系統。為旅客在車站和列車車廂內提供一個安全穩定的Wi-Fi上網環境以及相關的鐵路出行延伸服務。

1.2 業務場景分析

由于要搭建一套可以讓旅客在車站和列車車廂內的上網環境，并提供視頻瀏覽、新聞資訊、商旅交易等相關服務，而視頻等大數據文件需要在總公司統一進行維護和發布，所以，需要將視頻文件通過鐵路局的網絡傳輸到車站服務器和動車所服務器，再上傳到車載服務器上。

基于以上的業務場景可知，大數據文件的同步在鐵路站車Wi-Fi運營服務系統中起到決定性作用，是該系統得以實現的一個關鍵點，同時也是一個難點。

1.3 非功能性需求

1.3.1 性能需求

通過對列車運行的車站和停靠的動車所環境的調研，綜合考慮后發現，列車在動車所進行檢修時，最適合進行視頻文件的傳輸。但列車在動車所進行檢修時，只有1 h的帶電作業時間，所以要求視頻文件必須在1 h內，從動車所的服務器傳輸到列車的車載服務器上，這就對視頻文件的傳輸速率有一定的要求。

1.3.2 可靠性需求

視頻文件傳輸的過程中，系統能夠自動監測文件的傳輸狀態，如果出現網絡連接中斷，那么當網絡恢復后，系統能夠自動實現斷點續傳。

視頻文件需要采用冗余的方式存儲在總公司的多個節點上，當某個節點出現故障，可以從其他節點很快地將數據進行恢復。

1.3.3 易用性需求

系統整個文件同步采用自動傳輸模式，無需人為干預。系統可以自動監測文件的傳輸狀態，并支持斷點續傳。

2 關鍵技術和需要解決的問題

2.1 關鍵技術

Rsync即Remote Synchronize，是一款實現遠程同步功能的、開源的軟件，它在同步文件的同時，可以保持原來文件的權限、時間和軟硬鏈接等附加信息。Rsync采用 “Rsync算法”提供了一個客戶機和遠程文件服務器的文件同步的快速方法，可以通過ssh協議方式來傳輸文件，使其保密性能更好。

Rsync具有以下特性：（1）能更新整個目錄的樹和文件系統；（2）有選擇性地保持符號鏈接、硬鏈接、文件屬性、權限、設備以及時間等；（3）對于安裝來說，無任何特殊權限要求；（4）對于多個文件來說，內部流水線減少文件等待的延時；（5）支持匿名Rsync同步文件，是理想的鏡像工具。

2.2 需要解決的問題

視頻等大數據文件在總公司統一進行管理，并且整個鐵路數據傳輸網從總公司到車站或動車所是樹形結構，也就是說總公司會對應下屬18個鐵路局（公司），每個鐵路局（公司）又對應多個車站和動車所，所以視頻傳輸是采取下級節點主動到上級節點進行拉取的，還是上級節點直接將數據文件廣播推送到下級節點，是鐵路站車Wi-Fi運營服務系統在設計大數據文件同步時需要重點解決的問題。

由于視頻文件的同步采用的是自動模式，在有新任務產生時，需要告訴數據同步服務自動進行數據同步。在視頻文件開始傳輸后，數據同步程序能夠自動判斷文件是否傳輸完畢，并通知業務系統進行后續操作。如何發現有新任務產生，以及如何判斷文件是否傳輸成功，傳輸成功后對其他系統進行通知，這些問題都需要在系統的設計階段找到相應的解決方案。

3 系統總體方案設計

3.1 網絡拓撲結構設計

鐵路站車Wi-Fi運營服務系統的網絡結構分為4層：鐵路總公司層、鐵路局層、站段層和列車層，采用鐵路數據通信網作為數據傳輸骨干網，如圖1所示。

從圖1可以看出：（1）最上層是總公司網絡，視頻等大數據文件首先由部署在該層網絡中的業務系統進行發布和管理，一旦有新的數據傳輸任務產生后，同步程序就會通過外部服務網將視頻同步到下屬的各個鐵路局；（2）各鐵路局再將大數據文件通過互聯網專線網絡同步到下屬的各動車所和車站；（3）通過部署在動車所和車站的無線局域網，將文件同步到列車上。圖1中，右側的互聯網和無線網絡作用是：（1）方便旅客訪問外部的互聯網資源；（2）完成以接口調用方式的小數據量的數據交換。

3.2 數據同步方案設計

圖1 系統網絡拓撲結構圖

3.2.1 同步流程設計

鐵路站車Wi-Fi運營服務系統的大數據文件同步包括車站文件同步和列車文件同步兩類，如圖2和圖3所示。兩者的區別在于列車文件同步需要通過動車所服務器將文件同步到列車的車載服務器上。

鐵路站車Wi-Fi運營服務系統的文件同步是基于Rsync實現指定文件夾目錄下文件的同步傳輸。分別在鐵路總公司、鐵路局、動車所配置Rsync服務端，在鐵路局、動車所、車站、車載服務器配置Rsync客戶端。在鐵路總公司、鐵路局、動車所，分別基于“傳輸配置文件”中當前單位的直屬下級單位動態設置Rsync傳輸文件目錄。

鐵路總公司的同步程序監控并獲取到新的傳輸任務后，解析傳輸路徑并將目標文件拷貝到相應的Rsync文件傳輸目錄中，然后啟動文件傳輸。

動車所收到數據文件后按照列車車底碼動態建立Rsync的同步目錄，并拷貝數據文件到相應文件目錄。

當列車進入動車所進行帶點檢修時，會自動搜索相應的Wi-Fi熱點，一旦檢測到已經連接到動車所數據同步的Wi-Fi熱點后，Rsync客戶端就會主動向動車所服務器請求相應的數據文件。將數據拉取到列車的車載服務器上。

在Rsync服務端和客戶端配置當前機構的唯一單位碼，并作為地址關鍵字檢索文件的傳輸地址。

傳輸過程以文件為最小單元，通過檢查文件名、文件大小來確定文件是否傳輸成功，并向上級單位標記和反饋文件的傳輸狀態。

圖2 車站文件同步流程圖

3.2.2 定義

（1）文件格式定義

從傳輸的角度看，文件同步服務主要涉及兩類文件：目標源文件和傳輸配置文件。目標源文件屬于系統傳輸的目標文件，在鐵路站車Wi-Fi運營服務系統中主要是多媒體視頻文件和內容發布文件；傳輸配置文件主要是記錄所要傳輸源文件的文件屬性和待同步的目標系統地址等信息。

圖3 列車文件同步流程圖

（2）目標源文件定義

多媒體文件：日期+來源渠道+多媒體名+后綴，來源渠道為兩位編碼，如“TX”代表騰訊等。

內容發布文件：日期時間+內容標識+后綴，內容標識分為內容管理發布內容為“CMS”。

（3）傳輸配置文件定義

傳輸配置文件是傳輸的重要參數文件，該文件由業務系統根據業務邏輯生成，并在傳輸過程中起到指導傳輸的作用。一個目標源文件有一個傳輸配置文件與之相對應。

傳輸配置文件以目標源文件名（不含后綴）+“property”后綴組成。傳輸配置文件的內容包括兩部分：對目標文件的描述、對目標源文件同步地址的描述。

4 系統測試與部署

鐵路站車Wi-Fi運營服務系統已完成了系統的研發工作，并計劃于近期進行上線前的部署實施。為了進一步驗證大數據文件同步的可靠性和易用性，為其搭建了一套模擬環境。

模擬環境的網絡采用樹形網絡結構，其中，鐵路總公司一臺服務器會對應多個鐵路局服務器，并組成一個局域網，而一個鐵路局服務器也會對應多個車站和動車所服務器，每個動車所服務器還對應配置了AP熱點，用于發射Wi-Fi信號。每趟列車采用一臺服務器進行模擬，并配置AP熱點，便于測試時連接到車廂的Wi-Fi熱點，驗證數據是否同步到列車的服務器上。

整個模擬環境搭建完畢后，將10個大小在1～2 G之間的視頻文件拷貝到鐵路總公司服務器的指定目錄下。在鐵路總公司一級的管理系統中維護相應的視頻內容信息和同步目標地址信息，并對視頻源文件生成相應的傳輸配置文件，然后啟動文件傳輸程序，文件開始進行同步，通過測試發現在模擬的車站和動車所的服務器上視頻文件在逐漸增多，大約在10 min后10個視頻文件全部傳輸完成。在此基礎上，又重新做了一次文件傳輸測試，這次在傳輸的過程中，將動車所的服務器的網線拔出，可以發現文件傳輸中斷，該視頻文件的大小也只有正常文件的三分之一。記錄相關的結構后，再將網線接入到動車所服務器，可以發現該視頻文件開始繼續進行傳輸，并最終傳輸完成。

通過以上的測試，可以得到如下結論：鐵路站車Wi-Fi運營服務系統的數據同步方案可以實現數據文件的逐級自動同步，無需人為干預，具有較高的易用性。

在文件傳輸的過程中，由于網絡等其他原因出現連接中斷后，當連接得到恢復后，同步程序可以自動檢測網絡的連接狀態，一旦發現網絡可用后，可以自動實現斷點續傳，提供了系統文件同步的可靠性。

5 結束語

本文主要對鐵路站車Wi-Fi運營服務系統的數據同步方案進行探討和闡述。分別從系統需求、關鍵技術、系統網絡拓撲結構、數據同步方案設計等幾個方面進行詳細分析和說明，驗證了數據同步方案的易用性和可靠性。為系統的大數據同步提供了一套切實可行的實施方案。隨著系統功能的不斷完善，以及相關技術研究不斷深入，鐵路站車Wi-Fi運營服務系統定會在提升鐵路客運服務質量方面發揮關鍵作用。

[1]李 貞．基于Rsync算法的遠程文件同步系統的設計與實現[D].北京：北京郵電大學，2010.

[2]朱建生,周亮瑾,單杏花,等．新一代客票系統總體架構研究[J]．鐵路技術創新，2014（4）：93-97.

[3]張海峰．基于Rsync的異構環境數據同步機制研究[D]．成都：電子科技大學，2009.

[4]閻志遠，何志根，宋 超，等.鐵路站車客運信息無線交互系統關鍵技術[J]．鐵路技術創新，2014（4）.

[5]彭曉曦.嵌入式Linux下文件系統的研究與實現[D].成都：電子科技大學，2007.

[6]張 航.文件同步服務中數據同步傳輸消重策略研究[D].長沙：國防科學技術大學，2011.

責任編輯 陳 蓉

Big data fle synchronization in Railway Wi-Fi Operation Service System

WANG Xuefeng1,YAN Zhiyuan2,HUANG Weiwei3
( 1.Beijing Jingwei Information Technology Company,Beijing 100081,China;2.Institute of Computing Technologies,China Academy of Railway Sciences,Beijing 100081,China;3.China Rails Travel Technology,Co.Ltd.,Beijing 100081,China)

With the increased number of users of China mobile,people rely more and more on the 3G/4G wireless network,as well as the wireless LAN Wi-Fi hotspot.According to the statistics,the daily passenger volume of China high-speed railway reached 5 million to provide Wi-Fi hotspot service for passengers in the high-speed railway station and on the train,could greatly improve passenger travel experience,offer convenience for railway diversifed business.This article discussed the method to synchronize the big data fles in the Railway Wi-Fi Operation Service System from the aspects of Rsync fle synchronization,data synchronization scheme,network topology structure,and so on.Combined with the reality,the specifc implementation scheme was given.

Rsync;fle synchronization;network topology structure

U293.3∶TP39

A

1005-8451（2016）07-0022-05

2015-12-11

王雪峰，工程師；閆志遠，副研究員。