鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)大數(shù)據(jù)文件同步的研究與實(shí)現(xiàn)

王雪峰，閻志遠(yuǎn)，黃偉偉

（1.北京經(jīng)緯信息技術(shù)公司 ，北京 100081；2.中國(guó)鐵道科學(xué)研究院 電子計(jì)算技術(shù)研究所，北京 100081；3.中鐵程科技有限責(zé)任公司，北京 100081)

鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)大數(shù)據(jù)文件同步的研究與實(shí)現(xiàn)

王雪峰1，閻志遠(yuǎn)2，黃偉偉3

（1.北京經(jīng)緯信息技術(shù)公司 ，北京 100081；2.中國(guó)鐵道科學(xué)研究院 電子計(jì)算技術(shù)研究所，北京 100081；3.中鐵程科技有限責(zé)任公司，北京 100081)

隨著中國(guó)移動(dòng)端網(wǎng)民數(shù)量的不斷增加，人們對(duì)3G/4G無(wú)線網(wǎng)絡(luò)，以及無(wú)線局域網(wǎng)Wi-Fi熱點(diǎn)的依賴(lài)程度越來(lái)越高。據(jù)統(tǒng)計(jì)，中國(guó)高速鐵路每天的旅客發(fā)送量高達(dá)500萬(wàn)人次，所以，能夠?yàn)槌鲂械穆每驮诟哞F車(chē)站和車(chē)廂內(nèi)提供Wi-Fi 熱點(diǎn)服務(wù)，將極大地提高旅客的出行體驗(yàn)，同時(shí)，也為鐵路多種經(jīng)營(yíng)提供了便利。本文從Rsync文件同步、數(shù)據(jù)同步方案、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)等幾個(gè)方面，闡述了大數(shù)據(jù)文件如何在鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)中進(jìn)行同步。并結(jié)合實(shí)際給出了具體的實(shí)現(xiàn)方案。

Rsync；文件同步；網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

隨著高速鐵路的飛速發(fā)展，在建設(shè)旅客無(wú)線上網(wǎng)通道的同時(shí)，相應(yīng)的軟件服務(wù)也應(yīng)與時(shí)俱進(jìn)。鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)就充當(dāng)了提升旅客服務(wù)質(zhì)量的重要角色，為旅客提供內(nèi)容服務(wù)、休閑娛樂(lè)服務(wù)、視頻等。其中視頻服務(wù)功能需要將大視頻文件，從鐵路總公司（簡(jiǎn)稱(chēng)：總公司）機(jī)房通過(guò)鐵路局和動(dòng)車(chē)所的內(nèi)容服務(wù)器同步到車(chē)站和列車(chē)的車(chē)載服務(wù)器上，由于視頻文件較大，并且涉及的環(huán)節(jié)也較多，所以大數(shù)據(jù)文件同步的設(shè)計(jì)和實(shí)現(xiàn)相對(duì)難度較大，同時(shí)還需要充分考慮文件傳輸過(guò)程中由于網(wǎng)絡(luò)原因出現(xiàn)傳輸中斷的后續(xù)處理問(wèn)題。本文將從Rsync、文件同步、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)等幾方面，提出一些關(guān)于大數(shù)據(jù)文件同步的設(shè)計(jì)和實(shí)現(xiàn)方案。

1 需求分析

1.1 系統(tǒng)需求概述

隨著“互聯(lián)網(wǎng)+”概念的提出，鐵路也需要結(jié)合自身資源優(yōu)勢(shì)，整理鐵路內(nèi)部和外部的相關(guān)資源。為了給旅客提供一個(gè)便捷高效的互聯(lián)網(wǎng)上網(wǎng)環(huán)境，進(jìn)一步提升旅客的出行體驗(yàn)，鐵路相關(guān)部門(mén)計(jì)劃搭建鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)。為旅客在車(chē)站和列車(chē)車(chē)廂內(nèi)提供一個(gè)安全穩(wěn)定的Wi-Fi上網(wǎng)環(huán)境以及相關(guān)的鐵路出行延伸服務(wù)。

1.2 業(yè)務(wù)場(chǎng)景分析

由于要搭建一套可以讓旅客在車(chē)站和列車(chē)車(chē)廂內(nèi)的上網(wǎng)環(huán)境，并提供視頻瀏覽、新聞資訊、商旅交易等相關(guān)服務(wù)，而視頻等大數(shù)據(jù)文件需要在總公司統(tǒng)一進(jìn)行維護(hù)和發(fā)布，所以，需要將視頻文件通過(guò)鐵路局的網(wǎng)絡(luò)傳輸?shù)杰?chē)站服務(wù)器和動(dòng)車(chē)所服務(wù)器，再上傳到車(chē)載服務(wù)器上。

基于以上的業(yè)務(wù)場(chǎng)景可知，大數(shù)據(jù)文件的同步在鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)中起到?jīng)Q定性作用，是該系統(tǒng)得以實(shí)現(xiàn)的一個(gè)關(guān)鍵點(diǎn)，同時(shí)也是一個(gè)難點(diǎn)。

1.3 非功能性需求

1.3.1 性能需求

通過(guò)對(duì)列車(chē)運(yùn)行的車(chē)站和停靠的動(dòng)車(chē)所環(huán)境的調(diào)研，綜合考慮后發(fā)現(xiàn)，列車(chē)在動(dòng)車(chē)所進(jìn)行檢修時(shí)，最適合進(jìn)行視頻文件的傳輸。但列車(chē)在動(dòng)車(chē)所進(jìn)行檢修時(shí)，只有1 h的帶電作業(yè)時(shí)間，所以要求視頻文件必須在1 h內(nèi)，從動(dòng)車(chē)所的服務(wù)器傳輸?shù)搅熊?chē)的車(chē)載服務(wù)器上，這就對(duì)視頻文件的傳輸速率有一定的要求。

1.3.2 可靠性需求

視頻文件傳輸?shù)倪^(guò)程中，系統(tǒng)能夠自動(dòng)監(jiān)測(cè)文件的傳輸狀態(tài)，如果出現(xiàn)網(wǎng)絡(luò)連接中斷，那么當(dāng)網(wǎng)絡(luò)恢復(fù)后，系統(tǒng)能夠自動(dòng)實(shí)現(xiàn)斷點(diǎn)續(xù)傳。

視頻文件需要采用冗余的方式存儲(chǔ)在總公司的多個(gè)節(jié)點(diǎn)上，當(dāng)某個(gè)節(jié)點(diǎn)出現(xiàn)故障，可以從其他節(jié)點(diǎn)很快地將數(shù)據(jù)進(jìn)行恢復(fù)。

1.3.3 易用性需求

系統(tǒng)整個(gè)文件同步采用自動(dòng)傳輸模式，無(wú)需人為干預(yù)。系統(tǒng)可以自動(dòng)監(jiān)測(cè)文件的傳輸狀態(tài)，并支持?jǐn)帱c(diǎn)續(xù)傳。

2 關(guān)鍵技術(shù)和需要解決的問(wèn)題

2.1 關(guān)鍵技術(shù)

Rsync即Remote Synchronize，是一款實(shí)現(xiàn)遠(yuǎn)程同步功能的、開(kāi)源的軟件，它在同步文件的同時(shí)，可以保持原來(lái)文件的權(quán)限、時(shí)間和軟硬鏈接等附加信息。Rsync采用 “Rsync算法”提供了一個(gè)客戶(hù)機(jī)和遠(yuǎn)程文件服務(wù)器的文件同步的快速方法，可以通過(guò)ssh協(xié)議方式來(lái)傳輸文件，使其保密性能更好。

Rsync具有以下特性：（1）能更新整個(gè)目錄的樹(shù)和文件系統(tǒng)；（2）有選擇性地保持符號(hào)鏈接、硬鏈接、文件屬性、權(quán)限、設(shè)備以及時(shí)間等；（3）對(duì)于安裝來(lái)說(shuō)，無(wú)任何特殊權(quán)限要求；（4）對(duì)于多個(gè)文件來(lái)說(shuō)，內(nèi)部流水線減少文件等待的延時(shí)；（5）支持匿名Rsync同步文件，是理想的鏡像工具。

2.2 需要解決的問(wèn)題

視頻等大數(shù)據(jù)文件在總公司統(tǒng)一進(jìn)行管理，并且整個(gè)鐵路數(shù)據(jù)傳輸網(wǎng)從總公司到車(chē)站或動(dòng)車(chē)所是樹(shù)形結(jié)構(gòu)，也就是說(shuō)總公司會(huì)對(duì)應(yīng)下屬18個(gè)鐵路局（公司），每個(gè)鐵路局（公司）又對(duì)應(yīng)多個(gè)車(chē)站和動(dòng)車(chē)所，所以視頻傳輸是采取下級(jí)節(jié)點(diǎn)主動(dòng)到上級(jí)節(jié)點(diǎn)進(jìn)行拉取的，還是上級(jí)節(jié)點(diǎn)直接將數(shù)據(jù)文件廣播推送到下級(jí)節(jié)點(diǎn)，是鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)在設(shè)計(jì)大數(shù)據(jù)文件同步時(shí)需要重點(diǎn)解決的問(wèn)題。

由于視頻文件的同步采用的是自動(dòng)模式，在有新任務(wù)產(chǎn)生時(shí)，需要告訴數(shù)據(jù)同步服務(wù)自動(dòng)進(jìn)行數(shù)據(jù)同步。在視頻文件開(kāi)始傳輸后，數(shù)據(jù)同步程序能夠自動(dòng)判斷文件是否傳輸完畢，并通知業(yè)務(wù)系統(tǒng)進(jìn)行后續(xù)操作。如何發(fā)現(xiàn)有新任務(wù)產(chǎn)生，以及如何判斷文件是否傳輸成功，傳輸成功后對(duì)其他系統(tǒng)進(jìn)行通知，這些問(wèn)題都需要在系統(tǒng)的設(shè)計(jì)階段找到相應(yīng)的解決方案。

3 系統(tǒng)總體方案設(shè)計(jì)

3.1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)

鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)分為4層：鐵路總公司層、鐵路局層、站段層和列車(chē)層，采用鐵路數(shù)據(jù)通信網(wǎng)作為數(shù)據(jù)傳輸骨干網(wǎng)，如圖1所示。

從圖1可以看出：（1）最上層是總公司網(wǎng)絡(luò)，視頻等大數(shù)據(jù)文件首先由部署在該層網(wǎng)絡(luò)中的業(yè)務(wù)系統(tǒng)進(jìn)行發(fā)布和管理，一旦有新的數(shù)據(jù)傳輸任務(wù)產(chǎn)生后，同步程序就會(huì)通過(guò)外部服務(wù)網(wǎng)將視頻同步到下屬的各個(gè)鐵路局；（2）各鐵路局再將大數(shù)據(jù)文件通過(guò)互聯(lián)網(wǎng)專(zhuān)線網(wǎng)絡(luò)同步到下屬的各動(dòng)車(chē)所和車(chē)站；（3）通過(guò)部署在動(dòng)車(chē)所和車(chē)站的無(wú)線局域網(wǎng)，將文件同步到列車(chē)上。圖1中，右側(cè)的互聯(lián)網(wǎng)和無(wú)線網(wǎng)絡(luò)作用是：（1）方便旅客訪問(wèn)外部的互聯(lián)網(wǎng)資源；（2）完成以接口調(diào)用方式的小數(shù)據(jù)量的數(shù)據(jù)交換。

3.2 數(shù)據(jù)同步方案設(shè)計(jì)

圖1 系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖

3.2.1 同步流程設(shè)計(jì)

鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)的大數(shù)據(jù)文件同步包括車(chē)站文件同步和列車(chē)文件同步兩類(lèi)，如圖2和圖3所示。兩者的區(qū)別在于列車(chē)文件同步需要通過(guò)動(dòng)車(chē)所服務(wù)器將文件同步到列車(chē)的車(chē)載服務(wù)器上。

鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)的文件同步是基于Rsync實(shí)現(xiàn)指定文件夾目錄下文件的同步傳輸。分別在鐵路總公司、鐵路局、動(dòng)車(chē)所配置Rsync服務(wù)端，在鐵路局、動(dòng)車(chē)所、車(chē)站、車(chē)載服務(wù)器配置Rsync客戶(hù)端。在鐵路總公司、鐵路局、動(dòng)車(chē)所，分別基于“傳輸配置文件”中當(dāng)前單位的直屬下級(jí)單位動(dòng)態(tài)設(shè)置Rsync傳輸文件目錄。

鐵路總公司的同步程序監(jiān)控并獲取到新的傳輸任務(wù)后，解析傳輸路徑并將目標(biāo)文件拷貝到相應(yīng)的Rsync文件傳輸目錄中，然后啟動(dòng)文件傳輸。

動(dòng)車(chē)所收到數(shù)據(jù)文件后按照列車(chē)車(chē)底碼動(dòng)態(tài)建立Rsync的同步目錄，并拷貝數(shù)據(jù)文件到相應(yīng)文件目錄。

當(dāng)列車(chē)進(jìn)入動(dòng)車(chē)所進(jìn)行帶點(diǎn)檢修時(shí)，會(huì)自動(dòng)搜索相應(yīng)的Wi-Fi熱點(diǎn)，一旦檢測(cè)到已經(jīng)連接到動(dòng)車(chē)所數(shù)據(jù)同步的Wi-Fi熱點(diǎn)后，Rsync客戶(hù)端就會(huì)主動(dòng)向動(dòng)車(chē)所服務(wù)器請(qǐng)求相應(yīng)的數(shù)據(jù)文件。將數(shù)據(jù)拉取到列車(chē)的車(chē)載服務(wù)器上。

在Rsync服務(wù)端和客戶(hù)端配置當(dāng)前機(jī)構(gòu)的唯一單位碼，并作為地址關(guān)鍵字檢索文件的傳輸?shù)刂贰?/p>

傳輸過(guò)程以文件為最小單元，通過(guò)檢查文件名、文件大小來(lái)確定文件是否傳輸成功，并向上級(jí)單位標(biāo)記和反饋文件的傳輸狀態(tài)。

圖2 車(chē)站文件同步流程圖

3.2.2 定義

（1）文件格式定義

從傳輸?shù)慕嵌瓤矗募椒?wù)主要涉及兩類(lèi)文件：目標(biāo)源文件和傳輸配置文件。目標(biāo)源文件屬于系統(tǒng)傳輸?shù)哪繕?biāo)文件，在鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)中主要是多媒體視頻文件和內(nèi)容發(fā)布文件；傳輸配置文件主要是記錄所要傳輸源文件的文件屬性和待同步的目標(biāo)系統(tǒng)地址等信息。

圖3 列車(chē)文件同步流程圖

（2）目標(biāo)源文件定義

多媒體文件：日期+來(lái)源渠道+多媒體名+后綴，來(lái)源渠道為兩位編碼，如“TX”代表騰訊等。

內(nèi)容發(fā)布文件：日期時(shí)間+內(nèi)容標(biāo)識(shí)+后綴，內(nèi)容標(biāo)識(shí)分為內(nèi)容管理發(fā)布內(nèi)容為“CMS”。

（3）傳輸配置文件定義

傳輸配置文件是傳輸?shù)闹匾獏?shù)文件，該文件由業(yè)務(wù)系統(tǒng)根據(jù)業(yè)務(wù)邏輯生成，并在傳輸過(guò)程中起到指導(dǎo)傳輸?shù)淖饔谩Ｒ粋€(gè)目標(biāo)源文件有一個(gè)傳輸配置文件與之相對(duì)應(yīng)。

傳輸配置文件以目標(biāo)源文件名（不含后綴）+“property”后綴組成。傳輸配置文件的內(nèi)容包括兩部分：對(duì)目標(biāo)文件的描述、對(duì)目標(biāo)源文件同步地址的描述。

4 系統(tǒng)測(cè)試與部署

鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)已完成了系統(tǒng)的研發(fā)工作，并計(jì)劃于近期進(jìn)行上線前的部署實(shí)施。為了進(jìn)一步驗(yàn)證大數(shù)據(jù)文件同步的可靠性和易用性，為其搭建了一套模擬環(huán)境。

模擬環(huán)境的網(wǎng)絡(luò)采用樹(shù)形網(wǎng)絡(luò)結(jié)構(gòu)，其中，鐵路總公司一臺(tái)服務(wù)器會(huì)對(duì)應(yīng)多個(gè)鐵路局服務(wù)器，并組成一個(gè)局域網(wǎng)，而一個(gè)鐵路局服務(wù)器也會(huì)對(duì)應(yīng)多個(gè)車(chē)站和動(dòng)車(chē)所服務(wù)器，每個(gè)動(dòng)車(chē)所服務(wù)器還對(duì)應(yīng)配置了AP熱點(diǎn)，用于發(fā)射Wi-Fi信號(hào)。每趟列車(chē)采用一臺(tái)服務(wù)器進(jìn)行模擬，并配置AP熱點(diǎn)，便于測(cè)試時(shí)連接到車(chē)廂的Wi-Fi熱點(diǎn)，驗(yàn)證數(shù)據(jù)是否同步到列車(chē)的服務(wù)器上。

整個(gè)模擬環(huán)境搭建完畢后，將10個(gè)大小在1～2 G之間的視頻文件拷貝到鐵路總公司服務(wù)器的指定目錄下。在鐵路總公司一級(jí)的管理系統(tǒng)中維護(hù)相應(yīng)的視頻內(nèi)容信息和同步目標(biāo)地址信息，并對(duì)視頻源文件生成相應(yīng)的傳輸配置文件，然后啟動(dòng)文件傳輸程序，文件開(kāi)始進(jìn)行同步，通過(guò)測(cè)試發(fā)現(xiàn)在模擬的車(chē)站和動(dòng)車(chē)所的服務(wù)器上視頻文件在逐漸增多，大約在10 min后10個(gè)視頻文件全部傳輸完成。在此基礎(chǔ)上，又重新做了一次文件傳輸測(cè)試，這次在傳輸?shù)倪^(guò)程中，將動(dòng)車(chē)所的服務(wù)器的網(wǎng)線拔出，可以發(fā)現(xiàn)文件傳輸中斷，該視頻文件的大小也只有正常文件的三分之一。記錄相關(guān)的結(jié)構(gòu)后，再將網(wǎng)線接入到動(dòng)車(chē)所服務(wù)器，可以發(fā)現(xiàn)該視頻文件開(kāi)始繼續(xù)進(jìn)行傳輸，并最終傳輸完成。

通過(guò)以上的測(cè)試，可以得到如下結(jié)論：鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)的數(shù)據(jù)同步方案可以實(shí)現(xiàn)數(shù)據(jù)文件的逐級(jí)自動(dòng)同步，無(wú)需人為干預(yù)，具有較高的易用性。

在文件傳輸?shù)倪^(guò)程中，由于網(wǎng)絡(luò)等其他原因出現(xiàn)連接中斷后，當(dāng)連接得到恢復(fù)后，同步程序可以自動(dòng)檢測(cè)網(wǎng)絡(luò)的連接狀態(tài)，一旦發(fā)現(xiàn)網(wǎng)絡(luò)可用后，可以自動(dòng)實(shí)現(xiàn)斷點(diǎn)續(xù)傳，提供了系統(tǒng)文件同步的可靠性。

5 結(jié)束語(yǔ)

本文主要對(duì)鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)的數(shù)據(jù)同步方案進(jìn)行探討和闡述。分別從系統(tǒng)需求、關(guān)鍵技術(shù)、系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、數(shù)據(jù)同步方案設(shè)計(jì)等幾個(gè)方面進(jìn)行詳細(xì)分析和說(shuō)明，驗(yàn)證了數(shù)據(jù)同步方案的易用性和可靠性。為系統(tǒng)的大數(shù)據(jù)同步提供了一套切實(shí)可行的實(shí)施方案。隨著系統(tǒng)功能的不斷完善，以及相關(guān)技術(shù)研究不斷深入，鐵路站車(chē)Wi-Fi運(yùn)營(yíng)服務(wù)系統(tǒng)定會(huì)在提升鐵路客運(yùn)服務(wù)質(zhì)量方面發(fā)揮關(guān)鍵作用。

[1]李 貞．基于Rsync算法的遠(yuǎn)程文件同步系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2010.

[2]朱建生,周亮瑾,單杏花,等．新一代客票系統(tǒng)總體架構(gòu)研究[J]．鐵路技術(shù)創(chuàng)新，2014（4）：93-97.

[3]張海峰．基于Rsync的異構(gòu)環(huán)境數(shù)據(jù)同步機(jī)制研究[D]．成都：電子科技大學(xué)，2009.

[4]閻志遠(yuǎn)，何志根，宋 超，等.鐵路站車(chē)客運(yùn)信息無(wú)線交互系統(tǒng)關(guān)鍵技術(shù)[J]．鐵路技術(shù)創(chuàng)新，2014（4）.

[5]彭曉曦.嵌入式Linux下文件系統(tǒng)的研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2007.

[6]張 航.文件同步服務(wù)中數(shù)據(jù)同步傳輸消重策略研究[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2011.

責(zé)任編輯 陳 蓉

Big data fle synchronization in Railway Wi-Fi Operation Service System

WANG Xuefeng1,YAN Zhiyuan2,HUANG Weiwei3
( 1.Beijing Jingwei Information Technology Company,Beijing 100081,China;2.Institute of Computing Technologies,China Academy of Railway Sciences,Beijing 100081,China;3.China Rails Travel Technology,Co.Ltd.,Beijing 100081,China)

With the increased number of users of China mobile,people rely more and more on the 3G/4G wireless network,as well as the wireless LAN Wi-Fi hotspot.According to the statistics,the daily passenger volume of China high-speed railway reached 5 million to provide Wi-Fi hotspot service for passengers in the high-speed railway station and on the train,could greatly improve passenger travel experience,offer convenience for railway diversifed business.This article discussed the method to synchronize the big data fles in the Railway Wi-Fi Operation Service System from the aspects of Rsync fle synchronization,data synchronization scheme,network topology structure,and so on.Combined with the reality,the specifc implementation scheme was given.

Rsync;fle synchronization;network topology structure

U293.3∶TP39

A

1005-8451（2016）07-0022-05

2015-12-11

王雪峰，工程師；閆志遠(yuǎn)，副研究員。