大數據存儲在鐵路專網共享中的應用與研究

徐海峰，羅雨新

(中國鐵路成都局集團有限公司成都電務維修段，成都 610057)

1 概述

大數據是具有更強決策力、洞察發現力和流程優化能力的海量、高增長率及多樣化信息資產，對巨量數據的存儲、專業化處理將極大程度的運用低成本創造高價值，為用戶提供更精準的服務。數據共享站主要用于中國鐵路成都局集團有限公司電務系統（以下簡稱電務系統）所有段、科室、車間、工區資料的存儲共享管理，目前已經在成都電務維修段（以下簡稱電務維修段）廣泛使用，每個段、科室、車間、工區都有一個共享資源空間，所有人員在其權限范圍內可以對資料進行上傳、下載、刪除、重命名、新建文件夾、關鍵字搜索等操作。本文通過與傳統文件傳輸協議（File Transfer Protocol，FTP）服務器對比體現大數據存儲的相對優勢，提出建立數據共享站的方法、測試、驗證，并對實際運用過程中的時間成本和數據管理成本進行探討。

2 大數據存儲與傳統FTP服務器的對比

拓撲結構：傳統FTP 服務器采用電腦終端作為服務器，在局域網內直接通過普通線纜連接，組成普通C/S 架構；大數據存儲采用專用服務器、防火墻搭建網絡，通過數據網實現近距離、遠距離用戶訪問和數據交換，如圖1 所示。

圖1 傳統FTP服務器和大數據存儲拓撲結構對比Fig.1 Comparison of topologies between traditional FTP server and big-data storage

權限管理：傳統FTP 服務器的權限統一由系統管理員賬號進行設置，無法實現多樣化權限控制，無組織架構進行支撐；大數據存儲可通過組織架構、角色對不同賬號進行權限設置，實現多樣化權限服務，形成樹狀組織架構且可實時更新，對不同賬號對應的權限進行支撐。

數據存儲：傳統FTP 服務器無特定存儲空間用來對歷史數據進行保留，數據一旦刪除無法修復，數據上傳下載過程中一旦出現網絡中斷或硬件故障，正在上傳下載的文件也會丟失；大數據存儲有硬件支撐，可騰出特定硬盤空間對歷史數據進行一定時間段的存儲。如果發生誤操作的情況，還可通過后臺進入特定存儲空間進行數據恢復，若出現網絡突然中斷或設備故障，磁盤陣列會對正在上傳下載的文件進行暫時保留，在網絡恢復和硬件修復后，再對斷點續傳。

擴展性：由于傳統FTP 服務器基本采用終端電腦作為服務器，內存、CPU 等性能本身就很容易達到閾值。因此一旦接入終端過多，所傳內容較大就可能無法承載、需要擴容，其擴容相對困難，需要疊加硬件；大數據存儲所使用的服務器性能高、內存大、CPU 處理能力強，完全能滿足現有的內部數據資料交換以及極大數據的上傳下載。若需擴容，只需購買磁盤陣列直接安裝到服務器磁盤陣列陣中，重啟即可，更為方便快捷。

傳統FTP 服務器和大數據存儲在訪問進程、動態管理、保留歷史記錄、數據安全方面的區別如表1所示。

表1 傳統FTP服務器與大數據存儲部分功能對比Tab.1 Comparison of certain functions between traditional FTP server and big-data storage

管理模式：傳統FTP 服務器很難統一管理，大到跨廣域網搭建，小到局域網內部搭建，只要熟悉FTP 搭建技術的人員，都可以任選一臺終端作為FTP 服務器，為其他普通用戶提供FTP 服務；大數據存儲采用網站式服務，使用唯一的服務器、防火墻，通過鐵路數據網為整個電務系統提供資源共享業務，無論身在何處，只要能接入鐵路辦公網，就可以訪問網站進行數據的在線瀏覽、上傳、下載。

系統搭建成本：傳統FTP 服務器近距離的環境可以利用現有終端、網線直接進行搭建，遠距離環境涉及到的設備線纜更為復雜，后期擴容需增加設備線纜也更多，且需要大規模調整，近乎重新搭建；大數據存儲前期搭建更為復雜，不僅需要考慮局域網內部的服務器、防火墻搭建，還需要考慮局域網環境接入到數據網的網絡配置，后期維護擴容較簡單，通過任一終端登錄超級賬戶進入后臺即可管理。

3 數據共享站的實現

數據共享站采用經典C/S 架構進行網絡部署，在Spring Framework 基礎上搭建的一個Java 平臺，以Spring MVC 為模型視圖控制器，MyBatis為數據訪問層， Apache Shiro 為權限授權層，Ehcahe 對常用數據進行緩存，Activit 為工作流引擎。采用SSM 開發框架，提高了程序的規范性、可擴展性、可維護性以及代碼的重用性。以下內容詳細介紹了數據共享站的搭建以及測試和驗證。

3.1 數據共享站的搭建

1) 數據共享站拓撲結構關系

數據共享站應用服務器和防火墻架設在“電務維修段”段機關信息機房，通過樓層交換機接入數據網，使用辦公網的VPN 通道，用戶即可直接通過內網終端進行訪問，網絡結構如圖2 所示。

圖2 數據共享站網絡結構Fig.2 Network structure of data-sharing station

異地電務部用戶、重慶工電段用戶、成都通信綜合車間用戶的數據訪問流程是先被發送到離用戶最近的接入層AR 設備，查找應用服務器所處位置，發現位于電務維修段，將數據包上傳到更高一級的DR 設備，再查找目的地，數據包再一次向上傳遞。然后通過核心路由器的轉發到達接入路由器AR1 處，防火墻進行路由過濾等一系列安全操作后發送至應用服務器，應用服務器給出響應，用戶成功進行上傳、下載、刪除等操作；本地電務維修段用戶數據訪問流程是直接發送到AR1 處，AR1 進行局域網內部數據轉發，無需再通過上層設備流轉。

2）角色權限管理

建立樹型邏輯結構（包含電務部、各電務段、工電段、部門車間、工區四級），將相應人員信息（姓名、所屬機構）通過后臺進行導入，形成基礎組織架構。創建多種角色，為不同角色配置不同操作權限（在線瀏覽、（批量）刪除、批量下載、批量上傳）和訪問范圍，如圖3 所示。

圖3 數據共享站用戶角色配置Fig.3 Configuration of user roles for data-sharing station

批量刪除、下載、上傳是高級權限賬號才可進行的操作。因為批量操作所占用的瞬時帶寬較高，對數據庫數據的同時訪問存在風險，耗費設備和時間資源，所以應盡量避免長時間、多頻次的操作。

3）數據安全

防火墻使用網關專用硬件平臺，擁有詳細的安全趨勢和安全風險智能報表等日志表格，獨立的日志中心并支持外置數據中心。SSL VPN 和IPSec VPN 兩種VPN 極大程度的保障了數據傳輸過程中的完整性、有序性、機密性；NAT進行地址轉換，對外隱藏私網地址，防止惡意攻擊；訪問控制ACL 可以對特定路由進行過濾，或僅讓特定路由通過，保障終端的相互訪問；防分布式拒絕服務（Distributed Denial of Service，DDoS）攻擊功能有效防止大面積的服務癱瘓；用戶認證通過AAA 技術對用戶名、密鑰進行核驗，安全的密碼由生成隨機的16 位salt 并經過1 024 次 sha-1 hash，核驗通過后才發行合格證，允許數據包的傳送。為避免用戶信息在接口調用過程中泄露、劫取、篡改，偽造等，要求所有調用服務接口的請求都需要對參數進行加密，返回的響應結果也將是加密的，需要調用方自行按照設定好的加密方式進行反解驗證，如圖4 所示。

圖4 安全加密算法相關代碼Fig.4 Codes of secure encrypted algorithms

權限管理中不同賬號擁有不同操作權限、訪問范圍；批量刪除、下載、上傳是極高權限賬號才可進行的操作；高級別擁有更多訪問范圍，低級別擁有局限訪問范圍，保證數據在共享的同時又避免資料泄露以及分級管理；應用服務器支持持久內存數據，斷電數據也不會丟失；磁盤的應用服務數據備份均備份到從屬磁盤。以上操作使得數據更可靠、更安全。

4）服務器數據存儲與擴展

數據存儲與擴展主要依靠應用服務器的支撐，應用服務器技術指標和具體要求如表2 所示。

表2 服務器配置與作用Tab.2 Server configuration and functions

3.2 測試與驗證

針對數據共享站各功能的測試、驗證，采用現場試點的方式進行。現場試點范圍涉及電務部、電務維修段、其他段、現場車間、工區，覆蓋面積達到兩萬平方公里，試點時長超兩個月，收集統計了業務所能提供的帶寬、速度、平均網絡流量和流量峰值等相關數據。

應用服務器所提供的業務項包含信息瀏覽、審核、接口交互等，其帶寬的計算公式為：帶寬（Mbit/s）=點擊量×單次點擊占用帶寬+訪問量× 單次訪問占用帶寬，寬帶速度計算公式為：速度（kByte/s）=帶寬×1 024/8，流量計算公式為：流量（M）=帶寬×時間/8，具體統計數據如表3 所示。

表3 采集數據共享站應用服務器的相關數據Tab.3 Data on application server of data-sharing station

創建四級賬號，按照前期設計配置不同角色，發送賬號到對應電務部、各段、車間、工區，測試操作權限和訪問范圍是否與設計一致，具體內容如圖5所示。

圖5 數據共享站角色配置Fig.5 Configuration of user roles for data-sharing station (examples)

收集后臺歷史記錄，測算每一次操作所占用帶寬，某一時間段帶寬總量，極大文件上傳、下載所耗用的時間，以此判斷服務器承載能力，具體內容如圖6 所示。

圖6 數據共享站后臺歷史記錄Fig.6 Background records of data-sharing station

4 應用

4.1 數據管理成本

傳統FTP 服務器在電務維修段全段范圍內共搭建10 處，全段范圍搭建1 處，部門內部搭建3 處，現場車間搭建6 處，共使用10 臺服務器。形成10個互相無數據交換的局域網，且因為無防火墻等安全措施，數據存在遺失、泄露、病毒侵害風險，無法對所有數據進行統一管理、統一規劃，且維護時需要到各服務器所在地進行。

數據共享站僅在電務維修段搭建1 處，就可以實現整個電務系統的資源共享，采用唯一超級賬號進行統一的權限修改、結構調整、數據備份、修復、安全措施等，上到電務部、下到現場工區，都可進行資料交換。維護工作通過兩種方式完成，方式一：在電務維修段段機關內網終端進行操作，方式二：遠程登錄后進行操作。但無論是哪一種方式都極大程度節約數據管理成本和人員維護成本。

4.2 時間管理成本

傳統FTP 服務器前期搭建成本相對較低，近距離的環境可以利用現有終端、網線直接進行搭建，遠距離的環境涉及到的設備線纜更為復雜，但后期擴容需增加設備線纜更多，且需要大規模調整，近乎重新搭建，浪費人力財力更多；數據共享站前期搭建成本相比較多，但一旦搭建完成，后期維護擴容都極為便捷，其應用服務器支持多個內存插槽，便攜式插卡擴容節約整個擴容過程的時間，總體更節約成本。數據共享站和傳統FTP 服務器的上傳、下載文件的速率對比如表4 所示。

數據共享站的上傳、下載速率明顯高于傳統FTP 服務器，直觀體現在實際運用中，數據共享站所節約的時間成本。

5 結語

數據共享站利用現有大數據、云計算技術，將對輸入后臺服務器的大量信息進行分析，結合鐵路專網的廣覆蓋性、全程全網實現整個電務系統的資料交換儲存，利用高性能應用服務器提供高速率短時間的數據上傳下載，企業級集成化防火墻兼具入侵檢測、漏洞掃描、防病毒、數據備份修復等功能，將眾多功能集成到一個硬件設備的方式不僅節約成本，而且能快速的對風險進行防控和有效的處理，保障信息的安全性、保密性、完整性。大數據存儲技術在鐵路專網的應用，將大幅提高工作效率、節省資料交換的時間，為日常工作帶來便利。