淺談Hadoop技術在鐵路信息化建設中的作用

摘 要：我國鐵路信息化建設經過幾十年的發展，已經形成幾十個不同的應用系統以及中國鐵路總公司門戶網站和12306鐵路客戶服務中心等，大大提高了管理和決策程度，但是由于前期缺乏統籌規劃，各個系統之間數據處于割裂狀態，同時由于各時期采用的開發技術不同，平臺的異構性問題也暴露出來。隨著數據容量、數據維度的爆炸式增長，傳統模式的數據處理方式已經難以滿足數據分析、業務處理等在處理效率、響應速度等方面的要求，Hadoop是一個能夠對大量數據進行分布式處理的軟件框架，能夠使用戶在不了解分布式底層的情況下，開發分布式程序，充分利用集群的威力高速運算與存儲數據。

關鍵詞：鐵路；Hadoop；信息化

前言

我國鐵路信息化建設經過幾十年的發展，已經形成多個較為未穩定的系統，如辦公自動化系統（OA）、運輸生產計劃系統（FOMS）、鐵路運輸管理信息系統（TIMS）、鐵路列車調度指揮系統（TDCS）、鐵路車輛管理系統（CMIS）、鐵路客票發售和預定系統（PMIS）、機務、工務、電務等管理信息系統以及中國鐵路總公司門戶網站和12306鐵路客戶服務中心等，提高了鐵路管理和決策的智能化程度，但在鐵路信息化建設之初，由于缺乏統籌規劃，各信息系統的建設通常以業務部門為界限，各個系統之間的業務協同及數據交互處于割裂狀態，隨著業務領域的不斷拓展，由于各時期所采用的開發技術互不相同，硬件及平臺的異構性等原因暴露出鐵路在信息化建設方面存在的一些問題：

（1）由于各個業務信息系統是獨立建設的，每個都自成體系，導致各個系統間包括系統內的信息資源不能實現有效整合。系統軟件專用，數據庫獨立，信息難以共享，綜合利用難度巨大。

（2）由于缺乏前期規劃，各業務信息系統的協議、編碼和接口規范不統一，難以實現信息共享和交換，對突發事件難以快速響應。

（3）各業務系統的操作系統存在非常大的異構性，操作系統有UNIX、Windows等，也有大型機操作系統。

（4）數據庫管理系統也存在多種不同，如SQLServer、DB2、Oracle等，各部門之間數據資源共享很難實現。

1 Hadoop分布式系統

隨著數據容量、數據維度的爆炸式增長，傳統模式的數據處理方式已經難以滿足數據分析、業務處理等在處理效率、響應速度等方面的要求，在這種情況下，大數據與云計算的概念便應運而生。在鐵路領域，全國鐵路數據同樣滿足了容量巨大、維度復雜的特點，同時鐵路行業對業務響應的要求也滿足了價值豐富、響應快速的特性，這些均說明大數據與云計算的方式在該領域同樣適用。但是當前我國鐵路還停留在傳統的數據存儲形式，系統設計與實現也停留在傳統模式中，因此將大數據、云計算等先進的技術應用于鐵路運輸領域是十分必要的。

Hadoop是一個能夠對大量數據進行分布式處理的軟件框架，能夠使用戶在不了解分布式底層的情況下，開發分布式程序，充分利用集群的威力高速運算與存儲數據。與常規系統相比，Hadoop采用并行執行機制，大大提高了運算效率。并且Hadoop在檢驗應用層，處理異常錯誤等方面充分考慮了“硬件故障是常態而非異態”的理念，利用集群實現了高容錯率的特性。

圖1 Hadoop集群簡化示意圖

通過Hadoop集群視圖不難發現，在Hadoop架構中，存在大量的數據節點，每個數據節點都被管理節點按照某種規則分配一定的任務。在這種情況下，所有節點（或者所有活躍節點）進行并行運算，用以解決復雜的大數據問題。我國鐵路有6000多個鐵路車站，且在鐵路運輸中的作用各不相同，這就造成了鐵路數據存儲、業務處理方面存在操作困難、反應遲緩等問題。以車站為單位作為數據節點，或按照某種方式將車站進行分類形成節點區域恰恰能夠滿足Hadoop架構中的數據節點（DateNode）要求。同時，我國鐵路行業現行管理機制較為集中，在中國鐵路總公司層面建立相應的名字節點（NameNode）能夠保證核心部門對全國鐵路運輸狀況進行統籌規劃與管理。

從軟件資源、硬件資源的角度來看，Hadoop大數據框架有兩個主要特征：

（1）異構性

a.Hadoop所依賴的網絡環境可以是異構的。目前對Hadoop集群的應用主要集中在局域網內部。各種類型的局域網，運行不同的協議，這些不同協議的子網互聯成廣域網。

b.組成Hadoop集群的服務器硬件資源是異構的。分布式系統由不同硬件類型的服務器組成，導致存儲和運算資源分配的不同。

c.服務節點所處的軟件環境是異構的。服務器的操作系統可以運行Windows、Unix、Linux等不同OS。同時，服務所使用的編程語言也可以不同，服務間通過協議接口進行通

（2）服務節點共享資源

資源共享是形成分布式系統的主要動力。在Hadoop大數據集群中，數據資源分散存儲于不同物理服務器的磁盤上。在物理視圖上，數據是分散存儲的，而在邏輯視圖上，數據則是全局的統一的。這就是說，數據“分布式存儲”這一特性對用戶來說是透明的。

2 Hadoop分布式系統的安全性

鐵路應用Hadoop技術的存在著一定的安全風險。首先，系統本身存在如網絡攻擊、系統漏洞等安全風險；其次，客戶的隱私數據面臨泄露風險。鐵路企業既能夠獲取旅客和貨主的身份證號碼、聯系方式等基礎信息，又可以通過數據挖掘出旅客和貨主深層次的運輸習慣等信息。

針對上述問題，首先應建立嚴格的數據存儲機制，并對數據存儲選擇加密性能比較高的加密算法進行加密，同時采用數據安全隔離技術，如物理隔離、虛擬化和Multi-tenancy等方式；其次建立嚴格的數據訪問控制機制，使用技術手段依據不同權限做好敏感數據如客戶的名字、身份證號、聯系方式等的消隱工作；最后做好數據備份與恢復工作，實現快速的虛擬機恢復，支持文件級完整與增量備份。

3 結束語

綜上所述，Hadoop技術實現了全路信息的資源共享，降低了投資成本和維護成本；各部門可根據自身發展需要，實現資源動態配置，有效降低投資成本，簡化內部管理；各業務部門實現信息高度共享，既提高了生產效率，又增加了部門參與生產與決策的積極性。

參考文獻

[1]曹英.大數據環境下Hadoop性能優化的研究[D].北京：大連海事大學，2013.

[2]崔杰，李陶深，蘭紅星.基于Hadoop的海量數據存儲平臺設計與開發[J].計算機研究與發展，2012.

[3]佘影.基于Hadoop的大規模數據交換的研究[D].北京：北京郵電大學，2011.