探討山西省高速公路收費中心數據處理系統架構改造設計

郭軍梅

（山西省交通信息通信公司，山西 太原 030006）

近年來，山西省高速公路建設規模發生了突飛猛進的發展，當前信息化及網絡化技術日新月異，隨著山西省高速公路里程數的逐年增長，車流量及網絡數據流量也成倍增長，對網絡帶寬與數據存儲、處理的要求也越來越高，山西省收費中心機房是全省收費數據轉發、處理及存儲的中心，其核心地位要求所有設備及配置具有高可靠性、可擴展性、先進性的架構設計，所以應配置較高端、可靈活擴展的核心處理存儲設備。而目前收費中心服務器及存儲設備是2007年建設并運行的，隨著長時間的運行，收費結算中心的設備面臨著老化，系統設計瓶頸、性能基本飽和、業務需求增加等現實問題，升級改造迫在眉睫，為此，本文主要研究收費中心數據處理及存儲改造時架構設計問題。

1 山西省高速公路數據處理存儲系統現狀

數據處理存儲系統是收費中心網絡系統的核心，由4臺小型機、一臺磁盤陣列、兩臺光纖通道交換機及備份軟件組成，小型機采用N+1熱備運行方式，利用集群軟件組成一個3節點的cluster，其中兩臺小型機sever195sever196運行兩個數據庫實例，分別對全省收費數據進行處理及存儲，另外一臺sever197做為備份服務器，平時3臺主機同時工作，兩臺承載生產業務，當其中一臺出現故障，應用業務自動切換到備用主機上，故障修復后，應用業務切換回原主機運行，sever194做為應用測試及備份數據恢復測試使用，結構網絡圖如圖1、圖2。

圖1 收費中心數據處理存儲系統現狀結構網絡圖

圖2 收費中心數據處理存儲系統現狀架構圖

1.1 系統設備老化

4臺小型機、光纖交換機及磁盤陣列是2007年更換的設備，24 h不停機已運行8年之久，一般根據電子設備工作壽命及更新換代5～8年來計算，該批設備已停產，配件已無法在市場上采購到，而且在運行當中多次出現主板、電源、光纖模塊老化等故障。

1.2 系統性能及設備容量基本飽和

根據2007年收費存儲系統更換方案的設計，當時山西省高速公路通車里程約為2000 km，而2016年通車里程達5265 km，約是當時的2.6倍，當時全省通車運營的收費站有160個，目前通車運營的收費站為307個，是原來的1.9倍。現金及非現金的磁盤陣列存儲量及每天數據增長量如表1所示。

表1 數據量增長表

隨著高速公路通車里程的增長，收費站數量逐年增加，隨之帶來的是網絡邊界與設備的不斷擴容，以上數據表明2011年以后數據量呈現猛增的趨勢，因此對數據處理系統提出了更高的要求。通過查看服務器設備CPU使用率與內存占用率，發現CPU使用率已達90%，內存占用率已達95%以上，磁陣硬盤剩余空間只有1.5 T左右，因此數據處理服務器處于高負荷運行狀態，升級更換核心存儲設備迫在眉睫。

1.3 未來業務應用的需求

在信息化蓬勃發展的今天，應用業務及新技術應用增長異常迅猛，高速公路產生的收費數據業務不僅內容多，結構也會發生較大的變化，尤其是在2015年全國29省市ETC聯網以后，新業務形式會在收費系統中大量地應用，根據山西省高速公路管理局2017年的計劃，本年度內將在全省所有車道增加全車牌高清識別系統，收費數據中不僅有各類報表、還增加了圖片，以后還可能有視頻、音頻等，另外管理者對數據的專項校核、數據的查詢頻率也相應增大，全國聯網前收費中心要求數據進行月報，聯網后交通部路網監測及應急處置中心要求數據進行旬報，數據的查詢、統計消耗大量的系統資源，對小型機處理能力提出了極大的挑戰。因此，不僅需要提升網絡設備性能，增加網絡的接入帶寬，更主要的是提升核心服務器的數據處理及存儲的性能和容量。

2 改造的架構設計

2.1 新架構設計原則

2.1.1 可用性

分為用、可用兩個方面，滿足需求，考慮應用增速，預留富余能力。

a）用 系統能力要符合應用需求。

b）可用 要有足夠的冗余度，考慮今后5～8年應用需求，保證應用持續可使用。

2.1.2 成本

分為構建成本、運維成本兩個方面，滿足第一原則的前提下，越低越好。

a）構建成本 系統構建需要的硬件、軟件、實施費用等。

b）運維成本 系統上線后，維保、升級、擴容的費用。

2.1.3 可擴展性

每一個方案在設計時不能只針對當前需求去設計，在設計之初就要考慮好擴展的問題，擴展性從兩個方向考慮。

a）技術的發展方向。在目前技術的基礎上，要考慮未來5年之內技術的發展方向及業務需求。

b）選擇的自由度。

2.1.4 日常運維

應考慮有效監控、維護簡單、便捷與可視化。主要有以下4點：

a）易檢查；

b）易管理；

c）維護簡單；

d）能耗低。

2.2 新架構設計方案

根據以上數據處理服務器、存儲系統現狀及問題本文提出3種改造架構。

2.2.1 傳統UNIX小型機架構

圖3 傳統UNIX小型機架構圖

傳統UNIX架構，3臺小型機+SAN網絡+FC存儲+SF+Oracle+NBU，將目前oracle9i升級到11g或12c。

a）采用2+1集群配置，搭建oracle集群，一備二有效利用硬件資源。

b）通過SF軟件強大的snap功能，每日進行數據庫快照容災，有效保障數據安全，將數據恢復時間從天縮短至分鐘級，規避人為誤操作。

c）通過SF軟件專有的ODM功能，大幅提升oracle運行速度。

d）當前7.1版的NBU不支持oracle11g，需升級NBU到最新7.7.2。

優點 技術成熟，穩定性高。

缺點 硬件成本高，后期維護費用大。小型機技術處于淘汰階段，發展不明朗。

2.2.2 X86超融合架構

圖4 X86超融合架構圖

全新X86 VSAN架構，X86服務器+IB網絡+SF+Oracle+NBU，將目前oracle9i升級到11g或12c。

采用4節點集群配置，搭建FSS集群，2U機架式X86服務器，本地高性能SSD盤+大容量SAS盤混用。

a）FSS軟件搭建VSAN架構，利用本地盤替代傳統存儲，在節省成本的同時，大幅提高IO性能。

b）通過SF軟件專有的ODM功能，大幅提升oracle運行速度。

c）當前 7.1版 NBU不支持oracle11g，需升級NBU到最新7.7.2。為提高備份速度建議采購專用的X86服務器用于備份，配合未來機房的萬兆網環境，實現數據庫快速備份。

優點 IT技術發展方向，價格低廉、高性能、低維護成本。

缺點 X86架構穩定性差，日常故障較小型機多。

2.2.3 X86高可用架構

圖5 X86高可用架構圖

傳統架構X86化，X86服務器+萬兆網絡+混合式存儲+SF+NBU，將目前oracle9i升級到11g或12c。

采用2+1集群配置，搭建X86集群，一備二有效利用硬件資源。

a）采用混合式存儲，充分利用閃存盤的高性能和SAS盤的高容量特性，配合先進的消重技術，用最小的空間，獲取最大的容量，最高的性能。

b）通過SF軟件強大的snap功能，每日進行數據庫快照容災，將數據恢復時間從天縮短至分鐘級，有效保障數據安全，規避人為誤操作。

c）通過SF軟件專有的ODM功能，大幅提升oracle運行速度。

d）當前7.1版 NBU不支持oracle11g，需升級NBU到最新7.7.2。為提高備份速度建議采購專用的X86服務器用于備份，配合機房的萬兆網環境，實現數據庫快速備份。

e）利用混合式存儲大容量特性，結合NBU7.7.2新特性將日常備份任務從物理帶庫遷移至磁盤空間，大幅提高備份速度。

優點 IT技術發展方向，價格低廉、高性能、高容量、低維護成本。

缺點 穩定性介于1、2方案之間，成本介于1、2方案之間。

2.3 選擇一種方案應主要從3方面考慮

2.3.1 技術發展方向，X86替代小型機為大勢所趨

目前整個電子行業增速最快的兩個行業就是手機和服務器。服務器每年有6%以上的增速，而這些年Intel X86架構的服務器已經占據了90%以上的份額，隨著英特爾至強處理器的性能不斷提升，業內有種說法是X86服務器有搶占小型機市場的趨勢。

圖62016 年——2018年全球服務器出貨量（單位：千臺）

2.3.2 數據處理能力

新的X86架構CPU突破了主頻，核數的瓶頸，計算能力有質的突破。

表2 服務器與小型機數據處理能力比較

2.3.3 經濟性、穩定性、可擴展性

表3 各種服務器成本費用、性能值比較表

從以上分析可以看出，X86服務器在穩定性方面不及小型機，但是硬件成本、軟件成本、后期的維護成本要遠低于小型機。中國移動設計院根據河南移動實際情況進行的對比分析，小型機、X86服務器5年的成本TCO分別為702萬及47.3萬元，按照相同可靠性組建小型機及X86服務器集群，X86服務器的投資效率比小型機高58%[1]。

在可擴展性能上，X86平臺橫向的向外擴展功能能滿足大多數企業關鍵應用環境的負載需求，包括對內存和CPU要求都較高的數據庫、商業應用和虛擬化。

X86經過20多年的發展，通用性和標準化相當成熟，更加適合于企業長遠應用和需求擴展，更加容易維護與更新。

通過以上的分析，綜合考慮各種因素，結合收費中心數據存儲系統現狀及未來發展方向，推薦采用X86高可用架構，進行系統有計劃、有重點、有步驟地設計及改造。