高速公路云平臺系統架構及關鍵資源配置設計

劉 攀

(河南省交通規劃設計研究院股份有限公司，河南 鄭州 450052)

當前，我國信息化建設總體上正處于由網絡應用向集約化整合與協同應用過渡階段.交通運輸行業長期注重業務管理電子化，在公路管理、道路運輸管理、航務管理等領域逐步形成了一套信息管理系統、積攢了一套寶貴的行業管理數據.“十三五”期間，物聯網、云計算、移動互聯網、大數據管理等新一代信息技術在交通運輸行業得到了廣泛應用.高速公路云計算平臺中心主要為新一代高速公路智能、信息化路側和通信系統、高精度地圖與智慧管控系統等提供計算、存儲資源，實現路側信息化設備采集的數據接入與處理、與GPS/北斗地面增強基站系統的定位交互.本文在分析交通行業云平臺建設現狀的基礎上，介紹高速公路私有云平臺系統架構，對系統關鍵技術進行了研究，提出云平臺關鍵資源配置設計方案.

1 高速公路交通云平臺應用現狀

近年來，隨著交通信息化的發展，交通行業云平臺主要應用在軌道交通、物流及高速公路上，主要分為自建的私有云和政府建設的政務云兩個類別.政務云通常由各省政府建設，包括政務專有云、政務公共云、政務數據共享交換平臺.其中，政務公共云承載面向互聯網的政務信息系統及公眾服務系統，政務專有云承載內部管理及業務系統，它們通過政務數據共享交換平臺與網上政務服務平臺進行對接，為全省信息化系統提供計算資源、存儲資源和信息安全保護.

高速公路云平臺建設通常采用自建私有云模式.李德生[1]就取消省界站前后云平臺的需求和功能設計的變化，進行了系統分析，結合當前政策、技術背景與現實業務需求，討論了基于取消省界站模式下的云平臺系統設計.尹蔚峰、王棟[2]利用云計算技術，對江蘇高速公路協同指揮調度平臺進行架構設計，主要解決不同對象之間的數據調度，開創了高速公路路網指揮調度新應用.

雖然高速公路云平臺建設已經普及，但由于各地在政策、數據使用上都有其不同的特點及獨特需求.因此，其在云資源的規劃中，依舊需要結合數據存儲量級、資源調度彈性需求，進行合理的計算資源、存儲資源及網絡資源的規劃設計，以避免在實際使用中資源浪費或冗余不足的情況，真正實現云內資源的合理調配.

2 高速公路云平臺系統架構

高速公路云平臺主要用于部署業務綜合管理平臺、車路協同系統的云端平臺、高精度地圖平臺等，以滿足資源彈性調度、擴展等方面的需求.云平臺主要由基礎設施層、資源池層、云服務層和管理域組成，系統架構如圖1所示.

圖1 高速公路云平臺總體架構圖

2.1 基礎設施層

基礎設施層是云平臺的基礎，包括服務器、存儲、網絡、安全等物理基礎設施.云平臺將這些設施集中部署，以組建數據中心.

2.2 資源池層

資源池層可以接入計算(虛擬機)資源池、存儲(塊存儲、對象存儲、文件存儲、集中式存儲)資源池、網絡資源池以及安全資源池等.各種資源池可以根據項目需要進行構建.資源池在構建時，需要根據業務特點進行資源池分類.突發類業務需要進行動態資源分配，以保證核心業務高峰期時能正常訪問數據.對于不確定的新增性業務，資源池需留有余量，以保證業務的快速部署和上線.

計算資源池：計算資源池主要由x86服務器構成，其統一部署虛擬化軟件，以虛擬機的形式承載中心應用系統.所有的應用服務器虛擬為計算資源池，其對于計算資源的分配不再是常規的按照物理硬件分配，而是將核心的 CPU 和內存作為資源分配的主體.這樣做的好處是計算資源可以在中斷應用或業務的情況下被動態地、快速地重新分配，同一計算資源在不同時間段可以被不同的應用或者虛擬機使用.

存儲資源池：存儲資源池包含虛擬化平臺所需集中式存儲設備和分布式存儲設備.根據存儲需求的不同，存儲資源池由塊存儲設備、對象存儲設備、文件存儲設備分別提供服務.存放在存儲資源池中的數據，包括應用數據、數據庫以及所有的虛擬機，其可最大限度地保證應用的高可用性.

網絡資源池：網絡采用云平臺建設分布式存儲系統.分布式存儲本身節點之間存在大量的數據交互，為避免影響業務數據轉發，網絡采用三平面設計，即建設業務網絡、存儲網絡、管理網絡.

2.3 云服務層

云服務層作為云服務的管理及運營平臺,主要包括服務自動化層、服務接入層(服務console層)及服務門戶層.

服務自動化層通過對資源池層IaaS、災備資源的封裝，實現云資源服務的發現、路由、編排、計量、接入等功能，實現從資源到服務的轉換.

服務接入層是云管理平臺的對外呈現，分為用戶門戶及管理員門戶.用戶門戶面向管理員門戶，管理員門戶面向系統管理員等.用戶可通過服務租戶自助操作門戶(服務console),實現對服務的操作、使用、監控等全周期管理.

2.4 管理域

管理域包括運營域和運維域，它主要提供運營管理門戶、云服務申請和自助服務控制臺等，包括支持VPC管理、租戶管理、服務目錄、服務控制臺、計量等運營管理功能.

3 云平臺關鍵技術

云平臺關鍵技術包括虛擬化技術、分布式存儲技術、動態資源調度技術等.

3.1 虛擬化技術

虛擬化技術是云平臺架構中的核心技術.虛擬化技術主要有計算虛擬化、網絡虛擬化和存儲虛擬化，云平臺通過虛擬化技術，可以靈活地使用物理資源構建不同規模、不同能力的資源池，用于動態調配計算、網絡、存儲資源.

計算虛擬化：通過對服務器硬件虛擬化，在傳統的x86服務器上建設多個獨立的虛擬云主機，可以根據業務系統性能需要以及安全級別選擇建設不同的云主機.計算虛擬化支持多路CPU虛擬技術，可為每個虛擬機提供一個或者多個虛擬CPU(VCPU)，可以對虛擬機的生命周期進行管理.

網絡虛擬化：云平臺支持VPC內部專有網絡的劃分、建立，允許用戶自定義網絡環境，為不同的業務系統及用戶提供專有的網絡和交換機，滿足網絡內部邏輯上的物理隔離.

存儲虛擬化：通過在通用x86服務器上部署分布式存儲系統，把所有服務器的本地硬盤組織成一個虛擬存儲資源池.

3.2 分布式存儲技術

存儲根據其類型，可分為塊存儲、對象存儲和文件存儲.在主流的分布式存儲技術中，HDFS/GPFS/GFS屬于文件存儲，Swift屬于對象存儲，而Ceph可支持塊存儲、對象存儲和文件存儲[3].采用分布式存儲技術的分布式存儲系統是一種具備良好的線性擴展能力(Scale-out)、高可靠、高性能、智能化、易運維的統一存儲模式.

塊存儲功能：基于塊的存儲接口是最常見的存儲數據方法，它們基于旋轉介質，像硬盤、CD、軟盤、甚至傳統的9磁道磁帶.塊存儲功能可應對虛擬化平臺、數據庫系統等場景，通過標準塊服務為高性能業務場景提供更高IOPS的存儲系統.

文件存儲功能：文件存儲功能提供文件存儲服務.在不借助第三方程序功能的基礎上，計算機可對文件構建多副本機制，提升海量文件存儲的可靠性和可用性，具備傳統NAS和統一存儲不具備的靈活性.

對象存儲功能：對象存儲也叫基于對象的存儲，是用來描述解決和處理離散單元方法的通用術語，這些離散單元被稱為對象.就像文件一樣，對象包含數據，但是，和文件不同的是，對象在同一層結構中不會再有層級結構.每個對象都在一個被稱作存儲池的扁平地址空間的同一級別里.文件和對象都有與它們所包含的數據相關的元數據，但是，對象是以擴展元數據為特征的.每個對象都會被分配一個唯一的標識符，計算機允許一個服務器或者最終用戶來檢索對象，而無須知道數據的物理地址.

采用分布式存儲技術，有如下優勢.

線性擴展能力：分布式存儲系統所有的部件都可以進行線性擴展，橫向擴展的數量無理論限制.當用戶需要更多的存儲資源時，他們只需以磁盤或服務器為單位進行擴容.集群容量可以根據實際業務需要逐步進行擴展，新加入的服務器節點可以在不中斷業務的情況下自動納入存儲資源池，動態地遷移數據，這極大地縮短了擴容的時間，降低了擴容的難度.

高可靠：用戶可以根據實際的業務需求為數據設置副本數量，分布式存儲系統支持用戶為每個存儲區設置不同的副本數目，而且可以設置不同的副本分布策略.高可靠的最低限度是為了保障不同的副本可分布在不同的服務器和物理硬盤上，極大地提高了數據的容錯性.

高性能：分布式存儲系統存儲容量和性能可隨著服務器節點的增加而線性增加，提供比傳統存儲更優秀的性能.

3.3 動態資源調度技術

動態資源調度技術可以持續自動的平衡資源池中的容量，通過將物理計算節點進行池化管理，實現虛擬資源的均衡、集中等多種分布方式.當用戶提交云資源申請時，云平臺系統依據實時采集的數據，分析資源池的運行狀態，在最合適的虛擬資源池中為用戶提供服務.在資源池的負載情況超過預警值時，云平臺系統會將新的資源請求轉移到鄰近資源池.

4 云平臺關鍵資源配置設計

計算資源池承載云平臺中業務系統的所有計算需求，存儲資源用于提供結構化、非結構化數據的存儲空間，網絡資源負責提供云平臺中的數據傳輸通道，它們是云平臺建設的關鍵點.

4.1 計算資源

計算資源池承載云平臺中業務系統的所有計算需求，設計師在對計算資源池進行設計時，既要保證整個計算平臺的運行穩定，又不能過多地追求高性能，要做到合理選型，合理分配.

虛擬服務器系統以x86平臺服務器作為基礎平臺，其在基礎平臺上通過部署云計算虛擬化軟件完成資源池化，根據業務系統的不同需求生成不同配置的服務模板和虛擬機.

設計師在對計算資源進行規劃時，要參考當前業務運行環境與新業務系統的實際需求，統計出不同虛擬機類型的虛擬資源的使用量.這里還要考慮關鍵虛擬機的可用預留空間以及未來三年業務擴容的預留需求.

把虛擬計算資源的需求轉化成物理資源，其計算思路為確定虛擬資源的分類規格，選定擬采用的服務器 CPU/內存，確定 CPU/內存的計算能力，核算出單臺服務器所能承載的最大虛擬機數目，根據虛擬機總數目，確認物理服務器數目,具體計算如表1所示.

4.2 存儲資源

云平臺采用分布式存儲，除配置分布式存儲軟件和冗余的萬兆交換機(光口)外，云平臺提供實際處理能力和存儲能力的標準x86服務器的配置原則如下：

1)CPU配置原則

分布式存儲軟件可運行的每個節點，為保障多業務并行接入、結構化數據和非結構化數據混合存儲的特點，一般采用2個8核心的處理器.

2)內存配置原則

分布式存儲系統下的x86服務器每個節點配置的內存配置原則為1TB存儲容量配置1GB內存，例如每節點存儲容量為120TB，則需要配置至少120GB的內存.在非高并發情況下，每節點容量可遠高于最大內存支持能力.在高并發情況下，分布式存儲系統應配置SSD來作為內存的擴充，滿足緩存容量的要求.

3)SSD配置原則

分布式存儲系統下，為了在有限的設備空間內獲得最大的存儲容量和系統性能，分布式存儲軟件應部署在SSD上.

4)硬盤配置原則

分布式存儲具備優異的軟件架構設計和硬件節點集成能力，數據存儲磁盤無需采用10k/15k轉速的SAS硬盤，而是采用單盤大容量的SATA/NL-SAS硬盤.分布式存儲系統可選擇主流、穩定的4TB和6TB硬盤，根據實際容量需求和服務器磁盤槽位數進行配置.

5)網卡配置原則

分布式存儲系統的數據分散在不同的物理節點上.因此，存儲網絡應最大限度地減小響應延時，分布式存儲系統通過配置冗余的萬兆交換機(光口)作為交換節點，每臺物理服務器需配置至少1塊雙口萬兆網卡(光口)來進行設備接入.

4.3 網絡資源

網絡方案設計遵循高可靠性、高安全性原則，采用網絡三平面設計.

云平臺采用虛擬化技術，為云平臺管理系統數據傳輸、存儲數據傳輸、虛擬機內業務數據傳輸之間提供道路.數據中心將內部網絡劃分管理、業務、存儲三個平面，以支持上述業務數據的傳輸，三個網絡物理平面之間相互隔離，互不影響.服務器通過不同網卡接入不同網絡平面，如圖2所示.

圖2 云平臺網絡拓撲圖

云平臺的二層網絡結構采用扁平化組網方式，分為核心層和接入層.核心交換機承擔著核心交換和數據匯聚的任務，其通過扁平化組網方式來降低網絡復雜度，提高轉發效率.云平臺采用虛擬化集群和堆疊技術，解決二層網絡架構鏈路環路問題，提高整體架構的可靠性.鑒于高速管理業務系統的高安全性、高擴展能力和可管理性的業務需求，云服務平臺計算中心網絡架構的總體規劃要遵循區域化、層次化和模塊化的設計理念，明確網絡層次與各自的功能，提高承載的業務系統的可擴展性、可管理能力和安全性.

層次化設計：云服務平臺的網絡系統整體采用核心層、接入層的二層網絡架構，扁平化組網結構利于網絡的擴展和維護.

功能分區和模塊化設計：網絡架構按照功能分為管理區(包含云平臺管理節點、網絡節點和設備帶外管理)、NAS存儲區、業務區(包含計算資源區、分布式存儲區).

從網絡類型角度分析，云計算數據中心網絡分為業務網、管理網、存儲網和帶外管理網，為了避免單點故障，所有網絡設計采用冗余架構設計.

業務網：業務網是承載云計算數據中心的上層業務系統正常運行的網絡系統.其主要包括：從服務器計算資源區到接入交換區、接入交換區到核心交換區以及核心交換區之間的業務互聯.

管理網：管理網包括云平臺管理網、心跳網，主要作用是在業務負載較重時，確保虛擬機的正常遷移,實時監控虛擬機之間的心跳狀態.

存儲網：存儲網主要是完成云計算數據中心業務系統數據存儲的通道.業務數據根據數據的多樣性進行分類，分為結構化數據和非結構化數據.從數據本身來講，數據還包括虛擬化平臺的虛擬機文件數據.

帶外管理網：帶外管理網主要用于傳輸管理數據、統計信息等，其將網管數據與業務數據隔離開，充分保障業務網絡的安全.

5 結語

云平臺建設是未來高速公路信息化發展的重要基礎，高速公路云平臺可以為交通運輸行業部門協同共享、智能化管理、大數據分析、便捷化服務等工作提供技術支撐，對建設“暢、安、舒、美”的出行環境有著重要意義.例如將高速公路沿線視頻系統(包括道路、隧道、服務區、收費廣場、超限檢測站點、ETC 門架以及移動視頻等)接入云平臺，對各運營公司監控圖像、數據進行共享.其目的有利于打破區域限制、信息孤島和碎片化應用的限制，充分整合優勢資源，實現視頻資源共享共用，構筑協同調度指揮基石，提升高速公路網日常監測與協調管理效率.