運營商短消息行業網關云化方案研究

趙軍生，呂書林，高 平，任高強，崔云龍

（中國移動通信集團設計院有限公司 河南分公司，河南 鄭州 450000）

0 引 言

行業網關（Industry Application Gateway，IAG）是用于承載集團客戶（Enterprise Customer，EC）或業務集成商（Service Integrator，SI）提供的具有集中的數據庫、服務于特定行業用戶應用的網關平臺，例如警務通、校信通等[1]。隨著互聯網金融、電子商務網上實時交易的業務量呈指數級增長，對行業網關實時性、可靠性要求越來越高[2]。

1 系統現狀

中國移動總部及各省行業應用網關短信模塊（SMS-A)之間組成網狀網，各省行業網關SMS-A與本省短信中心直聯。SMS-A與EC/SI以標準中國移動點對點協議（China Mobile Peer to Peer，CMPP）連接，EC/SI通過該連接發送和接收短消息；SMS-A與本省短信中心（Short Message Service Center，SMSC）以標準SMPP協議連接，SMS-A通過SMSC向本省用戶下發消息下行（Mobile Terminate，MT）短消息，并接收用戶發送的消息上行（Mobile Originated，MO）短消息。全網行業網關組網如圖1所示[3]。

圖1 中國移動行業網關全網組網

本省行業網關系統采用雙節點容災部署，系統硬件最大處理能力為35 000條/s，其中主節點機房硬件處理能力23 500條/s，備節點機房硬件處理能力11 500條/s?，F網有超過20臺設備入網，使用時間超過10年以上，服務器已經停止生產，磁盤陣列等已無維保，配件損壞時存在業務中斷風險。此外，生產節點和容災節點處理能力不一致，容災節點無法完全承載業務。

2 云化資源分析

2.1 網絡云

網絡云主要承載基礎核心網相關網元、相應業務平臺以及網管支撐系統。在原有標準網絡功能虛擬化（Network Function Virtualization，NFV）“三層一域”架構基礎上增加了軟件定義網絡（Software Defined Network，SDN）相關功能，如圖2所示[4]。

圖2 NFV/SDN系統架構

引入SDN后，“三層一域”架構描述如下。硬件層為各類計算、存儲、SDN硬件轉發設備以及非SDN硬件轉發設備等物理設備的集合。虛擬層將物理計算、存儲、網絡資源虛擬化成虛擬的計算、存儲、網絡資源，為虛擬化網元的部署、執行及管理提供虛擬資源池。虛擬網元層包括虛擬化網元和網元管理。虛擬化網元部署在網絡功能虛擬化基礎設施上，實現軟件化的電信網元功能。網元管理實現虛擬化網元的管理功能，例如配置、告警以及性能分析等。網絡功能虛擬化管理和編排架構主要包括NFV編排器（NFV Orchestrator，NFVO）、虛擬化網元管理器（Virtualized Network Function Manager，VNFM）和虛擬資源管理器（Virtualized Infrastructure Manager，VIM）3部 分。NFVO實現網絡服務、虛擬網絡生命周期管理及全局資源管理，是云管理的決策者；VNFM實現虛擬網元生命周期管理，是VNF管理的執行者；VIM實現虛擬化基礎設施管理，是虛擬資源及硬件資源管理的執行者[5]。

2.2 移動云

移動云是中國移動面向政府、企業以及公眾提供的新型資源服務，采用中國移動自主研發的“大云”平臺構建的公有云。按照全國N+31+X的整體布局，通過云專網等云網一體實現業務一鍵開通，以內容分發網絡（Content Delivery Network，CDN）云化等邊緣能力部署實現云邊協同，以位置類、用戶畫像類等重點促進云和大數據融通，以人工智能平臺協同開放實現云智融合，全面提升公有云的差異化競爭優勢[6]。

2.3 分析與選型

移動云、網絡云均開通到CMNET、IP承載專網的網絡出口，但是移動云在IP承載專網上只管理流量，沒有開通業務虛擬專用網絡（Virtual Private Network，VPN）。雖然移動云額外開通到云專網的出口，但是不是行業網關系統云化所需。此外，與行業網關系統交互較多的短消息中心等已經在網絡云上云化部署，網絡云承載行業網關業務較為合適。行業網關云話軟件平臺部署時需要云平臺具備NFV虛擬化功能，網絡云采用NFV虛擬化技術，移動云采用OpenStack的互聯網云計算架構[7]。

3 方案設計

3.1 網絡資源

通過對行業網關現網設備運行情況和網絡出口的分析，云化后系統對外接口與網絡連接方式如表1所示。

表1 系統對外接口與網絡連接方式

對于到短信中心，目前短消息中心已經大區化部署，行業網關系統也部署在網絡云資源池上，通過集團IP承載專網以VPN方式實現數據通信；對于到省級BOSS計費、省級4A網絡安全管控平臺，網絡云目前與省內的IP承載網已互通，通過省IP承載專網實現數據通信；對于到省內外EC/SI客戶群體，目前網絡云資源池上有CMNET出口路由，行業網關系統可以通過CMNET網絡實現互聯互通；對于專線和省內自有業務，行業網關系統部署在網絡云資源池上后需根據實際情況申請2M線路，實現與對端的互聯互通。

3.2 云資源需求

系統采用分布式數據訪問機制及虛擬化技術實現軟、硬件解耦，實現專有硬件向通用硬件、云平臺的業務遷移[8]。根據行業網關業務發展情況和集團容災要求，主節點與容災節點處理能力按1∶1建設，行業網關主備節點分別上云，均建設20 000條/s的短信處理能力，總短信處理能力為40 000條/s。單節點所需硬件資源如表2所示。

表2 單節點所需硬件資源

3.3 開源分布式數據庫

行業網關云化采用基于云化環境部署的開源分布式數據庫代替Oracle，如圖3所示。

圖3 行業網關云化采用開源數據庫示意圖

3.3.1 開源的MySQL數據庫

系統通過Keepalived+MySQL雙主同步的方式實現數據庫高可用，兩個數據庫通過互為主備方式開啟雙向同步，通過Keepalived在兩臺數據庫主機設定浮動IP的方式保證一臺服務器對外提供服務。當主節點發生宕機時，Keepalived能夠監控到主節點故障，將浮動IP切換到備數據庫上，此時備數據庫變成主數據接管業務。當宕機的數據庫修復后，會作為備數據庫運行，同時會通過數據同步程序從新的主數據庫同步宕機期間的變化數據，保持兩庫數據一致[9]。

3.3.2 詳單數據高可用方案

詳單數據采用ClickHouse組件，支持集群部署，支持將同一個表進行分片。每個分片存在不同的主機上，支持多個副本，通過Zookeeper進行協同，副本之間進行數據同步。當數據被寫入任何一個可用副本后，系統會在后臺將數據分發給其他副本，以保證系統在不同副本上保持相同的數據。當其中某個節點發生故障后，能夠由其副本進行替代，自動完成故障修復。

3.3.3 Hadoop的開源分布式架構

采用基于Hadoop的開源分布式架構構建分布數據庫系統，對消息詳單、日志數據以及配置數據等多種不同類型的數據進行存儲，不再采用Oracle[10]。硬件層采用分布式存儲服務器，構建分布式存儲服務主機集群。存儲服務器通過多副本的方式實現數據冗余，保證數據安全。

軟件層在存儲主機集群上創建Hadoop分布式文件系統（Hadoop Distributed File System，HDFS），為上層的HBase、Hive等應用提供高可靠性的底層存儲支持。

4 結 論

隨著行業網關系統云化的完成，淘汰了落后的煙囪式IT架構，能夠實現資源的動態擴展和遷移，降本增效，也有利于提升運營商的行業信息化服務能力。