中國移動CRM 架構發展趨勢研究*

劉沛強

（1.華為技術有限公司，廣東 廣州 510627；2.廣州夢海信息技術有限公司，廣東 廣州 510665）

0 引言

近十年來，隨著各種開源項目的蓬勃發展，IT業界出現了越來越多成熟可用的開源軟件。而互聯網廠商，特別是電商井噴式地發展，普遍要求高可用、高并發、大容量的系統架構。互聯網廠商與開源項目的結合日益加深，谷歌和亞馬遜等巨頭甚至自研開源軟件以支撐業務的發展。一系列互聯網龍頭企業的成功，為上述系統架構的推廣提供了最好的范例。與互聯網企業不斷進行技術創新和顛覆相反，移動運營商由于轉型較慢，系統架構相對保守，但運營商也存在系統架構更新換代的迫切需求。一方面，由于用戶需求從語音、短信逐漸過渡到面向網際互聯協議（IP）的長期演進語音承載（Voice over Long-Term Evolution，VoLTE）、規模化的物聯網（Internet of Things，IoT）、低時延的車聯網、VR 等業務，需要支持網絡切片；另一方面，需要降低運營成本，特別是需要降低服務器成本和日常運維的成本，高昂的成本嚴重影響了運營商的利潤。因此，互聯網企業催化成熟的眾多開源軟件，為移動運營商的系統架構提供了很好的范例。

1 CRM 架構現狀

目前中國移動集團公司客戶關系管理（Customer Relationship Management，CRM）采用的是集團公司CRM+省公司CRM 的二級架構[1]，各省份的CRM系統獨立進行建設，它們由不同的廠家進行研發，只要滿足與集團公司的接口協議即可，但各廠家采用的是不同的系統架構。由于運營商對系統架構的高可用和高并發有極高的要求、對接的子系統繁多、數據量龐大而復雜，因此普遍采用相對保守的技術架構，對開源軟件持審慎的態度。總的來說，目前移動運營商的CRM 架構有以下特點：

1.1 采用單體式服務或分布式服務

單體式服務的優點在于編譯、發布方便，結構簡單清晰，只需要訪問單臺的數據庫，因此容易進行網絡規劃，數據備份恢復也相對容易。但模塊之間耦合度很高，擴容比較麻煩，并且數據庫訪問壓力較大，因而對系統穩定性要求極高，服務器一般采用小型機。分布式服務克服了單體服務的上述缺點，由于關鍵的模塊分開部署，分擔了系統的壓力，服務器可以采用小型機或X86 結構的PC server。

1.2 數據存儲方式

單體服務的系統結構，在存儲方面通常采用集中式的存儲，主要采用Oracle 數據庫和易安信（EMC）公司的存儲服務器，以滿足超大規模的存儲容量和超高的處理速度。同時，采用光纖通道與服務器進行傳輸，以滿足大容量的數據交換的要求。也有的省份采用分布式存儲結構，即將不同功能模塊的數據分開存儲，以減輕數據庫壓力。

1.3 地市公司之間的交互

CRM 的某些業務需要進行跨地市交互，例如省內家庭網、異地補卡等業務。有的省份數據量不大，可以使用同一個實例進行處理，能確保在一個事務中進行提交。而有的省份數據量非常大，不同的地市的服務和數據分布在不同的實例上，需要進行跨區服務調用進行業務處理。這種架構一般采用異步方式處理跨地市業務，因此需要一定的糾錯機制，例如業務回退或者數據一致性稽核，來保證不同地市的數據一致性。此外，不同省份的地市之間，只能使用跨區接口進行業務交互。

1.4 集團CRM 與省CRM 的交互

目前集團CRM 與省CRM 之間采用一級BOSS規范進行交互。集團公司對省公司的主套餐和重點業務有統一的規范和要求，集團CRM 通過一級BOSS 協議對省CRM 進行驗收和常規考核，如4G/5G 主套餐、WLAN、夢網業務、家庭寬帶等業務。

1.5 統一開放的能力開放平臺

在互聯網時代，移動運營商除了傳統的營業廳、電子渠道、網站、移動商城等渠道之外，還需要通過互聯網廠商進行引流。能力開放平臺[2]為移動運營商提供核心業務能力輸出，支撐移動運營商與外部合作伙伴進行增值業務合作，通過提供統一、安全的輸出接口，實現“對外能力開放，對內服務集成”，助力CRM 系統在互聯網領域進行業務拓展。

2 演進趨勢

這幾年來，各省份的移動運營商的架構升級持續進行中：海南移動向“云+平臺+應用”的互聯網架構轉型[3]；山東移動使用華為產品成功完成了CRM 核心系統的軟硬件替換升級，引入面向服務的架構（Service-Oriented Architecture，SOA）、云計算、大數據等新架構建設了全新的CRM 系統；2020 年12 月，青海移動省級CRM/BOSS 系統華南節點割接上線……總的來說，移動運營商架構演進體現出以下特點和趨勢。

2.1 硬件系統云化

隨著國內云化建設進程的加快，越來越多的硬件和軟件部署到云端。中國移動正在啟動全球最大規模的網絡云化變革，并計劃在2025 年達到100＆的云化。作為5G 網絡的運營支撐系統，CRM 必然深受影響[4]。新一代的CRM 架構，總體思路是云化部署，包括硬件系統的云化和分布式的應用架構[5]。云化有以下3 個優勢。

（1）可以根據業務發展需要進行快速、彈性部署[6]。由于對業務增長難以準確預估，通過云化，可以對資源進行集約化管理，方便快速地進行資源調配，做到即開即用。

（2）管理簡單。CRM 業務需要維護人員每日巡檢軟硬件設施以保證7×24 小時不間斷服務，這對運營商來說是一筆很大的成本，而使用云服務器可以大幅度降低運維成本。

（3）價格相對低廉。云服務器可以使用X86服務器承載基礎應用，通過云平臺的自動化安裝部署，極大的節省搭建基礎網絡設施的成本。

2.2 區域集中化

移動運營商CRM 系統建設，走了一條各地市分別建設到全省規劃建設的道路。各省根據自身業務發展的規律自行獨立建設，開展了許多具有當地特色的業務。然而，這也導致各省的CRM 系統不僅在系統架構方面設計迥異，而且在業務規劃上也千差萬別。這就使得同一個相似的業務，各省的業務流程和功能各不相同，甚至在業務功能上相去甚遠，因此在集團頂層上難以進行統一。這樣，在硬件設施云化的基礎上，CRM 系統進行區域集中化建設的統一規劃就成為一個趨勢：地域相近的若干個省份，集中共建一套CRM 系統，如圖1 所示。目前有的省份正在進行區域集中建設。例如，西部某省份在全球第二的業務支撐系統（Business Support System，BSS）廠商亞信的幫助下，正在開展CRM 集中化項目；吉林移動在國內知名CRM 廠商思特奇的支持下，也于2021 年3 月上線了全網集中化項目。

圖1 CRM 區域集中化云

2.3 統一的基礎平臺

區域集中化建設需要有一個統一的基礎平臺對各省的用戶和業務進行統一地集中管理。如圖2 所示，系統架構可以采用1 個基礎平臺+N個省份的定制模塊的方式，硬件設施的云化為統一的基礎平臺提供了保證。在此基礎上，允許區域內各省對服務接口進行定制化，可以優先調用定制接口。如果不存在定制，則使用公共的服務。這樣既能最大程度的減少基礎平臺和服務的重復開發和運維，又能保留各省份業務的特色。

圖2 一種統一集成平臺的區域集中化CRM 系統

2.4 多租戶管理

區域化統一運營，需要將不同省份的用戶數據云化存放，在統一的系統架構下對不同的省份進行數據隔離，這就要使用到多租戶模式，將每個省作為一個租戶。多租戶隔離模式主要有以下3 種。

（1）每個租戶獨立創建數據庫，這種模式安全性最好，隔離級別也最高。其優點是每個租戶都可以使用不同的擴展方案以滿足不同省份的獨特需求，如果系統出現的故障只影響一個省，恢復也相對容易；缺點是采購和維護成本比較高，一旦修改公共部分的數據和結構就要把所有數據庫都修改 一次。

（2）所有租戶共享數據庫，但每個租戶使用不同的schema。它也可以為租戶采用個性化的擴展方案，租戶數據也能實現一定程度的隔離。因為會涉及到其他租戶的數據，所以數據恢復比較麻煩。這是一種平衡型的模式。

（3）所有租戶共享數據庫，共享 Schema 和數據表，僅在每一個表中增加租戶標識以區分不同省份的數據。這是共享程度最高的模式，數據并不進行物理隔離，僅在邏輯上區分。該模式的配置成本最低，每個數據庫的租戶數量最多；缺點是數據安全性和隔離性最差，數據的備份和恢復最麻煩，每個表都需要針對不同租戶進行不同處理。

上述3 種方案，除了考慮隔離性和成本外，還需要對其他因素進行綜合考慮，例如各租戶數據量大小是否合適，如果單個租戶的數據量已經非常巨大，則傾向于隔離；反之，如果單個租戶數據量不大但租戶數量比較多，則傾向于共享。

2.5 微服務架構

隨著用戶量的劇增，移動運營商的CRM 承受的壓力越來越大，傳統的單體式服務已經越來越難以滿足高并發訪問的要求，繼續橫向擴展也難以為繼。有的省份甚至已經考慮從熱點城市、繁忙時段和服務接口等幾個維度對用戶訪問進行“限流”，即按照一定比例隨機性的限制訪問。而微服務架構在誕生之初就攜帶著擴展成本低、高可靠性、高并發性的基因，因而在互聯網廠商中早已得到普遍的應用。在CRM 系統中引入微服務架構，不僅能以較小的成本在X86 架構的PC Server 中進行部署，而且便于橫向擴展，對熱點服務部署多套，由負載均衡器對請求進行動態分配。由于每個服務都存在若干個“無狀態”的實例，如果個別服務器出現擁塞甚至故障，用戶請求就會被動態分配到其他服務器，并且對用戶無感知，這樣就兼顧了服務的低成本和高可用性，同時還有利于去IOE（IBM 小型機、Oracle 數據庫、EMC 存儲設備）。

2.6 服務調用鏈技術

在微服務架構中，各服務之間的調用非常繁雜，一旦出現問題就需要根據服務日志一層一層的定位。解決問題的辦法，是將這個請求經過的每一個節點都記錄下來，形成一個完整的鏈條，這就是服務調用鏈，如圖3 所示。顯然，通過服務調用鏈技術，可以快速定位問題，全盤理解和監控整個系統。

圖3 微服務調用鏈

服務調用鏈還可以用來分析用戶行為。在大數據時代，用戶數據越來越受到重視。與業務日志只能在用戶結果層面呈現用戶需求不同的是，服務調用鏈技術不僅可以看到用戶提交的操作，還可以從用戶點擊瀏覽器的行為過程為用戶進行精準畫像，以便更加有針對性地對用戶開展營銷活動。

2.7 容器化部署

由于容器化部署具有持續集成部署、跨云平臺支持、環境標準化、隔離性和安全性等優點，目前已經得到廣泛的應用。將CRM 程序運行在容器內部，顯著的好處就是互相隔離、互不影響，并且可以快速部署多套鏡像而不需要考慮基礎環境的差異。這種優點顯而易見，由于服務器內可以部署多個容器，每個容器內運行著一套獨立完整的程序，一個容器內的服務出現故障，并不影響其他容器內程序的運行。目前最為廣泛流行的容器是Docker 和CoreOS Rocket，常用的容器編排工具有Kubernetes、Docker Swarm 等。

3 結語

由于復雜的數據關系和龐雜的功能，中國移動各省CRM 架構改造進展緩慢[7]。但是，隨著互聯網許多先進技術的出現，多種成熟的技術正在往傳統的CRM 領域進行滲透，并深刻影響著下一代CRM 系統的發展。特別是硬件系統云化、多租戶、微服務、服務調用鏈等技術在CRM 系統的應用，不但能顯著降低后者的建設和運營成本，并且能提升后者高并發、高可靠性和高可用性的能力，助力運營商進行數字化轉型。

目前，各地的5G 網絡正在大規模進行建設，移動運營商需要對CRM 系統進行升級改造，提升用戶的使用體驗，占據更大的市場份額。