中國聯通音樂基地“云化”改造方案研究

楊紹光 鄒西山 趙爾康

1 中國聯通研究院 北京 100032 2 中國聯通音樂運營中心 廣州 510623

引言

傳統意義上,音樂發燒友在獲取、收藏、整理和收聽音樂時,首先要在浩瀚網絡空間中尋找、下載歌曲,再整理到移動終端上進行收聽。為此,很多消費者需要在電腦硬盤中存儲數十GB容量的數字音樂。這時,手機等移動設備可能會受制于容量空間而無法全盤拷貝。而即使能夠拷貝,也無法將這些音樂以最便捷、有效的方式和朋友共享。而“音樂云計算”的出現解決了上述問題,同時也對音樂平臺的系統建設提出新的要求,繼蘋果拉開“音樂云計算”的序幕之后,谷歌收購了Simplify Media,惠普收購了Melodeo公司,音樂平臺的云化已成必為然趨勢。

中國聯通音樂平臺隨著業務的迅猛發展、規模的快速擴大,系統復雜度不斷提升,各業務的硬件資源管理、應用管理難度日益突出,另外,由于業務發展的不均衡性,導致各個業務模塊的資源使用不均衡,部分應用分配的資源較空閑,部分應用分配的資源較繁忙,導致資源利用率低下、管理復雜、業務應用部署慢等一系列問題。

基于此,中國聯通啟動了音樂基地云化改造,建設音樂云的工程建設,不斷優化現行系統,滿足新的業務功能需求和市場形勢,以更好地為用戶提供個性化的音樂體驗,提高用戶黏性[1-2]。

1 系統功能需求

經過兩期工程建設后,中國聯通音樂平臺形成了由業務平臺、業務門戶、管理支撐、客戶端等幾部分組成的總體架構,提供炫鈴、振鈴下載、整曲下載、整曲點播、MV下載、MV點播共6類主要業務。目前新的功能需求如下。

1) 擁有且兼容沃云平臺的現有功能點。

2) 垂直搜索:聚合互聯網音樂資源信息,提供基于智能搜索的站內搜索引擎、基于聯通內網正版音樂庫的智能搜索、基于開放互聯網音樂資訊的垂直搜索,為用戶提供更新、更全的音樂搜索。

3) CDN網絡加速:租用CDN節點,通過CDN網絡分發技術實現音樂門戶、流媒體點播、下載的加速,緩解業務高速發展對網絡帶來的壓力,同時通過雙線網接入以及智能DNS,解決異網訪問瓶頸,為“下載音樂”向“在線收聽音樂”的轉變提供優質服務支撐,全面提升用戶體驗。

4) 云音樂及三屏互動:用戶可將收藏、愛好、歌曲列表等個性化信息通過云服務,達到一次操作,多終端(手機、平板、PC)同步。實現多屏共享和互動,提供個性化的音樂體驗,提高用戶黏性。

5) HTML5門戶:利用新一代Web技術搭建基于HTML5的手機音樂門戶,免安裝、免下載,實現類似桌面的應用體驗,類似客戶端的互動效果,提供良好的用戶體驗。

6) 能力共享和開放:為開發者、互聯網合作企業提供炫鈴開通、音樂點播、下載等標準API接口,為WO+平臺提供音樂專輯、音樂收藏等接口,實現音樂能力的共享和開放,完成與合作企業的資源置換。

7) 資源分享和聚合:與總部能力共享、沃云等平臺的資源實時共享,與終端管理(DM)系統、電子渠道系統、NET取號模塊對接,整合聯通內部系統資源,提升業務能力,實現聯通WO+體系戰略化部署。

8) 門戶一體化運營支撐:實現Web、WAP、10155語音平臺等音樂門戶的一體化運營支撐,音樂業務平臺統一,分省運營。

9) 炫鈴平臺集中管理:集中整合并升級炫鈴平臺管理功能,包括無線音樂推廣炫鈴(含系統默認炫鈴)、炫鈴DIY同步、炫鈴一鍵復制和下載、炫鈴訂退實時通知音樂平臺、免功能費開通炫鈴等功能的集中改造和數據上傳接口完善。

10) 統一數據中心:整合音樂平臺業務數據以及外部相關數據,建立音樂中心的數據倉庫,形成統一數據中心,依托數據中心進行挖掘分析、數據展現、為各省提供統一的數據支撐以及智能營銷等。

11) 客服系統建設:建設統一音樂業務在線客服中心。

12) 外部曲庫建設:建設互聯網外部曲庫,提供海量音源的集中存儲,實現外部歌曲的快速引入,快速擴充聯通音源庫。

13) 產品形態完善:豐富客戶端產品形態,提供炫鈴客戶端、卡拉ok客戶端、聽書客戶端等產品,建立完整的客戶端產品體系。

14) CP招募和自助服務:實現CP招募工作電子化、標準化,使招募工作更公平、公開、公正,提高招募效率,包括公告通知、自助查詢、招募管理、CP管理等模塊。

15) 門戶和客戶端優化:完善現有門戶、客戶端、采用HTML5技術對手機門戶進行優化改造,增強互動性、提供音樂DIY、卡拉OK、音樂達人、原創音樂上傳管理。

16) 業務平臺優化:完善優化流媒體點播、下載、話單處理、接口調度等基礎業務平臺能力。

根據以上功能需求分析,新的音樂平臺的功能邏輯層次結構如圖1所示[3]。

圖1 音樂平臺功能邏輯層次結構圖

2 系統設計與實現

基于以上功能需求,根據云計算平臺的總體功能架構,現對該音樂云的實現研究論述如下。

2.1 服務器云化改造

2.1.1 總體架構

目前云計算平臺整體架構可分成四層:物理資源層、虛擬化層、云計算管理層和業務應用層。物理資源及其上的虛擬化是整個云計算平臺的基礎,因而對于音樂云的實現,首先需要實現對服務器和存儲資源的云化改造,形成池化的云計算資源,以滿足應用系統對底層資源的需求。云化資源池總體架構如圖2所示。

圖2 服務器云化系統架構

在圖2中,服務器云化系統由物理資源池、虛擬化層、云平臺管理、應用系統等層次組成。物理資源池由物理服務器組成,通過物理交換機連接形成;虛擬化層采用Xen、KVM等虛擬化技術,把底層的物理服務器虛擬化,形成虛擬化的資源池;云平臺管理層通過云平臺管理系統,對虛擬資源池進行配置管理監控,統一調度資源池,對上層應用系統提供服務;應用系統即云化資源池的服務對象,通過統一接口調用云化資源池內的資源。

2.1.2 實現步驟

由于音樂基地首次采用云計算技術,為保證原有系統的穩定運行、平滑過渡,云化改造采用先構建種子云的方式,后續把應用系統逐步遷移到云平臺的方式進行,如圖3所示。

圖3 音樂基地服務器云化改造計劃

根據圖3,改造工作應分層分步進行,對于Web、中間件、小型應用,快速構建統一的資源池;對于大型的后臺應用,督促軟件開發商進行分布式改造,使之可以支持云化的部署方式,然后逐步遷移到云化資源池;對于大型數據庫應用,繼續關注業內分布式數據庫的發展,等待技術成熟的合適時機考慮數據庫的云化方案。

2.1.3 建設原則

云化資源池建設應遵循以下原則。

1) 先易后難。資源池建設的最終目標是構建統一的全局共享的唯一資源池。當前的目標是先易后難,逐步過渡。

2) 前瞻考慮未來系統建設發展。需要前瞻性考慮應用系統發展對資源池的需求,目前積極探索和嘗試各類系統應用的資源池部署模式,建議先梳理一批輕量級、規模小、易改造的應用,將其部署到X86資源池。

3) 立足于當前應用系統的實際情況,以向應用系統提供便捷的基礎資源服務為建設目的。構建的資源池應對目前應用系統的改造影響盡量小。應用在未徹底進行分布式改造前,高端小型機在關鍵業務、高性能需求的應用場景下仍有不可替代的作用。

2.2 云存儲建設

2.2.1 總體架構

沃云對象存儲包括四個模塊:存儲層、業務層、接口層和系統管理。其中存儲層采用高度可彈性部署、透明管理的分布式存儲系統,可以存儲海量的文件和索引信息;業務層主要是提供數據管理(權限、分類、狀態)和存儲管理(容器、對象管理);接口層提供面向應用的接口,包括Web Service等,接口支持標準的S3面向對象的存儲接口;系統管理主要實現存儲平臺的節點管理、安裝部署、監控配置及日志管理等功能[4]。

在音樂平臺內部,云存儲通過存儲API為上層業務系統提供存儲服務;同時還通過管理接口與音樂平臺管理支撐系統對接,提供相應的運維管理、數據分析等功能,架構圖如圖4所示。

圖4 云存儲系統架構

2.2.2 接口

沃云存儲涉及與音樂平臺其他子系統的接口包括與音樂平臺業務系統的接口及與音樂平臺管理支撐系統的接口。

與音樂平臺業務系統的接口API層包括Web Services訪問接口、身份認證、權限控制、配額管理和對象管理。其中Web Services訪問接口提供Restful的基于HTTP協議的訪問形式,實現數據的寫入/讀取;身份管理、權限控制和配額管理對業務系統發出的每一個讀寫請求進行檢查,確保請求的合法性以及保護被請求對象的安全。對象管理則集中處理對象模型中的結構化元數據和非結構化數據,同時對數據的一致性進行保障。

與音樂平臺管理支撐系統的接口需依據支撐系統的接口要求和數據格式,可完成存儲節點管理、賬戶管理、監控管理、日志管理、告警管理等功能。

2.2.3 部署

音樂平臺系統的云存儲部署方案如圖5所示。

圖5 云存儲部署方案

在圖5中,其管理節點負責云存儲的節點管理、監控、日志、報警等功能;存儲節點負責數據的寫入/讀取以及內部的同步備份功能。

云存儲通過匯聚交換機、核心交換機與音樂平臺系統連接。音樂平臺業務系統通過接口實現對存儲數據的寫入和讀取功能。音樂平臺運行維護系統通過接口實現對云存儲的管理功能。

3 系統遷移

音樂基地云平臺提供虛擬機并安裝操作系統后,業務系統就可以在其基礎上部署業務軟件。為了規范業務系統向云平臺的遷移,保證業務系統在云平臺上穩定運行, 特對此遷移原則及流程說明如下。

3.1 遷移原則

云化資源池建成后,為保證業務穩定運行與平滑過渡,需要把原有應用逐步按順序遷移到云化資源池。而不同的應用其遷移策略也不盡相同。

業務應用系統從可遷移的特點來說,可以分為3大類:管理類應用、生產類應用、數據分析類應用。

對于管理類應用來說(比如:OA系統、網管系統),由于此類應用的低并發、資源消耗小等特點,導致傳統的煙囪式建設方式資源利用率低下,大量計算資源閑置。對于此類應用遷移到云化資源池后,可以得到很好的整合比,資源利用率提高效果明顯。同時由于此類應用對可靠性要求較低,在使用云計算建設方式的初期可以有效驗證系統穩定性,積累運維經驗。

對于生產類應用系統(如:炫鈴、MV點播),面向最終用戶,系統并發量大,要求系統有高可用性,同時由于業務量大,要求使用低成本的X86系統。此類應用系統的遷移可以在管理類應用之后進行。

對于數據分析類應用系統(如:大型數據庫服務器)由于已經有較高的資源利用率,遷移到云化資源池后可以得到較好的管理統一性、便利性,但系統整合比不高,資源利用率提高不明顯。建議根據應用的特點,后期遷移到云化資源池,或者不遷移[5-6]。

3.2 遷移流程

為了規范業務系統向云平臺遷移的流程,保證業務系統在云平臺上穩定運行,特對系統遷移的流程進行規范,如圖6所示。

圖6 業務系統向云平臺遷移

提交業務系統信息:云平臺對計算服務器進行虛擬化處理,并提供虛擬機給業務系統使用。云平臺提供的虛擬機是否能夠滿足業務系統的使用需求,需要進行充分評估。如果虛擬機能夠滿足需求,可以在虛擬機中進行業務系統軟件部署,否則建議業務系統還使用傳統的物理機部署方式。

業務系統評估:根據業務系統相關信息,由音樂基地云平臺負責人組織研究院、設計院、總集成商、業務系統負責人共同對業務系統向云平臺的可遷移性進行評估。評估依據參考《中國聯通音樂基地服務器云化改造方案》中的“應用遷移的原則”章節以及云平臺資源使用情況,綜合確定業務系統的哪些服務器可以遷移到云平臺。對于不能使用虛擬機的業務系統服務器,需要業務系統負責人向音樂基地物理資源負責人申請物理服務器,走傳統的物理資源申請流程。

制定遷移方案:遷移服務器、虛擬機網絡結構確定之后,廠商負責制定業務系統遷移方案,期間由總集成商協調研究院、音樂基地、業務系統負責人、廠商和協作單位給予協助支持。方案中需要給出虛擬機和物理機的數量、IP地址、VLAN、負載均衡策略、端口映射規則、網絡拓撲、遷移方式等信息。

評審遷移方案:遷移方案制定后,由音樂基地、研究院、設計院、總集成商、業務系統負責人、廠商對遷移方案進行評審。確認遷移方案是否可行以及對現網其他業務有無影響。

業務測試:業務遷移之前,業務系統負責人需要提交業務系統測試方案,根據測試方案對業務系統進行測試并提交業務測試報告。

業務遷移:遷移方案評審通過后,由研究院根據遷移方案創建虛擬機,音樂基地分配物理資源、進行網絡等相關配置、由業務系統負責人在虛擬機上進行業務部署。

業務驗證:遷移完成后,由業務系統負責人對遷移的業務系統進行驗證,由音樂基地驗證業務遷移對其他業務系統的影響。

4 總結

本文根據中國聯通音樂平臺業務發展需求,及音樂云計算的必然趨勢,以邏輯結構功能圖的形式詳細描述了新的音樂平臺應具有的各種功能。在此基礎上,對“云化”改造的具體方案進行了研究,首先對服務器“云化”改造的總體架構、實現步驟、建設原則進行了說明;其次,對音樂基地云存儲建設的總體架構、接口和部署進行了論述;最后,為了使當前的業務系統能夠平穩有序地遷移到構建的音樂云平臺之上,并且平穩運行,特對此遷移原則和流程規范進行了詳細說明。通過該方案,將音樂平臺部署到云平臺之上,使得云平臺能夠為音樂平臺各子系統提供彈性計算資源服務,可以解決當前音樂平臺資源利用率低下,管理復雜,業務應用部署慢等缺點。此外,該解決方案的提出,也對其他平臺的云化建設提供了一定的參考依據。

根據此方案進行的音樂基地云化改造實施了四期工程,逐步對音樂基地的48臺服務器進行了云化改造,其中4臺管理服務器、3臺存儲服務器、41臺計算服務器,形成了3個資源池,分別用于測試業務、內網業務和外網業務,并對3個資源池進行統一管理。在3個資源池上承載了音樂基地28個業務的119個虛擬機。大大提高服務器資源的利用率,節省大量電力資源和使用空間,降低服務器的管理成本,體現了云計算的優勢和特點。同時進一步驗證了“沃云”技術架構的可實施性,對于“沃云”技術的推廣使用具有借鑒意義。

參考文獻

[1]AmazonElasticComputeCloud[EB/OL](2011-07).[2014-01-20].http//laws.amazon.com/ec2/

[2]Michael stephens ten trends & Technologies for 2009[EB/OL](2009-12-12).[2014-01-20].http://tametheweb.com/2009 /01 /12 /ten-trendstechnologies-for-2009.

[3]2012年中國聯通總部音樂平臺系統擴容工程可行性研究報告[R],2012

[4]中國聯通音樂基地云存儲建設方案[R],2012

[5]劉鵬.云計算[M].北京:電子工業出版杜,2010

[6]周平.張超.云計算及云存儲的管理技術[J].上海電力學院學報,2010,26(5):498-501