張長青 中國移動通信集團湖南有限公司岳陽分公司高級工程師
?
移動運營商大數據和云計算應用探討
張長青中國移動通信集團湖南有限公司岳陽分公司高級工程師
摘要:傳統低附加值語音收益正在下滑,新興高附加值大數據和云計算影響如日中天。在探討移動運營商大數據和云計算應用的趨勢后,認為只有將傳統的用戶結構化數據和新的用戶半結構化或結構化數據相結合,并廣泛與政府、交通、醫院、學校和企業的數據相關聯,形成一個大數據系統,采用云計算技術,才能為移動運營商創新出更多的利潤空間。
關鍵詞:移動運營商;大數據;云計算
從數據本身的大小來看,大數據處理的數據量是極大的,一般可以達到PB級,甚至是EB級。從數據更新、增長、存儲和傳輸等響應程度來看,大數據的處理速度是非常快的,甚至前所未有。從數據采集、來源、結構、用途等處理過程來看,大數據呈現出非同一般的多樣性特點,有傳統的表格式結構化數據,也有像文本、視頻、圖像等半結構化和非結構的信息,且不同或相同類型數據間的交互非常頻繁、廣泛。所以,大數據是一種規模程度只能用全新的云計算方式,在合理時間內達到擷取、管理、處理和整理的數據系統,是可幫助企業經營決策提供參考,可通過新的處理模式使其具有更強的決策指導能力、洞察發現能力、流程優化和業務增值能力的,蘊藏著巨大潛在商業價值的新型海量數據處理技術。
從技術上看,云計算是并行計算、分布式計算和網格計算的融合與發展。從使用上看,云計算是一種基于Web的服務、一種現代網絡計算的商業模式。從整體上看,用戶運用云計算的所有程序,不是運行在用戶的個人終端上,而是運行在企業網或互聯網上的“云”服務器群中;用戶運用的所有數據,不是存儲在本地終端上,而是保存在“云”端的數據中心。也就是說,云計算技術支持用戶可以在任何時間、地點、用任何可以連接至企業網或互聯網的終端設備,利用“云”中的計算資源和數據資源為自己申請想要的任何服務。所以,云計算是一種利用網上大規模計算機集群,通過整合、管理、調配分布在企業網或互聯網各處的計算資源,具有以統一的界面同時向大量用戶提供數據存儲和網絡計算服務的現代網絡計算模式。
從目前的三大移動運營商來看,不管是移動、電信,還是聯通,數據存儲、分析、應用等處理手段,采用的都是以省公司為單位的集中式管理模式,同時承載著本地用戶或外地漫游用戶的電話、互聯網、以及各類行業應用中的話音和數據等通信業務,企業的業務收益正在經歷從傳統的語音經營向現代的數據經營的轉化。數據量之大、數據處理速度之快、數據組成內容之復雜,使得這些移動運營商所管理、處理的企業數據變成了具有大量、高速、多樣和價值特點的典型大數據,有能力處理這些大數據的非云計算莫屬。本文較為全面地分析了移動運營商應用的大數據系統和支撐大數據運營的云計算系統,闡述了這些系統在為移動運營商順利完成經營模式轉型所產生的重要作用,指出以大數據和云計算作為新的增值盈利方式是移動運營商必須重視的發展方向。
據GSMA預測,全球移動數據流量的年增長率將會超過50%,到2018年移動數據流量將會達到2012年的12倍以上,每年以2倍的速度增長。隨著數據業務的興旺發展和語音業務的不斷萎縮,移動運營商一方面有越來越多的企業數據被要求長期保存,另一方面每天從各種管道、業務平臺和支撐系統中產生的新數據又會大量涌現,這些有價值的存儲在移動運營商數據中心的大數據,若能為商業智能利用,一定會為運營商帶來巨大的商業機遇,開辟新的盈利空間。移動運營商的大數據正在以銳不可當的勢頭成為企業發展的戰略資產。
目前,從現有的技術角度來看,對移動運營商有價值考慮、能力駕馭的大數據應用,主要表現在語音數據、視頻數據、流量和位置數據分析等4個方面。從目前的現實出發,移動運營商必須以綜合平臺為參考,以智能管道為依托,以大數據資源為基礎,利用現階段的優勢,聚焦重點大數據應用,特別是聚合更有價值的四大大數據商業應用模式,依托自身的傳統核心業務,才能有效地實現企業利潤的最大、最優化。下面從數據、視頻、流量和位置等數據分析方面來探討移動運營商當前的大數據應用。
移動運營商傳統的數據都集中在省公司的數據中心,主要分為用戶管理、業務管理、網絡管理、辦公管理等幾大信息資源,是一個極大的企業信息管理系統。其中,辦公系統是一個相對獨立的內部體系,數據量小。省公司數據中心采用的是分布式存儲、運算等管理方式,物理上以2~3個地市分公司為單位分別存儲在不同的小型機數據庫中,這種海量數據管理系統相對于現有的技術,不僅可以保證各分公司數據互不影響,也可以提高數據的處理速度,強化各分公司數據的安全管理。移動運營商所管理的數據系統主要分為業務和網管兩塊。
支撐省公司的幾千萬客戶的大數據系統叫BOSS系統,涵蓋了計費、結算、營業、帳務和客戶服務系統等功能,對各種業務功能進行集中、統一的規劃和整合,是一體化的、信息資源充分共享的支撐系統,每天動態存儲的數據在幾十PB級以上。而在管理著省公司幾十萬個基站、上百個交換機、上萬公里光纖傳輸系統和無數網絡設備的網管系統中,各類應用功能網元都會留存日志,即使經過壓縮處理,每日生成的日志數據也在幾百GB以上,甚至達到PB。移動運營商管理的數據是一個名副其實的大數據系統。
其實,存儲在BOSS和網管系統中的絕大部分數據只是移動運營商的傳統數據,是一種傳統數據庫管理的表格化結構性數據。在當今移動互聯網和智能手機廣泛普及的時代,移動運營商所管理的傳統結構化數據正在減少。與之不同的是,通過微信、微博、社交網站、傳感器等多種來源如移動互聯網和物聯網的信息,如圖片、音頻、視頻、網絡日志、鏈接信息,絕大多數是不能用傳統數據庫管理的非結構化和半結構化數據,產生這類數據的通信方式因深得移動用戶喜愛,每日產生的數據量已開始超越結構化數據。
另外,傳統的結構化數據因其幾十年的數據庫技術的發展,應用價值早已為移動運營商全面利用,即使著力挖掘,潛力也不會太大。隨著結構化數據量越來越少,潛在的價值也會逐漸流失。所以,移動運營商的大數據應用應著力于結構化與半結構化數據或非結構數據之間的相互引伸、借鑒、滲透等方式的應用,或者專門只對半結構化或非結構化數據的挖掘應用等,使之逐漸成為一種全新的用戶需求,衍生出一系列成為企業利潤增長的新的產業鏈。當然,開辟這些的新應用方式,還需要新的眼光和思路。
建立新的用于分析海量語音數據的大數據處理平臺。這首先要求運營商必須建立容量巨大的用戶語音存儲數據庫,還要求運營商必須建立與之匹配的關于用戶語音通信的私密安全保護系統,然后才能建立專用語音數據分析系統。如為保險、房地產公司等提供基于自動語音識別的大數據分析系統,通過自動語音識別從海量非結構化數據中搜索出有保險需求或購房打算的客戶,甚至從語音數據中分析出用戶的相關意向,為保險、房地產公司等和客戶之間提供量身定做的具有交互能力的有償廣告服務。
建立智能圖像分析的視頻索引、搜索、摘要等大數據服務體系,專門從事海量視頻信息的挖掘業務,需要移動運營商一方面建立自己的物聯網標準接入系統,另一方面建立用戶微信、微博和視頻等非結構化海量數據庫和專用物聯網。然后,將交通、天網,以及政府、醫院、學校、企業和個人的專用攝像數據,通過無線或有線與移動運營商物聯網相結合,形成一個完整、全面的視頻數據處理系統。使之在為智慧城市、平安社區、交通監管等公益領域服務的同時,還能為廣大移動用戶提供有償的視頻信息服務。
建立移動用戶行為分析系統,專門用于分析用戶實時的微博、微信、瀏覽信息等,從中發現用戶的行為習慣和好惡取向,捕捉能為企業增值的新業務和新項目,是移動運營商另一個具有潛在收益的大數據服務系統。如游客在旅游中上傳的照片、上網瀏覽的日志等信息,就與游客的位置、行程、喜好等行為信息有很強的關聯性,對使用用戶的位置和運動軌跡進行分析,實現熱點地區人群頻率的概率性有效統計分析,就能為景區提前對游客的人流合理分布進行優化預測和科學設計提供有價值的重要參考。
云計算可概括為云平臺和云服務兩個層面。云平臺是指能夠提供足夠計算資源和數據資源的企業網或互聯網,且資源具有動態可擴展性等特點;云服務是指包含在云平臺所有底層基礎設施中,可為用戶完成所有需求的各種服務,這些服務可能來自不同底層設備的自動處理、組合和優化。雖然云平臺中的云資源和對云資源的計算過程對用戶來講是一個黑匣子,但用戶可以在云中自由、方便、快捷、簡單地獲取所需的任何服務。移動運營商具有豐富的結構化、半結構化和非結構化大數據資源,對這些資源的處理非云計算莫屬。
云計算按服務性質可分為公有云、私有云和混合云。
公有云是企業自己的云資源可以提供給外部團體和組織使用的云服務。私有云是企業為自己構建的單獨使用的云平臺?;旌显萍闪斯性坪退接性品?,是公有云和私有云相結合的云架構。移動運營商的公有云主要集中在移動互聯網,私有云則集中在用戶、業務、網絡等管理方面。從企業大數據結構的特點和企業應用大數據的需求來看,移動運營商的云計算更應選擇混合云,因為隨著大數據系統的全面應用和移動企業數據資費的全面降價,只有廣泛與政府、醫院、學校、企業等單位全面合作,充分利用公有云,才能找到新的收益增長點。
混合云的特點是自己可以有償訪問其他公有云,自己的公有云也能有償出讓給外部隨意訪問,真正做到大數據的最大共享化和最大價值化,使之能夠依托大數據和云計算平臺,極大地拓展用戶需求、挖掘產業空間、創建收益渠道。所以,移動運營商在混合云建立方面,首先要設計好互操作性和標準化,其次要為廣泛集中各種大數據資源形成資源共享做好資源池或資源索引池,其三要有長遠眼光,預想未來應用,未雨綢繆,預留相關接口與空間。當然,最重要的是要做好應用協調,使之形成對最終用戶的方便服務。
云計算技術主要有兩種,一是大規模并行計算,該技術廣泛應用于互聯網公司,以大量低端計算機進行大規模并行云計算,以低成本高性能方式解決互聯網每日流動的海量數據。如Google公司全球服務器數超過百萬,每天處理的數據超過20PB,而物理上的存儲與計算單元竟是廉價的PC服務器;二是虛擬IT資源池,把IT資源虛擬化,形成資源池,出租給最終用戶。資源池的集中化和規?;瘶I務提供方式,極大地提高了系統的綜合利用率,具有極大的成本優勢。如移動運營商廣泛開展的虛擬運營商業務VFO,就是一種虛擬IT資源池業務,可以為從事手游等業務的租賃者提供方便、簡單、低廉的移動通信接入服務。
作為移動運營商創收的主業,語音收益和流量資費正不斷減少。而虛擬移動運營商VFO的出現,有可能使數據流量完全免費。可以預見,僅靠語音話費和流量資費來長期地保證運營商的營業利潤是不現實的,也是不可能的。為了降低投資運營成本、開拓新型業務類型、尋找新的收入支點,運營商注定要在大數據和云計算領域有所作為。運營商要學會使用自己已有的網絡基礎和客戶優勢,對外,為客戶定制云計算解決方案、創建更多符合本地化特征的云計算應用;對內,努力提升企業精細化運營成效,全面提升用戶體驗和品牌感知。使大數據和云計算這項新技術始終伴隨著企業在新業務、新模式的創新軌道上健康發展。
移動運營商利用大數據開發的各種新業務的最終落實,都需要云計算的全面支持。如精確地為每個業務找到合適的營銷人群,以最小的營銷成本實現最大的用戶轉換,就需要系統在業務的發展、獲取、設置、使用、購買、幫助、改變等環節去理解用戶的行為與偏好,采用連續跟蹤和分析,形成準確的用戶肖像和動態分類標簽;又如對使用環節如流量日志數據的分析可幫助區分不同興趣的人群,對設置環節如HLR/HSS數據的分析可幫助區分不同活動范圍的人群,對購買環節如CRM的分析可幫助區分不同購買力和信用度的人群,這些云計算中既涉及運營商本身的私有云,也涉及其他企業、政府等提供的公有云。
在移動運營商的網絡運行維護系統中也可以用云計算提供幫助。由于4G的全面商用和智能手機的廣泛普及,極大地推進了移動互聯網的高速發展,也使得基于網絡的信令數據迅猛增長,這就要求運營商加大力度來提高網絡服務質量,保證廣大客戶的數據流量體驗暢通無阻。網絡運維重在預防,防范于未然,將故障的苗頭極早消滅在萌芽狀態。要做好這些,就要努力地提高網絡維護中的實時監測,做好預測網絡流量峰值,預警異常流量的工作,防止網絡堵塞和宕機。面對全省幾十萬個基站、幾十萬公里的傳輸線、上百個交換中心,只有支持智能分析功能和大數據系統的云計算才能及時指出運行中網絡系統存在的瑕疵。
省公司數據中心的數據庫,多采用小型機和陣列等硬件設備。目前,國內小型機和陣列等硬軟件都是幾家跨國壟斷公司的專有產品,價格昂貴,沒有兼容性,采購周期長。如SUN公司小型機,不管是CPU、內存、硬盤等硬件,還是操作系統、數據庫系統等軟件,都是SUN公司的專有產品。特別是CPU和內存,因其不同批次的超大集成技術可能不同,更換同類產品時必須是同一批次,否則很難正常工作。因此,數據中心每次升級擴容,都必須提前幾個月做好規劃,因為專用部件量產少,同批次量產更少。數據中心硬件升級擴容的長時性,很難適應靈活多變市場的瞬時性,維護優化成本居高不下,升級擴容還會影響數據中心的正常工作。
云計算是解決當前省數據中心硬件升級擴容問題的重要技術。集團公司直接管理著30多家省數據中心,若將這30多家省數據中心的計算與存儲資源,形成一個以集團公司為單位的私有云,使30多家省數據中心的資源共享,各省數據中心硬件升級擴容時,既不會影響數據中心的正常工作,還會加快升級擴容的速度,降低硬件成本,安全性也能得到保障。若采用互聯網上的公有云,省數據中心只需要向互聯網上的專用云公司申請,除了提交所需的容量大小、響應速度和安全級別等基本信息,其他的概可不管,這種公有云的業務租賃,沒有軟硬件維護成本,沒有采購周期,可隨時更改業務內容,也能得到云提供商的安全質量保證。
移動運營商的大數據與云計算應用,在語音通信和數據流量的資費還是企業的主要收入來源的當今,應該立足移動通信語音與數據這個主業,在大數據與云計算還未形成真正的產業鏈,成為企業利潤的重要支柱前,大膽地在企業內部有條件的方面開展大數據與云計算應用的嘗試,這些嘗試首先采用與現有技術相結合的方式。如對用戶傳統的漫游信息新建一個專用半結構化數據庫,再與鐵路、公路、航空和氣象等公司的數據庫聯網,利用運營商企業私有云進行計算分析,為每個旅行在外的用戶及時免費地送去需要出行的相關信息。
移動運營商還可以建立一些僅為自己所用的嘗試性大數據與云計算應用,前提是,這些嘗試的方向直指當今的熱門大數據與云計算應用,或者是當前研究很有潛力的大數據與云計算應用,至少這些嘗試的方向應能為企業今后在大數據與云計算發展方面提供經驗或打下基礎。如建立容量適當、隱私安全較高的周期性循環刪除與存儲的用戶通話語音數據庫,建立專門分析、研究用戶通話語音的從中挖掘為運營商有用內容的云計算平臺,為需求用戶提供新穎實用的免費信息,如根據用戶通話內容發送用戶就醫信息等。
目前,城市私家車和其他車輛的發展勢頭十分迅猛,行車安全與道路暢通,已成為政府和廣大市民迫切關注的日常問題,這實際上就已為移動運營商提供了新的商機。移動運營商可以與當前比較完善的智能交通管理系統聯網合作,借用交通視頻實時數據,建立一個專用交通視頻分析平臺的私有云,通過智能視頻分析技術,再借助行車北斗系統或終端GPS系統,實時地為行車用戶提供交通順暢的預測信息。這既可以為本市區智慧城市建立做出貢獻,也可有助于總結出為機動車移動用戶提供特定服務的新型產業鏈建設經驗。
移動運營商可以結合大數據和云計算開發一些與民生相關的產品投放給用戶,可以將其作為企業感謝大客戶或重點客戶的贈送產品無償分發出去,如“滴滴快”需要數據中心操作,存在一定的人工與系統維護成本費,且是被動運作,移動運營商可以開發出類似功能的自動系統。將的士的行車北斗數據和空車記錄儀數據通過司機手機的藍牙接口進入移動運營商的大數據系統,運營商利用私有云就可開發出支持用戶客戶與的士司機交互功能的載客通訊軟件,點擊這個軟件,與客戶最近的空車的士就能知道客戶的需求和位置。
移動運營商可與各產品商形成廣告合作機制,將各產品商的信息庫連接到移動運營商的數據中心,運營商通過大數據和云計算系統,動態地對所有用戶的通信信息行為屬性進行詳細研究,分析客戶行為慣性,追蹤客戶行為特點,甚至與客戶建立良性互動,在客戶愿意接受的前提下,及時準確地向客戶發送所需的廣告。如當客戶在智能終端發出尋找鋼琴信息的時候,鋼琴廣告征求的短信或彩信就會及時地出現在客戶的終端中,為了更人性化,甚至還會附上與客戶位置最近的擁有該類產品的銷售商的具體地址。
運營商擁有富含用戶行為特征的用戶大數據的優勢,要想把這些信息的作用發揮至極,把這些信息的價值充分體現,還應與廣大企業、政府、醫院、學校等單位的專用數據聯系起來,然后再用云計算來挖掘這些組合起來的大數據的價值。挖掘中不要局限于項目的大小、贏利的多少,特別要考慮合作雙贏和利益均沾這個當今商業競爭的規律。另外,越是貼近民生的項目,贏利空間越大,雖然利潤率不高,但客戶面大,薄利多銷,其利潤仍不可小覷。
任何一個企業要想獲得長期可持續的發展,就必須有足夠的對客戶數據的掌控能力,全面了解客戶數據,有效利用客戶資源服務于市場,甚至創建出新的產業領域、增收項目。使用大數據分析、挖掘等工具,移動運營商完全能夠整合來自市場、銷售、服務等部門的數據,從各種不同的角度全面了解自己的客戶,對客戶形象進行精準刻畫,尋找目標客戶,制定有針對性的營銷計劃、產品組合或商業決策,提升客戶價值。判斷客戶對企業產品和服務的感知,有針對性地進行改進和完善。通過情感分析、語義分析等技術,可以針對客戶的喜好、情緒,進行個性化的業務推薦。
大數據與云計算是一對互相依存的新興IT技術。數據的采集、存儲和簡單分析是大數據系統。對大數據的挖掘與應用,特別是科學地處理大數據,非云計算莫屬。事實上,智能終端上的大量應用,微信、微博、手機支付等讓越來越多的用戶在不知不覺中貢獻了越來越多的視頻、音頻、數據等大數據信息。如果采用云計算來處理這些平常、復雜、混亂、毫無頭緒的大數據,移動運營商就會像淘寶一樣變廢為寶,從這些看似普通的信息碎片中淘出沉沉甸甸的真金白銀,就是云計算顯示出來的巨大魅力。
大數據服從統計規律,能準確、深刻地標識出人或事物的行為本質,是跨行業、綜合性、動態、有意義的數據系統。將碎片化的信息整合起來,就能洞察消費者的行為軌跡和模式,也能為企業決策提供幫助。大數據系統在手機、電腦、信用卡、視頻監控等信息中,都能找到用戶留下的“數據腳印”。若用企業的私有云來深入整合、具體歸類和全面挖掘這些分散的海量數據,就能從這些富含商業價值的眾多信息中,發現消費者的興趣取向和行為習慣,這就是普通用戶大數據中蘊涵的極具價值的客戶行為屬性。
移動運營商必須清醒地認識到用戶大數據和云計算的價值,清醒地認識到傳統業務的利潤資源終將涸絕,只有大膽地進取、勇敢地涉獵大數據和云計算這個新的技術領域,才是保證企業持久發展、經久不衰的唯一經營方略。任何一個新技術的出現,都需要一批勇敢者的努力嘗試,衷心地希望移動運營商在大數據和云計算這個廣闊的天地大有作為。
參考文獻
[1]張長青.淺析4G運營商的大數據應用[J].電信網技術,2014.07: 35-39.
[2]謝華.大數據在移動通信中的應用探討[J].科技創業家,2014.01(下): 125-126.
[3]張長青.云計算在移動地市分公司的應用分析[J].郵電設計技術,2015.01: 61-66.
[4]周穎,呂巍等.基于數據挖掘技術的移動通信行業客戶細分[J].上海交通大學學報,2007(41): 1142-1145.
[5]錢宏蕊,劉玲.云計算技術在移動通信運營商的落地應用[J].電信工程技術與標準化. 2009.11:17-22.
[6]馬冬梅.關于移動通信網絡與大數據的探討[J].電訊世界,2014.09:10-13.
Discuss of mobile operator's big data and cloud computing app
Zhang Changqing
Abstract:The traditional low additional value phone income is falling, the affecting of newly arisen high additional big data and cloud computing is going up. Where is mobile operator's exit? After discussing mobile operator's big data and cloud computing app, it is combine user's structure data with half structure data or non structure data, it is to the government and traffic and hospital and school and enterprise's data correlation, becoming to a full society's big data system, use cloud computing, more profit is created for mobile operator.
Key words:mobile operator; big data; cloud computing(
收稿日期:2015-12-18)