林宇揚
(宜通世紀科技股份有限公司,廣州 510000)
伴隨大數據技術的迅猛發展,通信運營商都已經開始設計并推進自己的大數據發展戰略,并且取得了不錯的效果。為實現通信運營商海量數據資產的最大化利用,構建一個全方位的大數據開放運營平臺,這就要求通信運營商必須要建立一個標準化的大數據服務能力開放平臺,這樣才能夠對數據進行快速提取、處理及應用。
為使大數據平臺功能效應發揮至最大,那么就必須要構建通信領域大數據能力開放平臺。結合實際情況,該平臺在基本功能需求上必須要滿足以下三點:第一,API服務能力,這一點必須有實現數據共享需求同數據安全原則之間的有效結合,構建API服務開放業務流程,實現其定義、發布、訂閱等業務管理。第二,數據服務能力,從字面意義理解就是必須要具備提供數據服務能力,登陸者能夠在平臺上找到自己需要的數據產品,這樣就可以提供個性化服務。第三,系統管理服務能力,這個能力在細分上要包括能力監控、申請審批和安全認證等[1]。
大數據能力開放平臺一共包含三個部分:數據處理、能力開放和數據應用,其中數據應用層可以實現API服務、數據服務與系統管理服務。API服務能夠實現API在線設計測試、訂閱等[2]。系統管理服務是一項輔助功能,主要是保證API服務及數據服務可以得到有效落實。能力開放層主要用于幫助數據應用層服務能力得到有效落實。數據能力層主要就是幫助上層應用進行數據源的提供,主要包含三個部分,分別是運營商數據、標簽數據和合作方數據。
API服務能力主要包括四個方面:第一個方面是API封裝。依托于內部原本數據服務、添加的數據服務和差異化數據源來進行API封裝。通過可視化界面就可以對API進行接口信息描述定義,從而就可以配置不同數據源,如HBASE、REDIS、
ORACLE、MYSQL等。當API生成以后,開發人員在操作選擇項上主要有兩種,第一種是直接部署測試,第二種是二次開發。為能夠讓接口定義更具備通用性,在風格上可以采取RESTful式,這樣就在進行API調用的時候就可以簡易化。第二個方面是API注冊,相關管理人員注冊好API以后進行發布,系統管理員按照相關審核流程來展開審核,這樣有需求的人員就可以迅速查找到需求的API。第三個方面是API商店,主要功能是提供全部API瀏覽檢索功能。第四個方面是API管理,主要是進行API調用,在請求調用的過程中會利用訪問密鑰來提供安全保障,主要管理三方面內容,分別是API偽裝、API可見性、API安全驗證[3]。
第一,數據封裝。其服務對象是特定數據產品,數據封裝主要就是數據庫和文件庫兩者之間的封裝,其中前期包含ORACLE、HIVE、MPP、MYSQL;而后者包含FTP、sFTP、HDFS。第二,數據配置,數據配置主要包含三個類型:其一,數據源配置,指的是利用資源配置管理數據資產位于的數據庫;其二,FTP配置,對FTP服務器進行管理,處于元數據平臺之中,對接口文件FTP進行調度;其三,代理資源配置,就是對代理服務器進行管理。第三,數據發布。把數據產片在產品目錄中進行發布以后,登陸者就可以通過產品列表找尋到該產品的定義信息。第四,數據商店,主要功能就是實現全部數據產品的檢索[4]。
第一,監控管理。利用標準化監控入口來實現對于API服務和數據服務的監控管理。第二,用戶管理。主要就是用戶、角色和權限的管理。第三,流程管理。包括審批流程、產品發布和產品生產三種流程的管理。第四,計費管理。就是根據用戶對于開放服務的使用情況來進行計費,包含計費方式、支付方式、計費統計。
為能夠建立一個標準化的服務能力開放平臺,使大數據能力開放平臺在應用上能夠簡單有效。因此必須要對平臺硬件展開有效設計。大數據能力開放平臺所包含的硬件主要有三部分:第一,數據匯聚中心。其為數據采集中心,能夠統一接入B域、O域、WLAN數據等數據,數據匯聚中心在進行構建的時候主要就是依托于已有的建設平臺來完成。第二,硬件平臺。硬件平臺上會構建一個X86服務器,這樣就可以有效地迎合軟件運行需求,主要實現的功能為基礎計算功能、資源存儲功能。第三,軟件平臺。在軟件平臺上可以部署華為UNIVERSE大數據套件、HADOOP(CDH版),以此進行基礎軟件平臺的建立[5]。
目前,通信領域大數據平臺缺乏標準化應用和數據服務的發布、共享平臺,并不能夠重復使用一種標準化API,且在開發門檻上非常高,交付效率還特別低。為使該問題得到有效解決,本文主要就是對通信領域大數據能力開放平臺展開功能需求、軟件架構、主要模塊和硬件設計展開詳細探討。