“互聯網+”的大數據挑戰

楊明川　中國電信股份有限公司北京研究院高級工程師賈元昕　中國電信股份有限公司北京研究院高級工程師劉　楊　中國電信股份有限公司北京研究院高級工程師

?

“互聯網+”的大數據挑戰

楊明川中國電信股份有限公司北京研究院高級工程師
賈元昕中國電信股份有限公司北京研究院高級工程師
劉楊中國電信股份有限公司北京研究院高級工程師

摘要：隨著“互聯網+”的提出與發展，大數據分析作為傳統行業分析、利用數據的技術手段，迎來了新的發展。電信運營商具有得天獨厚的數據優勢，但數據質量、分析能力及隱私安全等問題對運營商發展大數據提出了更高的要求。本文結合“互聯網+”背景下大數據的機遇與挑戰，詳細地分析了運營商大數據發展的困惑與探索，探討了中國電信運營商在大數據領域的技術創新與研究成果。

關鍵詞：大數據；互聯網+；中國電信

1　引言

大數據產業的出現和發展是現代信息技術與互聯網時代海量信息發展到一定階段的必然產物；大數據應用是海量數據、現代信息技術與各種社會應用的一次化學反應，必將對當今社會的信息技術、商業模式和相關產業產生深刻的變革。

在大數據浪潮中，電信運營商是率先開展大數據研究和應用的行業之一。通過利用運營商海量的網絡大數據資源，各個運營商都構建大數據平臺并開展大數據創新。本文結合在研發中國電信“燈塔大數據行業應用平臺”過程中的一些經驗，對面向互聯網+的大數據挑戰進行分析。

2　“互聯網+”是大數據發展的機遇也是挑戰

“互聯網+”是一種新型經濟形態，利用膨脹增長的信息資源推動互聯網與傳統行業相融合，促進各行業的全面發展。“互聯網+”的核心不在于“互聯網”而在于“+”，關鍵是融合。將傳統行業與互聯網建立有效的連接，打破信息的不對稱，結合各自的優勢，迸發出新的業態和新的創新點，從而實現真正的融合發展。

大數據在“互聯網+”的發展中扮演著重要的角色，大數據服務、大數據營銷、大數據金融等都將共同推進“互聯網+”的進程，促進互聯網與各行各業的融合發展。然而，在大數據應用到“互聯網+”的過程中，發現還有大量的問題需要解決（見圖1），主要包括3個方面：

（1）數據質量不高是常態，如何建立更加有效的分析方法？

（2）數據的價值密度是關鍵，如何尋找價值高地？

（3）用戶的隱私保護日益重要，如何找到平衡點？

3　面向“互聯網+”的大數據關鍵技術

為了有效地服務于“互聯網+”，大數據需要在如下幾個方面進行技術突破：

●數據拼接技術。

●高階深度標簽技術。

●行業知識建模技術。

●基于場景的智能推薦技術。

●海量模糊數據降維和關聯分析技術。

●大規模交互式數據可視化技術。

●數據安全和隱私保護。

本文將對其中幾個關鍵技術進行介紹。

（1）數據拼接技術

大數據的一個特征是異構多維，只有將來自不同來源的異構數據進行有效的整合，才能真正發揮大數據的價值。猶如瞎子摸象，每個單一來源都只涉及一個單一的側面，只有把不同的側面重新組合并且關聯起來，才能完整地拼出一只“大象”。但是這個工作遠比想像的要難，原因有幾個方面：

●數據格式不同。

●數據標識（ID）不同。

●數據覆蓋不同。

●數據計量標準不同（特別是經過一定處理后數據）。

●大量的數據噪聲（重復數據、錯誤數據）。

這些因素導致將不同數據拼接成一個完整的立體數據具有非常大的挑戰。然而，在這方面運營商有較大的資源優勢。結合運營商數據廣度覆蓋的特點，有可能作為所有數據的基礎數據而實現數據拼接功能。在技術上，開發了基于圖的數據模型，進行數據拼接，具體參見圖2。

圖1　大數據遇到的障礙

（2）高階深度標簽技術

用戶畫像一直是大數據研究的重點方向。在DMP中，系統根據用戶訪問軌跡來打標簽，但是DMP通常僅僅通過關鍵詞提取來打標簽。為了進一步滿足行業大數據的應用需求，需要補充兩類標簽，一類是模糊標簽；另一類是抽象標簽。模糊標簽是因為數據缺失而需要通過算法來補全的標簽，例如用戶的性別屬性，如果基礎數據里面沒有這個屬性，就需要通過機器學習算法去預測這個值，而且這個值往往是一個概率；抽象標簽是針對一類高階的屬性，例如用戶購買力、用戶購物模式、用戶口味偏好等，去建立標簽模型。在燈塔平臺中，建立了一套相對比較完整的深度標簽體系。

圖3是分別用TAN和NBC算法進行標簽計算的效果。

圖2　基于ID關聯圖實現數據拼接

圖3　分別用TAN和NBC算法進行標簽計算的效果

（3）行業知識建模技術

在“互聯網+”結合行業大數據的過程中，行業知識的獲取和利用是關鍵的一環。只有將行業知識通過建模數據化，才能將行業知識和其他數據進行混合和關聯處理。行業知識建模可以分為兩個層次：第一個層次是行業字典，通過大規模爬蟲，可以將行業信息轉化為行業字典。目前，燈塔平臺已經積累了超過3億條行業字典，包括1億條電商字典，5000萬條視頻字典；第二個層次是知識圖譜，字典的缺點是信息之間缺乏關聯性，通過構建知識圖譜，建立語義級的行業知識，具體參見圖4。

（4）基于場景的智能推薦技術

推薦系統是非常成熟的大數據精準營銷技術，目前已經在廣告、電商、視頻、閱讀等領域得到了廣泛的應用。但是，通常的推薦系統往往存在推薦效率不高、重復推薦、過度推薦等問題。在大數據的場景下，結合地理位置分析和場景識別技術，對推薦系統進行了優化。圖5是通過用戶行為進行場景識別的結果。

（5）大數據交互式可視化技術

數據可視化不僅僅是大數據分析結果的直觀展現，更重要的是一種分析數據關聯性的方法和手段。通過交互式數據可視化的方法，可以從不同的角度去分析數據，并直接得到結果。交互式可視化在技術上最大的難點在于針對大規模數據進行可視化操作時候的性能優化。例如，基于地理的可視化數據分析，需要在不同的放大尺度下對數據進行實時的歸并和關聯性計算。圖6是通過地理位置和人群信息模型進行交互式可視化，實現人口遷徙分析的案例。

圖4　基于知識圖譜的行業知識

圖5　基于密度圖進行場景識別

4　燈塔大數據實踐

通過在“互聯網+”的大數據關鍵技術突破，燈塔大數據團隊構建了面向“互聯網+”的行業大數據平臺（見圖7）。

在燈塔平臺的基礎之上，打造了一套完整的5+1+1大數據產品體系，即5個直客產品方向、1個流量入口、1個能力平臺。中國電信面向行業垂直領域直接客戶，結合燈塔平臺的能力，開發5類細分產品并逐步商用，并且根據融合數據、整合深度標簽、ID圖譜、GIS、爬蟲、行業字典等平臺能力，面向行業和政府提供技術解決方案。

圖6　人口遷徒分析

圖7　面向“互聯網+”的行業大數據平臺

5　結束語

“互聯網+”的提出與發展為作為基礎設施的大數據帶來了新的發展契機，是傳統行業與互聯網融合的一種有效的手段；運營商發展大數據應用已經成為一種趨勢，然而數據處理的障礙使得尋求技術創新與轉型成為必然；中國電信“燈塔”大數據行業應用平臺致力于打造大數據行業應用生態圈，加速產業升級和商業模式創新，提供零售研究、消費者研究、店鋪選址、精準營銷、泛義征信，背景調查等服務，助力企業在大數據時代揚帆遠航；電信運營商通過技術創新和應用創新共同驅動，分析利用互聯網中的大數據，使世界更加扁平化，帶動經濟持續發展的同時，提高了人們的生活質量，運營商大數據在困難中走出了一條創新之路。

參考文獻

［1］徐贇.“互聯網+”：新融合，新機遇，新引擎［J］.電信技術，2015（4）：6-9.

［2］賈元昕，楊明川，孫靜博.大數據在“互聯網+”進程中的應用［J］.電信技術，2015（6）：14-15.

［3］肖飛，齊立磊.大數據處理技術與探索［J］.計算機與現代化，2013（9）：75-77.

［4］王暉，唐向京.共享開放的運營商大數據平臺架構研究［J］.信息通信技術，2014，6：012.

［5］郭云峰，韓龍，皮立華，等.知識圖譜在大數據中的應用［J］.電信技術，2015（6）：25-29.

［6］孟祥武，紀威宇，張玉潔.大數據環境下的推薦系統［J］.北京郵電大學學報，2015，38（2）：1-15.

［7］賀群，楊明川.基于WebGS的大數據可視化研究與優化［J］.電信技術，2015（6）：37-40.

Big data of telecomoperators： progress in difficulties

YANGMingchuan， JIAYuanxin，LIUYang

Abstract:With the advance and development of“Internet +”， big data analysis in the new development，as the technology of data analysis and utilization for traditional industry. Telecom operators have a unique data advantage， however， data quality，analysis capabilities and privacy issues put forward higher requirements. In this paper， combined with the opportunities and challenges of big data in the era of“Internet + ”， confusion and exploration of the development of telecom operators was analyzed in detail， and technological innovation and research results of ChinaTelecom in the field of big datawasdiscussed.

Keywords:big data； internet plus； ChinaTelecom

收稿日期：（2016-03-20）