社會網絡大數據分析框架及其關鍵技術

易成岐+鮑媛媛+薛一波

Social Networks Based on Big Data： Analytical Framework and Key Techniques

中圖分類號：TP391 文獻標志碼：A 文章編號：1009-6868 （2014） 01-0005-006

摘要 提出了一套社會網絡大數據的分析框架，并分析了其關鍵和核心技術。介紹了基于該框架的清華社會網絡大數據分析系統（THSNAS），從個體、群體、事件和整體四個方面給出了系統分析結果。社會網絡大數據的分析框架既能為社會網絡大數據的深入分析提供理論依據和指導方法，又能為廣告精準投放、個性化信息推薦、社會管理等方面帶來重要價值。

關鍵詞： 社會網絡；大數據；分析框架

Abstract： This paper proposes an analytical framework for social networking based on big data， and it elaborates on key techniques. In addition， this paper introduces Tsinghua Social Network Analysis System （THSNAS） based on the above framework and shows results in terms of individual， group， event and holistic analysis. The analytical framework can provide theoretical and practical guidance for social network analysis， and has great value in terms of precision advertising， personalized information recommendation， and social management.

Key words： social network； big data； analytical framework

隨著Web2.0技術的不斷發展，社會網絡[1]發展勢頭強勁，已經成為用戶數最多、傳播影響最大的新媒體平臺。其巨大的用戶群實時產生的龐大信息量是典型的大數據，具有大數據的4V特性：數量（Volume）、類型（Variety）、速度（Velocity）和可用性（Veracity），具體特征如下：

（1）超大規模的數據量

截止目前為止，Facebook、Twitter、新浪微博、騰訊微博的用戶量已經分別超過12億、5.5億、5.4億和5.8億，此外，四大社會網絡的每日消息量也已經分別超過了10億、2.5億、2億和2億。這些超大規模的數據量為信息挖掘提供了豐富的資源。

（2）紛繁復雜的數據類型

社會網絡中的每個用戶都具有基本屬性信息，這些屬性包括用戶名稱、性別、所屬位置、描述、創建時間、好友數量等；用戶與用戶的好友關系構成了關系數據；用戶基于已經存在的關系或者共同興趣構成了多種團體，產生了團體數據；用戶每時每刻發表的觀點、評論、轉發等信息形成了非結構化的信息數據；用戶上傳的圖片、音頻、視頻形成了多類別的非結構化數據等。社會網絡中包含的數據類型繁多、結構不一。這些數據類型的多樣性，為信息分析和挖掘帶來了巨大的挑戰[2]。

（3）極快的增長速度

伴隨著社會網絡火熱發展的同時，社會網絡中的數據量也呈現極快的增長的態勢。截至2013年6月30日，Facebook用戶數比上年同期增長21%；截至2013年9月，Twitter用戶數比2012年底增長了16.7%；截至2013年3月底，新浪微博用戶數比2012年底增長了6.6%；截至2013年9月，騰訊微博用戶數比上年年底增長了6.8%，此外，社會網絡中的消息量也隨之快速增長。

（4）可觀的數據可用性

社會網絡的出現觸發了個人、企業、國家等不同層面的興奮點[3]，個人想通過社會網絡分析了解自身或者他人的個人愛好和行為習慣，企業想通過社會網絡分析謀求更大的商業利益，國家想通過社會網絡分析進行高效的社會管理。社會網絡已經引起了國家戰略、企業規劃、商業模式、營銷策略、生活觀念、行為習慣等方面的變化[4]。

目前，已經出現了一股研究社會網絡的熱潮，之所以諸多國家、企業、專家、學者都在積極研究社會網絡[5]，是因為社會網絡猶如金礦、石油、天然氣一樣，蘊含著巨大的信息寶藏。社會網絡也認證了“數據為王”，誰能更快、更準、更全地掌握數據，誰能更有效地分析挖掘社會網絡所隱含的信息價值，誰能預測信息的傳播規律和發展態勢，誰便能掌握主動權和戰略權。

本文結合社會網絡的數據類型、數據特征以及分析目的，提出了一套社會網絡大數據的分析框架，并對其關鍵和核心技術進行詳細描述，該技術方法對廣告精準投放、個性化信息推薦、社會管理等方面都具有一定的指導意義和實用價值。

1 社會網絡大數據分析框架

社會網絡分析技術是一項關鍵技術，也是一項熱門的研究[6-7]，涵蓋了社會學、人類學、社會語言學、地理、社會心理學、通信研究、資訊科學、社會網絡分析與探勘、組織研究、經濟學以及生物學等多個領域，是一項多學科交叉技術。社會網絡又包涵巨大的用戶數據、關系數據和信息數據，為了有效地對社會網絡的大數據進行分析和挖掘，我們提出了一個層次化的分析框架，如圖1所示。

該分析框架包括數據層、分析層、支撐層和結果展示層四大部分。其中數據層是整個框架的基石，分析層和支撐層是整個框架的核心，結果展示層則是技術與應用的橋梁，能友好、簡潔、形象地展示分析結果。endprint

（1）數據層

數據層包括數據獲取、數據預處理和數據存儲3個部分，其中數據獲取主要通過網絡流量方式、應用程序接口（API）方式、非API方式及其他方式進行有效地獲取數據。數據預處理包括數據清洗、數據打標和數據關聯，能夠對為后續存儲和分析提供規范化保障。數據存儲通過關系型數據庫或者非關系型數據庫進行多類型數據存儲。

（2）分析層

分析層包括了個體分析、群體分析、事件分析和整體分析，從四個維度對社會網絡進行分析。

（3）支撐層

支撐層包括機器學習、分布式并行處理、數據挖掘、自然語言處理、流量識別、可視化等多種具有共性的關鍵技術。

（4）結果展示層

結果展示層與分析層互相映射，包括個體展示、群體展示、事件展示和整體展示。

通過該框架，可以擬合成多種應用，主要包括社會管理、廣告精準投放、企業營銷、個性化信息推薦、信息態勢感知、不良用戶和信息發現等。

2 社會網絡大數據分析的

關鍵技術

上述框架的各個層次都擁有大量的關鍵技術予以保障，下面將詳述各層中的不同關鍵技術。

2.1 數據層

數據層的設計理念是以數據為中心，以數據流向為導向，主要包括數據獲取、數據打標和數據關聯3個部分。

（1）數據獲取

數據獲取是社會網絡大數據分析的基石，如何快速、有效獲取社會網絡的數據至關重要。針對這一問題，我們提出了2種社會網絡數據獲取方式：

（a）網絡流量方式

對于非加密的社會網絡流量而言，可以通過流量的識別和解析快速獲取社會網絡數據。首先需要對目標社會網絡流量進行分析，抽取目標社會網絡流量的強特征，再從背景流量中識別出目標流量；其次，對目標社會網絡流量進行解析，提取用戶Profile數據、用戶關系數據、發布信息數據、信息轉發數據，等等。

（b）API/非API方式

目前大多數社會網絡都提供相關API，可以進行數據獲取，比較常見的是OAuth 1.0和OAuth 2.0兩種用戶身份驗證和授權方式。但社交網絡所提供的API都會存在一定程度的次數和速度的限制，以防止開發者以蠻橫、暴力的方式獲取數據。因此通過API方式獲取數據時，需要進行超限判斷，保證數據獲取的正常進行。此外，為了規避API方式的限制，也可以采用網頁解析方式，依靠網絡爬蟲技術模擬用戶登錄進行數據獲取，網頁解析方式的數據獲取雖然在一定程度上不受限制，但其缺點是網頁解析的數據類型是有限的，和API方式相比缺乏數據完整性，因此需要兩者配合使用。同時，為了批量獲取社會網絡數據，可以采用分布式爬蟲并行爬取。

除上述兩種方式外，還需要其他獲取方式，以滿足不同需求。例如，通過元搜索方式進行定量、定性的數據獲取；采用基于用戶屬性、用戶關系、用戶信息3層過濾機制，通過特定團體獲取方式，獲取社會網絡上的特定團體；通過增量式爬蟲獲取增量數據，等等。

（2）數據預處理

通過上述方式獲得的社會網絡數據往往是有噪音的、雜亂的、非結構化的，無法直接進行數據分析，需要通過數據預處理技術對數據進行清洗、打標及關聯。

（a）數據清洗

數據清洗主要從數據的準確性、完整性、一致性、唯一性、適時性、有效性等幾個方面來處理數據。對于遺漏數據需要對默認值填充；對于異常數據需要對其消除，以防止干擾后續分析工作；對于噪聲數據需要對其平滑；對于所有數據都需要進行歸一化處理。由于社會網絡有很多重復數據，可以采用布隆過濾方法對其去重；由于大部分數據是文本數據，為了節約存儲空間，可使用壓縮技術對其進行壓縮。

（b）數據打標

社會網絡數據往往十分繁雜，面對實時分析處理的苛刻需求，數據打標的工作勢在必行。根據社會網絡大數據分析的經驗，我們將社會網絡數據打標細分為：人物打標、群體打標、事件打標、關系權重打標、推文/微博打標。其中，人物打標是對興趣、圈子、規律、影響力等進行打標；群體打標主要是對群體數量、活躍程度、群體興趣等進行打標；事件打標主要是指對事件傳播的廣度、深度、參與數、受眾數等進行打標；關系權重打標是計算并存儲用戶間的權重值；推文/微博打標主要是對信息類型、抽取后的關鍵詞進行打標。

（c）數據關聯

由于目前存在很多類型的社會網絡，當對它們進行多源數據獲取后，如何對數據進行關聯也十分重要。首先，是多源帳號關聯技術。現實社會中的用戶往往會存在于多個社會網絡中，例如Facebook、Twitter、新浪微博、人人網等，多個社會網絡的賬號會關聯到同一實體用戶上，而且這些賬號往往具有相同或相似的特征，利用多源帳號關聯技術可以將多個虛擬賬號關聯到某一實體用戶上，從而為跨平臺社會網絡的分析奠定基礎；其次，是多源數據整合技術。多平臺數據的特征會存在趨同現象，例如同一個事件會同時在新浪微博和騰訊微博上進行傳播。多源數據整合技術可以將多個平臺的數據進行擬合或合并，既可以減少存儲空間，又可以以全局角度統籌分析多平臺數據。

（3）數據存儲

數據的不斷增長造成單機系統性能不斷下降，即使不斷提升硬件配置也難以應對數據的增長速度。因此，需要根據業務不同將社會網絡數據存儲分為數據存儲、特征存儲、日志存儲和歷史庫存儲。其中數據存儲是為了存儲當前需要分析的元數據；特征存儲是為了將數據預處理的打標結果與其他數據分離，達到更優的分析速度；日志存儲是為了存儲系統運行所產生的大量日志；歷史庫存儲是將歷史數據分離存儲，以減少實時分析的壓力。此外，用戶Profile、用戶關系、信息轉發關系等結構化數據，多采用關系型數據庫進行存儲；用戶發布和轉發的信息等非結構化數據多采用非關系型數據進行存儲。endprint

2.2 分析層

分析層是整個框架的核心，分為個體分析、團體分析、事件分析、整體分析。

（1）個體分析

個體分析的目標是了解和洞察人物的身份、關系、社交圈、資本、位置、地位、行為、情感等社會屬性，這些屬性往往比較抽象，需要對其進行量化及測算。如圖1所示，個體圈子分析主要是對人物所在的實體關系（具有直接聯系的節點）和虛擬關系（人物節點的興趣團體）進行分析，總結出圈子對人物各項屬性的影響與關聯；還可以對個體圈子演化過程和趨勢進行分析。行為特征分析是對人物的基本屬性和行為進行刻畫，利用人物的時間序列、行為規律等信息來描述人物個體的行為狀況；緊密度分析是指通過用戶相似度計算用戶緊密度好友；情感分析是指分析用戶情感傾向性，主要分為正面情感、負面情感和中性情感；興趣分析通過對人物的背景標簽和用戶發表的推文進行分析，抽取人物所關注用戶的興趣點，由于用戶關注代表了用戶的真實興趣，因此可以根據關系屬性推導人物個體興趣。

（2）群體分析

群體分析的目標是分析群體邊界、身份、群內關系、群際關系、群體凝聚力、群體興趣、群體行為、群體心理、社會地位、群體變化等，從而更深層次洞察群體特性。如圖1所示，特定群體發現主要是通過特征匹配技術對特定群體進行發現，主要匹配的目標有發布信息、關注主題、圈子興趣等數據；由于群內個體與個體之間存在強關系，群與群之間存在弱關系，因此可以通過群內人物個體的鏈路分析其關聯狀態，群體關系分析可以將用戶群作為一個整體，將視角放大，通過群之間的微量用戶關聯性分析群與群之間的弱關系；潛在群體成員推薦是指分析個體與目標群體的相似度情況，將相似度高的個體進行推薦；群體意見領袖分析是指通過群體的關系網絡以及網絡中心密度進行測算，度量每個節點在群內的影響力；因為每個群體都是由于共同的興趣而存在，因此如何測算群體興趣至關重要，群體興趣發現是指通過群內關系相關迭代分析算法對其進行界定，通過群內的話題流傳播對群體興趣進行分析。

（3）事件分析

事件分析的目標是分析事件在傳播過程中的結構、內容、演化、意圖、涌現性、行為、心理、受眾、廣度、深度、態勢等。如圖1所示，事件發現是以發布內容為中心，對事件的主題進行文本聚類，從而發現熱門事件及參與的用戶與群體；路徑還原是通過事件傳播方向進行刻畫，通過獲取到的傳播信息，以正向的方式對傳播路徑進行還原；源頭追溯是路徑還原的逆過程，是通過傳播的反向方式對節點進行回溯，最終尋找事件發生的源頭節點；事件傳播規律分析是指分析事件的熱度、趨勢、傳播層數等，以掌握事件的發展狀況；事件意見領袖分析是指通過事件傳播過程中的爆發點特征計算節點的影響力，從而分析挖掘傳播過程中的意見領袖。

（4）整體分析

整體分析主要分為熱門人物和事件排序、整體統計分析、全局拓撲結構分析和按區域熱點事件分析，其技術手段多用于基礎統計分析和數據挖掘技術，主要目的是了解和掌握社會網絡當前的全局情況，同時預測全局網絡的未來狀況。

2.3 支撐層

該分析框架中的很多模塊都需要一些關鍵技術給予支撐，因此我們將這些共性技術抽取成支撐層，主要包括：機器學習、分布式并行處理、數據挖掘、流量識別、自然語言處理、可視化等多種關鍵技術，這些技術為整個框架提供技術保障，共性支撐技術之間既各司其職、又相互配合，既相對獨立、又相輔相成。

2.4 結果展示層

結果展示層是直接面對用戶的一種展現方式，其作為技術與應用之間的橋梁，具有交互性、多維性和可視性等特點。結果展示的目標是將分析結果進行直觀的、友好的、簡潔的展示。

利用上述4個層次的多種關鍵技術，可以有效地分析和洞察社會網絡中不同對象的獨有特征和行為規律，也可根據不同需求構建不同應用。

3 清華社會網絡大數據

分析系統

本文利用上述社會網絡大數據分析框架的構建思想，設計并實現了清華社會網絡大數據分析系統（THSNAS），下面將介紹THSNAS的系統架構及部分分析結果。

3.1 THSNAS系統架構

基于社會網絡的數據流向及上述框架的核心思想，THSNAS的系統架構如圖2所示，主要包括數據獲取、數據預處理、數據存儲、消息中心、數據分析、結果展示幾個部分。THSNAS支持多種社會網絡的數據實時不間斷獲取，同時，可以對社會網絡中的個體、相關群體、特定事件和網絡整體進行便捷、多粒度、多維度的分析并友好展示。

3.2 THSNAS系統分析結果

下面主要從個體分析結果、群體分析結果、事件分析結果和整體分析結果4個方面，簡要介紹THSNAS的系統分析結果。

（1）個體分析結果

個體分析結果如圖3所示，主要包括個體Profile分析、個體圈子分析、個體情感分析、個體關鍵詞抽取、個體行為分析和個體緊密度分析。其中，個體Profile分析是對某個用戶的基本概況（包括用戶姓名、頭像、用戶ID、最近發布信息等）進行展示；個體圈子分析是對與用戶頻繁交互的團體關系網絡進行構建，此關系網絡不僅包括用戶與圈子的關系，也包括圈子內部成員之間的關系；個體情感分析是對用戶的情感波動及情感傾向性情況進行分析，此處情感包括正面、負面、中性3種；個體關鍵詞抽取是對用戶最近發布的信息及轉發信息進行關鍵詞抽取，以詞云的方式對近期用戶興趣及關注點進行展示；個體行為分析是對用戶近期的發帖行為和轉發行為進行規律分析；個體緊密度分析是對目標用戶的相似用戶進行推薦。

（2）群體分析結果

群體分析結果如圖4所示，主要包括群體劃分和群體意見領袖排行。其中，群體劃分是通過CNM（以Clauset、Newman和Moore命名的社團發現算法）、GN（以Girvan和Newman命名的社團發現算法）和LPA（基于標簽傳播的社團發現算法），基于用戶關系進行群體邊界測算，可以對群內成員的細粒度分布進行直觀展現；群體意見領袖排行是對整個群體以及劃分后的小團體進行影響力計算，并且對群體內部的意見領袖進行排行顯示。endprint

（3）事件分析結果

事件分析結果如圖5所示，主要包括事件Profile分析、事件意見領袖分析、真實路徑還原、事件漲勢熱度分析、事件關鍵詞抽取和受眾情感分析。其中，事件Profile分析是對事件的基本概況（包括發起用戶、事件內容、發布時間、傳播層數及每層節點數等）進行展示；事件意見領袖分析是對事件傳播過程中的態勢推手進行分析，同時與情感分析進行結合，選取正向觀點的意見領袖與負向觀點的意見領袖；真實路徑還原是將事件的轉發過程進行刻畫，同時將關鍵節點和關鍵路徑進行高亮度顯示；事件漲勢熱度分析是從事件的生命周期角度，對事件形成過程中的參與用戶數量進行分析；事件關鍵詞抽取是對原創信息和所有轉發信息進行擬合，同時抽取具有重要作用的關鍵詞；受眾情感分析是對事件影響受眾的情感波動情況進行量化及分析。

（4）整體分析結果

整體分析結果如圖6所示，主要包括關注比例分析、粉絲比例分析、用戶增長量分析、用戶地理分布分析、主題抽取分析和終端分布分析等。其中，關注比例分析是統計全網用戶的關注數分布；粉絲比例分析是統計全網用戶的粉絲數分布；用戶增長量分析是對整體網絡用戶增減情況進行統計；用戶地理分布是對用戶所在地理位置進行統計；主題抽取分析是通過Tweets分析事件段內主題；終端使用分析是分析一個時間段內的終端使用分布。

上述是THSNAS的部分分析結果，可以在一定程度上呈現個體、群體、事件和整體的行為規律及隱藏價值。此外，THSNAS也驗證了社會網絡大數據分析框架的正確性、可用性及實用性。

4 結束語

隨著Web2.0時代的來臨，社會網絡的不斷發展也促使其蘊含了巨大的、有待挖掘的價值。為了更有效地分析挖掘社會網絡所帶來的隱含價值，本文嘗試提出社會網絡大數據分析框架及其關鍵技術，以達到拋磚引玉的目的。該框架能夠有效分析挖掘社會網絡的潛在價值，也可以以此為參考構建多種社會網絡應用。

參考文獻

[1] 維基百科：社會網絡 [EB/OL]. （2013-10-26）. http：//zh.wikipedia.org/wiki/%E7%A4%BE%E4%BC%9A%E7%BD%91%E7%BB%9C.

[2] BOND R M， FARISS C J， JONES J J. A 61-million-person experiment in social influence and political mobilization [J]. Nature， 2012， 489： 295-298. doi：10.1038/nature11421.

[3] PUJARI M， KANAWATI R. Supervised rank aggregation approach for link prediction in complex networks [C]//Proceedings of the 21st international conference companion on World Wide Web， 2012， ACM， New York， NY， USA：ACM. 2012： 1189-1196. doi：10.1145/2187980.2188260.

[4] GUILLE A， HACID H. A predictive model for the temporal dynamics of information diffusion in online social networks [C]//Proceedings of the 21st international conference companion on World Wide Web， 2012， ACM， New York， NY， USA：ACM. 2012： 1145-1152. doi： 10.1145/2187980.2188254.

[5] YANG X， ZHANG Z， WANG K. Human Behavior Dynamics in Online Social Media： A Time Sequential Perspective [C]//Proceedings of the 6th SNA-KDD Workshop12 （SNA-KDD12）， August 12， 2012， Beijing， China： ACM. 2012.

[6] 張賽， 徐恪， 李海濤. 微博類社交網絡中信息傳播的測量與分析 [J]. 西安交通大學學報， 2013，47（2）：130-136.

[7] 竇炳琳， 李澍淞， 張世永. 基于結構的社會網絡分析 [J]. 計算機學報， 2012，35（4）：99-111.

作者簡介

易成岐，哈爾濱理工大學計算機科學與技術學院在讀博士研究生；主要研究領域為社會網絡、信息傳播、云計算等。

鮑媛媛，清華大學信息技術研究院博士后；主要研究領域為社會網絡、行為動力學等。

薛一波，中國科學院計算技術研究院博士畢業；清華大學信息技術研究院研究員、CCF高級會員、IEEE/ACM會員；主要研究領域為計算機網絡、信息安全、并行處理、分布式系統；已發表論文130余篇。endprint