高校區域大學生微博身份的精確識別方法①

姜 贏, 何國東, 郭雨宸, 朱玲萱

?

高校區域大學生微博身份的精確識別方法①

姜 贏, 何國東, 郭雨宸, 朱玲萱

(北京師范大學珠海分校管理學院, 珠海 519087)

對高校大學生微博身份進行精確識別有利于盡早的定位大學生網絡謠言、高校輿情事件的起源, 為高校輔導員及相關管理部門采取線下補救措施、及時處理突發事件爭取時間. 以學校提供的學生信息資料為背景, 讓挖掘到的大學生微博信息盡可能地去匹配已有的背景信息, 從而識別高校區域大學生微博帳號. 分別采用3種閾值進行實驗分析, 證明這種循環匹配的方法可以獲得較好的識別效果.

網絡輿情; 微博帳號; 身份識別; 模式匹配; 學生微博

在高校的微博社區中, 大學生使用微博的頻率極高, 大多數的大學生都會利用微博來傳達信息. 獲取和分析高校大學生的微博信息有助于了解大學生學習生活狀況, 以便更好地做好學生管理工作. 然而, 獲取大學生微博信息的首先要從茫茫的微博“大?！敝凶R別出大學生微博帳號. 有些高校要求學生入學時提供手機、電子郵箱信息, 其中也包括微博帳號. 從這些帳號獲取微博信息雖然能解決一部分問題, 但是目前大學生個人隱私保護觀念普遍較強, 并不愿意毫無保留的提供給高校專業老師、輔導員個人私密信息. 筆者在前期研究中也發現部分大學生提供虛假微博帳號給學校, 并另開通一個或多個“小號”的現象[1]. 另外, 大學生微博帳號也會隨轉專業、換班級、加入/退出社團等交友圈子變化而變動. 因此目前亟待一種能夠快速有效識別特定區域范圍(例如某個班級)大學生微博帳號的方法(微博身份識別), 才能在此基礎之上獲取特定群體或個體大學生微博信息并進行分析. 特別對于高校微博輿情監控與引導工作來說, 盡早的精確定位大學生網絡謠言、高校輿情事件的起源至關重要. 如果快速能識別出網絡輿情相關的大學生微博帳號的真實身份, 就可以立刻采取線下補救措施, 為高校輔導員及相關管理部門及時處理突發事件爭取時間, 這也是本文的研究意義所在.

1　研究現狀分析

徐強等通過獲取微博上的用戶以及用戶之間的關系作為研究樣本, 構建網絡社區模型, 并利用GN算法對微博用戶進行社區劃分, 用于社交網絡中的社區發現[2]. 劉勘等通過隨機森林算法設計微博中機器用戶的識別模型有效地區分微博中的機器用戶和普通用戶[3]. 黃磊等將用戶名和用戶發表的微博文本作為表示用戶的樣本, 使用基于最大熵算法進行用戶分類, 利用認證用戶對非認證用戶進行類型分類, 能夠對個人用戶和非個人用戶進行自動分類[4]. 劉金寶等結合個人信息、帳號行為及微博內容3類特征的識別方法能有效識別自媒體帳號, 不同類別的特征也能夠相互補充[5]. 薛云霞根據微博用戶產生的相關數據對用戶的個體屬性進行自動識別, 包括一種基于交互式信息的半監督性別分類方法和一種基于文本和社交信息的半監督年齡回歸方法[6]. 張進等提出一種改進的微博炒作賬戶識別方法,從賬戶狀態、歷史微博以及賬戶鄰居3個方面對炒作賬戶的特征進行分析, 構建炒作賬戶特征集, 并利用數據挖掘中的樸素貝葉斯、支持向量機及K最近鄰分類等算法對正常賬戶和炒作賬戶進行自動分類[7]. 韓忠明等構建了一個識別微博水軍的概率圖模型計算用戶為水軍的概率, 能夠區分普通用戶和水軍的屬性特征與行為特征, 將用戶的屬性特征作為識別水軍的前提條件, 而行為特征則是判別其是否為水軍的驗證結果[8]. 趙巖利用僵尸粉發帖的內容特征,將文本復制檢測技術應用到博文文本特征分析問題中,提出了一種基于信息指紋的微博文本查重技術, 并利用此技術實現了僵尸粉的識別[9]. 高尚等選取“加V”和“透露職業”變量作為身份識別標準, 將2446個樣本聚為五類(群眾、學生、打拼族、達人、權威), 并分析了其在人口統計特征、信息公開程度、微博使用痕跡、微博影響力等方面的特征和差異; 又對其中248個重度使用者的博文進行了內容分析, 從活動、興趣、觀點完整地描述了五類群體[10]. 國外輿情監控主要是宏觀趨勢研究, 而微博賬戶身份識別的個體研究較少: Jalal Mahmud在Twitter平臺上推測微博用戶的家庭位置, 但是無法精確到用戶身份識別[11]. Kapanipathi使用層級知識庫對Twitter用戶興趣進行了識別和分類[12], 類似的Zarrinkalam也提出基于語義技術的用戶興趣識別技術[13], 也都未能精確定位到用戶身份.

綜上所述, 目前關于微博身份識別的研究主要是利用微博賬戶信息、微博內容信息, 采取數據挖掘、機器學習等方法對微博賬戶進行屬性定性(例如, 僵尸粉、水軍等)和特征分類(例如, 性別、興趣、身份、社區等). 這些研究都本質上都是只是“模糊分類”, 無法做到“精確定位”到個人身份. 本文的研究目標不僅僅要識別大學生微博賬戶所屬的高校區域范圍(例如, 所屬哪個班級、哪個社團), 還力求精確定位到單個學生的身份. 也就是說, 給定某個微博帳號之后, 要能識別出他到底是哪個學生. 然而目前基于大學生微博的高校教育相關研究也主要還是在已獲得大學生微博帳號身份之后再做進一步分析(例如, 微博社交網絡中的學生用戶抑郁癥識別方法[14]), 尚未見精確識別單個大學生微博帳號身份的相關研究報道.

2　技術原理

圖1 技術原理圖

如圖1所示, 高校區域大學生微博身份精確識別方法的技術原理為: 以學校提供的學生信息資料為背景, 讓挖掘到的大學生微博信息盡可能地去匹配已有的背景信息, 最后計算匹配度作為識別的結果. 第一部分為范圍匹配, 數據來源于教育信息表和微博內容信息表: 教育信息表含有微博用戶的教育信息, 例如學校名稱、學院名稱以及專業名稱等; 微博內容信息表是利用分詞技術, 挖掘相關的關鍵詞, 若在教育信息中, 微博用戶沒有填寫, 那么將在微博內容中盡量提取有關于教育信息的內容, 內容關鍵詞涉及到學校名稱、學院和專業名稱. 利用以上的兩張微博用戶表, 首先與個人信息中的學校表、學院表進行匹配, 若與個人信息表中的信息匹配不成功, 將返回專業匹配參數以及讓微博用戶信息與背景信息進行循環匹配, 直至循環匹配結束為止. 這樣的匹配方法是為了讓微博信息表與最小范圍的個人信息表進行循環匹配, 對目標進行盡可能的排除操作, 目的是為縮小對象范圍, 提高步驟檢索效率, 從而提高匹配效率.

3　微博信息挖掘方法

3.1 微博信息存儲設計

圖2 微博數據表實體關系圖

如圖2所示, 根據本次研究的主題以及匹配機制原理, 筆者將需要被挖掘的微博信息種類分為以下5類: (1)粉絲列表類: 授權用戶的粉絲列表信息, 獲取的信息有粉絲UID、以及粉絲昵稱、出生年月日、籍貫、性別等信息. (2)粉絲微博內容類: 獲取粉絲近期發表的100條微博內容(新浪開放平臺限制, 最多下載條數為100條), 對粉絲微博內容進行分詞、提取關鍵詞, 例如: “信息管理與信息系統”、“信管”、“人力”、“人力資源”等. (3)標簽類: 粉絲微博的標簽上, 大多數微博用戶會設置個人特色標簽, 例如: “90后”、“星座信息”、“愛好”等; 獲取標簽信息后采用分詞技術提取星座等關鍵詞. (4)教育類: 獲取粉絲的教育信息, 在注冊微博用戶過程中需要填寫目前教育情況, 因此, 通過該接口可以提取用戶教育情況, 一般可以提取學校名稱、年級信息以及學院名稱. (5)郵箱類: 獲取用戶填寫的郵箱信息, 個人資料中存在學生郵箱信息, 與此匹配可以提高識別率.

如圖2所示, 筆者將微博信息數據庫模式采用為星型模式, 原因在于用于系統運行的是一張巨大的微博信息事實表, 因此, 為了提高靈活性以及代碼易開發性, 本文將微博信息數據庫模式采用微星狀模式; 再者, 由于微博信息數據庫中存在的數據已經進行過初步的數據預處理, 考慮到不需要在多次進行數據預處理環節, 因此采用星狀模式關系數據庫是最佳設計方案.

3.2 微博信息獲取方式

筆者通過新浪微博API授權方式進行微博信息的挖掘, 在取得授權碼的前提下, 在平臺開放包進行信息挖掘操作. 筆者只能獲得新浪微博普通權限, 受微博系統限制比較多, 因此在微博信息采集的策略上, 分為多帳號采集方式、代理IP采集方式. 多帳號采集方式是找到多個學校官方的微博賬戶, 對這些官方帳號進行授權, 獲取相應的授權碼; 代理IP采集方式, 微博系統對單一個的IP請求是受限制的, 那么可以采用代理IP突破限制, 對于普通權限, 每小時30000次的下載次數, 對于本次研究數據量要求是足夠的.

3.3 微博信息預處理

圖3 微博信息預處理流程圖

被挖掘的微博信息的特點有雜亂無序和具有太多無規律的標簽符號, 因此在系統利用數據之前, 需要對微博信息進行數據預處理操作. 高校微博用戶以學生為主, 每所高校僅在校生數量就有幾千到幾萬不等, 微博內容更是海量存在. 如果數據預處理完全靠人工手動處理, 將花費大量的時間和人力物力, 不具有可行性和可推廣性. 本次研究將按照系統利用數據階段把微博信息數據預處理分為系統調用前數據預處理和系統內運行時數據預處理, 所有的數據預處理操作都在系統內進行, 不利用人工手動處理.

(1) 影響詞預處理方式是指將一些無關緊要的詞進行刪除的, 需要利用這一方式進行預處理的信息由微博內容、標簽內容. 本文將微博內容、標簽內容進行影響詞處理的原因在于微博內容以及標簽內容所含有的英文、符號等標簽過多, 盡量去除該類標簽對于匹配精準度取到關鍵性作用.

(2) 分詞預處理是將經過影響詞預處理的微博內容和標簽內容進行分詞, 對研究中所需的關鍵詞進行提取. 微博用戶在編輯微博內容時可能會涉及到某些具有身份信息的內容, 例如, “在人力資源的專業課上, 我收獲良多. ”, “人力資源”能夠進行身份定位的關鍵詞; 在標簽關鍵詞的提取方面可以提取類似于星座等關鍵詞.

(3) 信息存放預處理指的是將微博數據按照一定的格式(位置關系等)存放在txt文檔中, 該步驟的目的在于將微博數據存儲在數據庫上時易于提取, 代碼的開發難度將小, 能夠減少程序員的開發工作, 提高工作效率.

4　實驗分析

筆者以北京師范大學珠海分校管理學院597名學生作為實驗分析對象. 根據學院提供的學生正確個人信息, 在實驗過程中, 筆者將這些個人信息分成模糊信息、較唯一信息和唯一信息; 其中模糊信息中包括了個人姓名、性別、星座、出生地、學校名稱、學院名稱、專業名稱、年級等; 較唯一信息包括QQ帳號、出生年月日等; 唯一信息則含有身份證號、學號、手機號碼等.

4.1 實驗參數設置

筆者對模糊信息、較唯一信息、唯一信息所設置的參數是不一樣的, 唯一信息的參數高, 三者之中參數最低的是模糊參數; 然而在模糊信息中的信息參數也不相同, 比如姓名參數高于性別、星座等信息, 主要是根據信息在微博人群中出現的概率大小確定的. 因此本次實驗將匹配參數的設置類型分為3個階段, 每個階段的匹配參數作為準確率和召回率的閥值. 3個階段的閥值為參數的標準差, 參數表由下表所示.

(1) 較唯一信息匹配參數總和大于60%

閥值1中較唯一信息匹配參數總和大于60%的設定原因在于設定60%以上匹配度為匹配合格線, 因此, 考慮信息重要程度以及出現頻數講qq帳號、出生年月以及微博名設為各20%(閥值1號).

(2) 模糊信息考慮出現頻數

閥值2為模糊信息考慮出現頻數, 越重要出現的頻數越高則設置的匹配參數越高, 但是總的模糊信息匹配參數總和不超過60%.

(3) 不考慮出現頻數與重要性

閥值3為不考慮任何出現的頻率和重要性, 閥值3主要被作為參考參數值.

表1 個人信息匹配參數表(%)

表2 循環匹配示例(10號微博用戶與13號學生)

在個人姓名信息中, 主要與微博昵稱進行匹配, 將姓名拆分成姓、名各自添加匹配參數, 拆分的原理在于微博用戶采用真實姓名作為微博昵稱; 在出生年月日信息方面, 同樣采取與個人姓名的拆分方式, 拆分成出生年、出生月、出生日, 拆分的原理主要根據微博用戶填寫信息不完整的可能. 以上參數的設置存在匹配重要性高低之分, 在模糊信息分類中, 重要性: 個人姓名>出生地=專業名稱>學院名稱=星座>年級>學校名稱=性別, 因此在參數設置上依據重要性由高到低設置. 在較唯一信息中, QQ帳號信息的重要性等于出生年月日重要性. 唯一信息中, 因為新浪微博系統不披露關于微博用戶的絕密信息, 因此唯一信息不再本次研究的范圍之內.

例如, 依據表2的匹配數據, 采取閾值號為1的參數進行匹配, 可得10號微博用戶與13號學生的匹配度為90%, 直到匹配完所有的學生; 最后返回所有學生的匹配度.

4.2 實驗樣本基本情況

本次研究的微博樣本數量有597人, 統計的學生微博信息樣本完整度情況如圖4所示. 在個人微博資料中, 郵箱以及qq填寫的情況是最少的, 597人中只有86人和82人填寫; 性別資料有481人填寫, 所在地高達458人填寫, 出生年月日大概有將近177人填寫, 畢業院校的填寫情況超304人. 從以上的數據可以看出, 對于微博社交平臺上, 較唯一的信息填寫的相對較少, qq號碼占總人數的14.4%, 出生年月日占總人數的30.1%; 于是這些因素都會對系統的匹配度有所影響, 根據所挖掘的信息, 必須對匹配參數做出相應的調整.

圖4 微博樣本數據完整度圖

較唯一信息被學生填寫的次數較少, 而模糊信息被學生填寫的次數較多. 如果根據定量來分配匹配參數顯然是不正確的方式, 也就是說, 按照出現的頻數來分配匹配參數, 性別列被填的次數最多, 但是確實最為模糊和能夠被匹配上的參數, 因此只是利用定量的方法來確定參數是存在錯誤的, 必須引入定性變量. 獲取的微博基本信息存在重要性程度不同, 例如將所有的基本信息分為唯一信息、較唯一信息和模糊信息; 唯一信息中只要能夠匹配上一列, 即可對用戶進行準確定位. 如果較唯一信息中, 如初生年月日、qq號碼可能會出現少量的重復和誤填情況, 而模糊信息則重復出現的概率更大, 例如性別只分為男和女、出生地也可能重復. 在同等性質的信息中也可以分出不同的重要性, 例如在模糊信息中, 重復出現的概率較大的為性別和星座; 在較唯一信息中, 出生年月比qq號碼重要.

4.3 實驗結果

表3 匹配度>60%的識別準確率和召回率表

表4 匹配度>80%的識別準確率和召回率表

圖5 準確率與召回率比值曲線圖(匹配度>60%)

圖6 準確率與召回率比值曲線圖(匹配度>80%)

從圖5和圖6可以看出, 準確率隨著參數標準的關系為開口向下的二元一次方程關系, 而召回率與標準差的關系為開口向上的二元一次方程關系, 在某一標準差下準確率和召回率分別取得最大值. 在第三號閥值中匹配度大于60%和80%的準確率和召回率最為接近; 準確率和召回率是一對相對矛盾的性能指標, 在圖5和圖6中可以看出, 準確度和召回率在70%處相交, 但此時的準確度和召回率并不是本系統的最佳數值, 應該在一定的召回率的基礎上提高識別準確度, 因此應該以準確度為重.

4.3 局限性分析

根據以上分析, 不難看出本方法的主要局限性在于: (1)抓取的微博內容中大部分學生的基本信息殘缺, 由于基本信息的殘缺導致了的匹配度較低. (2)本次研究的匹配原理采用的匹配方法過少: 本文采用的匹配方法為基本信息的絕對匹配原理, 由于匹配方法的單一導致匹配結果良莠不齊.

5　未來工作

(1) 模糊匹配: 對微博名等信息進行模糊匹配, 本文采用的微博名匹配方法為絕對匹配(匹配值為100%), 因此存在著不足. 為了提高匹配值, 增加采用模糊匹配的方法, 例如, 微博名為“Jiang浩”, 真實姓名為“姜浩”. 為了增加匹配值, 應該對微博名進行英文和漢字的轉換、以及漢語拼音首字母的提取等操作, 利用以上操作后的結果進行匹配來增大匹配值. 例如, 模糊匹配可以利用LCS(最長公共子序列)或GTS(貪婪串匹配)來計算拼音字符串的匹配值[15]. 模糊匹配計算的結果是一個0%～100%之間匹配值, 不是一個絕對的錯誤匹配或正確匹配. 匹配值可設置閾值范圍(如80%以上)用作匹配參數設定, 也直接用于每次循環匹配的加權參數設定.

(2) 信息內容匹配細化: 信息內容匹配細化是對信息內容進行細化匹配, 目的是讓微博內容盡可能匹配用戶信息增大匹配值. 信息匹配細化的原理是利用Lucene的搜索技術代替匹配值, 例如一名微博用戶的出生地為四川綿陽, 真實出生地為四川省綿陽市, 本應該是正確的, 如果利用絕對匹配原理, 將匹配不上, 那么應該利用Lucene的匹配原理對該條信息進行匹配, 自定義一個返回的匹配度并返回匹配度作為匹配參數.

1 姜贏,萬里鵬,張婧,葛思坤.微博環境下高校網絡輿情的監測與引導研究——以政治敏感信息的監測與引導為例.現代教育技術,2013,4:92–96.

2 徐楊,蒙祖強.基于GN算法的微博社區識別方法.廣西大學學報(自然科學版),2013,6:1413–1417.

3 劉勘,袁蘊英,劉萍.基于隨機森林分類的微博機器用戶識別研究.北京大學學報(自然科學版),2015,2:289–300.

4 黃磊,李壽山,王晶晶.基于認證用戶信息的微博用戶類型識別方法.計算機科學與探索,2015,6:719–725.

5 劉金寶,盛達魁,張銘.微博自媒體帳號識別研究.計算機研究與發展,2015,11:2527–2534.

6 薛云霞.微博用戶屬性識別方法研究[碩士學位論文].蘇州:蘇州大學,2015.

7 張進,劉琰,羅軍勇,董雨辰.基于特征分析的微博炒作賬戶識別方法.計算機工程,2015,4:48–54,59.

8 韓忠明,許峰敏,段大高.面向微博的概率圖水軍識別模型. 計算機研究與發展,2013,S2:180–186.

9 趙巖.微博僵尸粉識別技術研究與實現[碩士學位論文].長沙:國防科學技術大學,2013.

10 高尚,林升棟,翁路易,梁玉麒,宋玉蓉,趙成棟.基于身份識別對中國微博活躍用戶的分群研究.現代傳播(中國傳媒大學學報),2013,10:116–121.

11 Mahmud J, Nichols J, Drews C. Home location identification of twitter users. ACM Trans. Intell. Syst. Technol., 2014, 5(3): 1–47.

12 Kapanipathi P, Jain P, Venkataramani C, Sheth A. User interests identification on Twitter using a hierarchical knowledge base. The Semantic Web: Trends and Challenges, ESWC 2014. Lecture Notes in Computer Science, 2014, 8465: 99–113.

13 Zarrinkalam F, Fani H, Bagheri E, Kahani M, Du W. Semantics-enabled user interest detection from twitter. Proc. of 2015 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology. 2015. 103–110.

14 李鵬宇.微博社交網絡中的學生用戶抑郁癥識別方法研究[碩士學位論文].哈爾濱:哈爾濱工業大學,2014.

15 于海英.字符串相似度度量中LCS和GST算法比較.電子科技,2011,24:101–103,124.

Accurate Identification Method of College Student Microblogs in Certain Area of University

JIANG Ying, HE Guo-Dong, GUO Yu-Chen, ZHU Ling-Xuan

(School of Management, Beijing Normal University, Zhuhai 519087, China)

The accurate identification of college student microblogs is helpful to location the sources of college student rumors and university public opinion events early, which can gain time for the university tutors and related authorities to take remedial measures and deal with emergencies promptly. It matches the college student microblogs information with the student background information from the university as much as possible, so that the student microblog accounts can be identified in certain area of university. The experiments are performed on three different threshold values, and the results prove the effectiveness of the identification by this loop matching method.

online public opinion; microblog account; identification recognition; pattern matching; student microblog

廣東省省級學校德育創新項目(2015DYZD015);廣東省科技計劃(2014A080804001)

2016-04-17;收到修改稿時間:2016-05-16

[10.15888/j.cnki.csa.005527]