基于本體的互聯網輿情分析預警系統關鍵技術研究

張慎武 鄭州大學西亞斯國際學院

1 引言

互聯網改變著中國人的生活方式。2017年8月,中國互聯網絡信息中心(CNNIC)發布了第40次《中國互聯網絡發展狀況統計報告》。《報告》顯示,截至2017年6月, 我國網民規模達7.51億，普及率達到54.3%，其中微博用戶2.9億，網民使用率38.7%，使用網絡新聞和論壇/貼吧的用戶分別為83.1%和17.6%[1]。超過70%的網民在互聯網上發表言論并進行話題討論，充分表達思想觀點和利益訴求。因為自身的開放性、互動性、便捷性、及時性和影響范圍廣等特點，互聯網已成為思想文化信息的集散地和社會輿論的放大器[2]。在互聯網輿情中，有一些熱點問題容易引起廣泛的影響，特別是負面的影響。如果不能及時地發現、有效地引導，負面的互聯網輿情將對社會秩序和公共安全造成較大威脅。因此，對互聯網輿情進行高效快速分析預警的技術是保證良好、穩定的社會秩序的重要保障手段，對此類技術的研究迫在眉睫。互聯網輿情分析與導控系統一般包括熱點、敏感話題識別、輿情主題跟蹤、自動摘要、輿情趨勢分析、突發事件分析和輿情報警等功能。目前國內大多數網絡輿情分析系統都采用基于語法的輿情分析技術，不能從語義層面對網絡輿情進行分析預警，可能會忽略一些熱點/敏感事件，影響了系統對于輿情的發現率。本文主要闡述基于本體的互聯網輿情分析預警系統的模型框架和關鍵技術。

2 系統模型框架

系統模型主要包含輿情規劃、信息采集、輿情分析、輿情報警和本題庫構建等模塊，如圖1所示。

a.輿情規劃模塊：操作員根據需要設置輿情主題和種子URL，形成定制化的輿情方案。

b.信息采集模塊：負責利用爬蟲技術從新聞網頁、論壇、微博、貼吧等互聯網社交媒體中采集信息，將采集到的文本進行格式化、預處理以及向量化，用云存儲技術保存在分布式集群中，并隨時提供信息檢索服務。

c.輿情分析模塊：以一系列最新理論技術研究成果為基礎，涵蓋系統的三個核心模塊（自然語言處理、情感分析和語義分析），利用輿情分析產生的文本分類和情感傾向性結果產生輿情，為輿情服務提供基礎性數據分析支撐。

d.輿情服務模塊：利用輿情分析模塊的處理結果，根據系統的配置提供輿情服務，進行輿情可視化分析并提供輿情預警和展示。

圖1.系統模型框架

3 互聯網輿情領域本體庫的構建

領域專家在本體構建方法學的指導下，構建網絡輿情領域本體庫。Tom Gruber給出了設計本體的基本準則: (1) 明確性和客觀性，本體應該有效地傳達所定義的術語內涵; (2) 一致性，即由本體推斷出來的概念定義應該與本體中的概念定義一致; (3)可擴展性，指本體提供的共享詞匯集，應該在不改變原義的前提下能夠單調地進行擴展; (4) 最小編碼偏差，本體應該處于知識的層次，而與特定的符號級編碼無關; (5)最小本體承諾，一個本體在提供必須的共享知識條件下，要求有最小的本體承諾[3]。本體建立的方法目前沒有統一的標準，一般都是參考軟件工程的方法。

參考常用的本體開發方法后，在本系統中采用的本體建立方法如下: (1) 確定輿情分析本體應用的目的和范圍; (2) 進行本體概念和關系的初步選取; (3) 形式化表示及評價; (4)建立本體。

由于領域知識龐大而復雜，不可能對其進行全面建模，在實際系統中應緊貼特定主題輿情分析的需要，選擇相關的領域建立領域本體庫。

構造本體時是以OWL來進行描述的，在對Web內容進行語義標注和基于語義的輿情分析過程中會頻繁地訪問本體中的概念、實例、屬性及各種關系，所以需要將本體存入數據庫，以實現對本體的快速訪問。

4 輿情內容文本語義標注

語義標注的目的是通過本體為輿情內容文本增加計算機可以理解的語義信息，也就是為本體中的概念尋找文本中的實例或者為本體中的實例尋找相匹配實例的過程。在輿情分析系統中可以采用如下方案來實現網絡文本內容的語義標注:

(1) 網絡文檔特征詞提取。在傳統的空間向量模型文本表示方法中，特征選擇和權值計算忽略了文本的語義信息，所以在本系統中通過遍歷輿情分析本體庫進行文檔特征詞選擇，形成特征詞集合。

(2) 基于輿情分析本體庫進行特征詞權值計算，形成文檔與領域本體的映射關系。文檔 dj表示成特征向量:

dj= { ( t1，w1j) ，…，( ts，wsj) } ，其中t1…ts表示經過本體進行匹配后特征詞，w1j…wsj表示經過在本體計算后得到的概念權值。

采用這種方案不僅可以揭示文檔的隱含語義信息，而且能較準確地劃分文檔與所屬類別，為輿情分析中的熱點話題發現提供基礎。

5 基于語義相似度的輿情熱點/主題/話題分析

Web 文本挖掘的目的是對文本內容進行分析，發現有價值的模式和規則，并進行預測。而現有的文本挖掘都是基于語法層面，極少進行語義層面的挖掘，準確率不高。在輿情分析系統中，熱點、敏感話題發現主要是采用文本挖掘的聚類來實現，在本系統中提出基于語義的熱點、敏感話題發現，實現流程如下:(1) 在上述語義標注的結果上進行基于本體庫的文檔與文檔之間的語義相似度和相關度計算; (2) 按照預設的閾值進行聚類處理，形成相應的簇; (3) 形成文檔集合的劃分后，再次利用上述基于本體的語義特征詞概念權值計算方法進行文檔集合的特征提取，從而形成輿情分析中的熱點、敏感話題，在本體庫的支持下進行情感傾向性分析。

在該過程中多次涉及到語義概念特征的相似度與相關度計算，對于概念的語義相似度

其中:α(x)是以x為起點向上可達的結點集合;α(x)∩α(y) 是以x和y為起點，向上可達的結點集合的交集;ρ∈［0，1］是可調參數。式(1) 充分考慮

了概念間的語義重合度、概念層次深度和相似度的不對稱性。

在領域本體中任意2個概念特征相關度

其中，ShortPath(x, y)表示從x到y的最短路徑距離，當x和y不相通時該值為∞，λ為可調參數。

6 結束語

本文闡述了互聯網輿情分析預警系統的模型框架和系統中使用的三個關鍵技術：互聯網輿情領域本體庫的構建、輿情內容文本語義標注和基于語義相似度的輿情熱點/主題/話題分析，如何將這些關鍵技術和其他技術在模型框架內整合成一套自動化的互聯網輿情分析預警系統，為相關管理者、監管部門提供一個基礎性平臺，是本文下一步的工作重點。