一種基于網絡敏感信息挖掘的量化社會穩定分析技術框架

一種基于網絡敏感信息挖掘的量化社會穩定分析技術框架*

王偉1,李佳靜2,甕佳佳1

(1.武警工程大學電子技術系,陜西 西安 710086；

2.中國礦業大學(北京)機電與信息工程學院,北京 100083)

摘要：國內針對社會穩定形勢的分析工作主要集中在理論、體系、指標構建方面，定量分析研究較少。提出了基于網絡敏感信息挖掘、精確語義匹配和量化分析的社會穩定形勢監控技術框架。對互聯網新聞文本中與社會環境、民族和諧、民生幸福相關的敏感信息進行挖掘，識別熱點關鍵詞以及由該詞引導的敏感事件的變化趨勢，構造敏感信息知識庫；建立社會穩定理論模型和計算模型，利用社會調查和迭代反饋分析法習得模型參數，實現社會穩定形勢的定量評估。基于該技術構造了原型系統，對新疆、西藏等邊疆六省份社會穩定形勢定量分析的平均準確率達到73.72%，具有一定決策參考價值。

關鍵詞：敏感信息；社會穩定指數；網絡文本挖掘

中圖分類號：TP391.1 文獻標志碼：A

doi:10.3969/j.issn.1007-130X.2015.06.027

收稿日期：*2014-04-23;修回日期：2014-08-11

基金項目：國家自然科學青年基金資助項目(61309022)；陜西省自然科學基金資助項目(2013JQ8031)；武警工程大學軍事應用研究項目(WJY201515)

作者簡介:

通信地址：710086 陜西省西安市未央區武警路1號武警工程大學電子技術系

Address:Department of Electronic Technology,Engineering University of CAPF,1 Wujing Rd,Weiyang District,Xi’an 710086,Shaanxi,P.R.China

Aquantitativesocialstabilityanalysisframeworkbasedonwebsensitiveinformationmining

WANGWei1,LI Jia-jing2,WENG Jia-jia1

(1.DepartmentofElectronicTechnology,EngineeringUniversityofCAPF,Xi’an710086;

2.SchoolofMechanicalElectronic&InformationEngineering,

ChinaUniversityofMining&Technology,Beijing100083,China)

Abstract:Research on domestic social stability analysis mainly focuses on the construction of social stability theory, architecture and index, but little attention is paid to quantitative analysis. In this paper, we propose a social stability supervising framework based on sensitive Web information mining, semantic pattern matching and quantitative calculation. By analyzing the sensitive information about social environment, national harmony and happy index of people lives in natural language texts from Internet, and identifying hot keywords as well as the event trends led by the keywords, we construct a sensitive information knowledge base, and design a social stability index theoretic model and a quantitative calculation model to evaluate the social stability quantitatively. Parameters of the calculation model are determined by employing social investigations and an iterative feedback learning method. A prototype system is built on the proposed framework and experiments are conducted in 6 frontier provinces, such as Xinjiang and Tibet. The result of an average accuracy of 73.29% has reference value in decision-making to some extent.

Keywords:sensitiveinformation;socialstabilityindex;webtextmining

1引言

我國互聯網普及率不斷提高，虛擬網絡對現實社會的影響日益顯著。網絡上發布的信息，既有能夠反映貧富差距、社會治安、就業失業等社會環境問題的內容，又有反映宗教信仰、生活方式、境外勢力滲透等民族和諧問題的內容，還有與人民生活環境、社會保障、可支配收入相關的民生信息。通過網上社區討論，形成現實社會中的游行、集會、結社等社會性行為的事例屢見不鮮。因此，利用信息化手段對互聯網敏感信息進行全面、準確和及時的監測，做出有效的預警和應對，是維護社會安定團結、大力發展經濟的有效保障。

目前網絡信息監測任務主要由輿情監測系統完成。輿情系統可實現對網絡信息的監管、對熱點事件的追蹤[1,2]，進行關聯分析和趨勢分析，但一般并不對社會穩定局勢進行分析。國內現有的針對社會穩定形勢的分析工作[3～11]主要集中在理論、體系、指標構建方面，利用互聯網信息實現實時社會穩定形勢評估的研究較少。一方面，大量研究只進行定性分析而未得出更有意義的量化結果；另一方面，一些工作局限于某個單一因素，如僅針對幸福指數進行研究，未考慮到多種因素的綜合影響。

本文面向互聯網海量自然語言文本，建立由社會環境因素、民族和諧因素和幸福指數三類因素構成的社會穩定理論模型與計算模型，利用社會調查及迭代反饋學習方法習得模型參數，通過抓取、識別、抽取網絡新聞報道及評論中的敏感信息構造敏感知識庫，經過精確的語義規則匹配與量化計算，實現對社會穩定形勢的實時監控。對新疆、西藏等邊疆六省份典型網站的實驗分析結果顯示，平均準確率達到73.72%，能較好地反映社會穩定趨勢。

2相關研究工作

國內一些社會科學工作者在社會穩定形勢分析、指標體系建構和管理系統的研發等多個方面進行了相關研究。如李育全[3]在結構性調查統計的基礎上，從事實評定指數和穩定信心指數兩個方面對邊疆民族地區社會穩定的影響因素進行了實證分析。文獻[4～6]針對幸福指標的經濟學意義、幸福指數指標體系的構建、幸福指數的采集與實證分析進行了研究。文獻[7,8]對社會群體性事件背后的心理學因素進行了探討。朱慶芳等[9]構建了由38項重要指標組成的經濟社會和諧發展指標體系。文獻[10,11]從經濟學角度對我國城市社會政治穩定性進行了嘗試性的實證分析。文獻[12]對利用人為輸入信息構建社會穩定預警預控管理系統的方法進行了描述。可見目前的研究主要集中在理論、體系、指標方面，還未見利用網絡信息挖掘技術自動進行社會穩定形勢分析的工作。本文在理論建模基礎上，利用文本挖掘技術實現對社會穩定形勢的監控。

與本文直接相關的應用是輿情監測。輿情監測系統從Web網頁內容中的半結構或無結構的數據中自動發現、提取有用信息，發現海量信息中民眾關注的熱點、焦點事件，實現對熱點事件的追蹤，并能形成一定的關聯分析和趨勢分析。國內較為出色的輿情監測系統有北大方正的智思輿情預警輔助決策支持系統，北京拓爾思TRS互聯網輿情信息監控系統，以及美亞輿情、人民輿情、天璣輿情、谷尼網絡輿情、鷹擊微博與情等等。它們都以信息采集技術為核心，應用信息處理技術、內容管理技術、知識管理技術、信息分類技術，實現網絡輿情監測和新聞熱點追蹤、新聞監管等功能。本文的工作專注于社會穩定形勢的量化分析，即在采集、分析和處理網絡信息的基礎上，需要根據所提出的社會穩定指數模型進行量化計算，才能得到社會穩定形勢。

3社會穩定形勢分析技術框架

本文基于網絡敏感信息挖掘技術，提出了社會穩定形勢分析技術框架，構造了社會穩定指數模型，實現了對社會穩定形勢的自動量化分析。整體技術框架如圖1所示。

Figure 1　A quantitative social stability analysis framework based on web sensitive information mining 圖1　基于Web敏感信息挖掘的社會穩定量化分析框架

該技術框架由三層構成：

(1)文本挖掘層：提供海量Web文本挖掘服務。針對社會穩定模型中所涉及的要素抓取相關網頁，利用TML(TextMiningLanguage)[13]提取關鍵詞、進行語義分析、挖掘關聯關系、捕獲敏感信息。TML封裝了復雜的網頁抓取和自然語言處理技術，并將理論模型、提取規則映射為具體的文本挖掘過程。

(2)知識發現層：實現理論建模、規則提取與知識發現。根據社會穩定指數理論模型，分析代表各類要素的關鍵詞集和關聯關系，構造敏感信息匹配規則庫。并利用迭代反饋機制確定社會穩定指數模型中各要素的權重，實現社會穩定形勢的定量計算。

(3)數據表現層：提供數據的可視化與可操作性。利用社會穩定指數計算模型量化分析提取的敏感信息，以圖表等可視化形式展示社會穩定變化趨勢，為進一步的智能情報分析與決策操作提供人機接口。

3.1文本挖掘層

文本挖掘層在知識發現層指導下，從海量網絡文本中挖掘影響社會穩定的社會環境、民族和諧和幸福指數三種類別因素的敏感詞和匹配規則。

新聞是報紙、電臺等媒體記錄社會、傳播信息、反映時代的一種文體。互聯網的開放性使網絡新聞能夠更直接、更迅速地記述現實社會，因此影響社會穩定形勢的諸多因素均可在網絡新聞中找到。本文采用了兩種方式獲取網頁上的敏感信息：

(1)人工閱讀新聞網頁，根據公眾對當前的時局、政策的一些觀點選擇敏感信息作為“種子”。在初始狀態下，使用這種方式效果較好，但效率較低。

(2)利用TML文本挖掘語言，通過自動挖掘獲得網上信息。將手工獲取的初始敏感詞作為關鍵字提供給網絡爬蟲，用來實現定向抓取，再從返回的網頁中通過文本分析與挖掘獲得新的敏感詞，構造敏感詞集。

TML是一個自然語言處理平臺，它包含編譯器、虛擬機和集成開發環境。用戶使用TML語言編寫文本挖掘規則代碼，這些代碼被編譯成字節碼后在虛擬機上運行。TML實現并封裝了大部分常用的文本挖掘技術，為復雜的文本挖掘過程提供了一條簡單的途徑。

在文本挖掘層，我們基于TML實現了敏感信息挖掘，將所識別的信息作為構造知識庫的基礎。該層利用了TML提供的網絡爬蟲、文本抽取、中文分詞、詞性標注與命名實體識別、關鍵詞抽取、概念與關系抽取等功能。根據社會穩定理論模型，使用CONCEPT和PREDICATE指令定義敏感詞集與規則，利用PAGES確定信息采集的范圍，并用SELECT提取匹配的概念與關系。TML代碼框架如下：

CONCEPTx;/*定義敏感詞集x*/

CONCEPTy;/*定義敏感詞集y*/

PREDICATEx-y;/*定義敏感詞集間的關系*/

PAGESSample {Definewebsite}/*定義抓取網頁的范圍*/

SELECTx-yfromSample;/*定義輸出*/

OUTPUT;/*以XML輸出結果*/

例如,在分析“社會環境”中“經濟收入”影響因素時，人工識別的敏感詞集CONCEPT (income) ={“收入”，“工資”，“薪水”，“生活費”}，以此為種子進行定向抓取和同義詞擴展后，得到CONCEPT (income)={“收入”，“工資”，“薪水”，“生活費”，“平均收入”，“平均生活費”，“經濟”，“物質”，“生活必需品”，“飲食質量”，“伙食費”，“平均工資”，“平均薪水”，“可支配收入”，“可支配工資”，“可支配薪水”，“生活用品”}。

上述半自動學習過程只完成了敏感詞的識別，而在社會穩定信息挖掘時，需要描述敏感詞的變化趨勢。例如，在“社會環境”方面需要分析“經濟收入”相關敏感信息的變化。這里同樣利用半自動學習方式構造表示狀態變化的動詞集，即CONCEPT (income-v)={“低”，“下降”，“減少”，“下滑”，“降”，“回落”，“低落”，“低下”，“沒有”，“不夠”，“拮據”}。

為了實現精確的語義匹配，同時避免復雜的漢語語法分析，本文利用“詞同現”定義敏感詞與變化趨勢詞之間的謂詞修飾關系。函數PREDICATESE1(income n1, income-v v1){ dist_15(n1,v1);}表示在相距15個詞(一句話的平均長度)之內，來自集合income的詞與來自income-v詞之間構成了主謂關系，描述了一種影響社會穩定的因素。這種基于距離定義的匹配方法在兩個集合之間形成了|income|×|income-v|映射，提高了規則的覆蓋范圍，客觀上能夠達到利用同義詞擴展提高召回率的效果。

3.2知識發現層

知識發現層實現社會穩定形勢的理論與量化建模，并根據模型指導文本挖掘層實現規則提取與知識發現。

3.2.1社會穩定指數理論模型

李育全[3]認為影響邊疆民族地區社會穩定的主要因素是“新型社會利益群體形成過程中的利益摩擦，社會資源再分配導致的利益懸殊感的緩慢累積，以及利益訴求和利益表達的非理性行為”。通過實證分析，發現影響社會不穩定的因素具有多元化特征，包括了經濟、就業、社會保障、物價、利益、政治、民族、文化、宗教、敵對勢力的滲透、突發事件、征地拆遷等多方面問題。本文通過進一步分析、研討與社情考察，認為社會穩定指數(SI)是社會穩定因素(SE)、民族和諧因素(NH)和幸福指數(HI)的線性組合，如公式(1)所示:

SI=αSE+βNH+γHI

(1)

其中，社會環境SE=α1RP+β1SP+γ1EQ+…，定義為多種與社會環境相關的要素的組合。RP、SP、EQ、…分別表示貧富分化、社會治安、就業問題等要素。

民族和諧NH=α2R+β2HP+γ2LS+…，定義為多種與民族團結相關的要素的組合。R、HP、LS、 …分別表示宗教、境外勢力滲透、生活方式等要素。

幸福指數HI=α3IC+β3SG+γ3EnQ+…，定義為多種與幸福生活相關的要素的組合。IC、SG、EnQ、…分別表示可支配收入、社會保障、環境質量等要素。

3.2.2影響社會穩定的因素分析

社會穩定指數受許多因素影響，為確定哪些因素比較重要，本文設計了“社會穩定影響因素”調查問卷，并于2013年3月～4月，分別在高校、企業、街頭展開隨機抽樣調查，共發出問卷500份，收回500份，被調查對象涉及少數民族187人、漢族313人，其年齡分布、職業分布和學歷分布見表1～表3。

Table 1　 Age distribution of survey participants

Table 2　 Career distribution of survey participants

Table 3　 Education background distribution

對收回的問卷進行統計，列出影響社會穩定的社會環境、民族和諧和幸福指數相關因素如表4～表6所示。

Table 4　 Social environmental factors that affect social stability

Table 5　 National harmony factors that affect social stability

Table 6　 Happiness factors that affect social stability

3.2.3社會穩定指數的量化計算

在進行“社會穩定影響因素”問卷調查時，我們要求被調查對象根據個人體驗將各類別中的因素按照對社會穩定形勢的影響程度由大至小排序，對于每類因素中的項目，同樣按照影響程度由大至小進行排序。然后根據統計結果計算各因素對社會穩定的影響系數ai。對于某一類因素，假設其排在第一位的數量為x1，排在第二位的數量為x2，…，排在第m位的數量為xm，則：

(2)

根據公式(2)，可得到對模型參數的粗略估計，更準確的模型參數需要利用實際實驗數據來確定。我們從邊疆省份選定了一批網站進行抓取和分析，經過篩選和比較，從中選擇出新聞內容量大、更新頻繁、具有代表性的網站作為抓取數據源，具體網站信息如表7所示。

Table 7　 Website list for data sampling

通過對上述網站采樣數據的分析，對模型參數進行驗證和調整，得到穩定指數最終的計算公式如下：

社會穩定指數：

SI=0.45SE+0.35NH+0.2HI

(3)

其中，社會環境SE=0.25*income+ 0.09*employment+0.05*promotion+0.12*position+0.13*welfare+0.15*family+0.08*quality+0.13*disturbance

民族和諧因素NH=0.5*economy + 0.2*religion + 0.3*government

幸福指數HI=0.4*quality + 0.4*sequence+ 0.2*stable

3.3數據表現層

在數據表現層，以圖表等可視化形式動態、直觀地展示社會穩定變化趨勢，并提供決策參考。可選的數據展示方式包括：

(1)折線圖：根據量化分析中得到的穩定指數繪制社會穩定指數線性圖，該折線圖能夠直觀地顯示一段時間內多個省份穩定形勢的變化趨勢。社會穩定指數變化曲線如圖2所示。

(2)形勢圖：繪制動態地圖，按日期顯示不同省份的穩定指數監控情況，根據國際通用的安全級別與顏色，將穩定指數對應為不同的安全級別，在地圖上為各省染色，增強視覺效果。社會穩定形勢如圖3所示。

Figure 2　A line chart of social stability 圖2　社會穩定指數線性圖

Figure 3　A situation chart of social stability 圖3　社會穩定形勢圖

4實驗結果與分析

根據論文提出的技術框架，本文實現了一個社會穩定指數分析系統原型。利用該原型系統對西藏等邊疆六省進行分析，得到2013/6/5/～2013/6/9各省穩定指數變化趨勢，如圖4所示。

Figure 4　A social stability line chart of 6 frontier provinces 圖4　2013/6/5～2013/6/9邊疆六省社會穩定指數線性圖

其中，吉林省穩定指數較高且變化明顯，分析所抓取網頁內容，發現吉林省6月3日發生了火災爆炸事件，因此連續幾天圍繞該事件出現了較多報導，以下是提取的相關敏感信息：

(1)6月3日～6月5日：發生6.3特大火災爆炸事件。

(2)6月6日～6月7日：陸續公布死亡人數。

(3)6月7日～6月8日：爆炸事件后追究責任、控制影響等新聞眾多，如：“當地曾為出事工廠違規開路” 、“政府道歉后還需追責” 、“液氨高溫后易造成流行病與疫病流行”。

(4)6月8～6月9日：火災爆炸相關報道減少，高考新聞增多，穩定指數走勢下降。

除火災爆炸事件外，在此期間還統計到吉林省同時有大量影響社會穩定的新聞報道，如：“吉林長春市一地鐵施工處發生施工事故”、“吉林一法院‘溫馨提示’引發公眾批評”、“吉林石化乙二醇出廠報價小幅上漲”、“吉林榆樹高考亂象娛樂了誰”、“吉林男子行兇 見義勇為者身中多刀”、“韓企白菜價進口中國人參暴利 吉林千億計劃阻擊”等。

為驗證社會穩定指數計算模型的準確性，我們將6月5日～9日的評測結果與事實相比較，并對準確率進行統計，結果如圖5所示。這里準確率定義為：

Figure 5　Manual evaluation accuracy of social stability of 6 frontier provinces from 2013/6/5 to 2013/6/9 圖5　2013/6/5～2013/6/9邊疆六省 社會穩定指數人工評測準確率

我們針對圖中“云南6月7日”和“6月9日”準確率偏低進行了分析，發現是由于敏感詞集增大、結構設計不合理造成的。我們對敏感詞集根據語義進行了分類，優化了詞集間的交叉關聯，經調整優化后系統平均準確率達到73.72%。

上述實驗結果說明提出的模型和技術框架能夠較好地監測社會穩定形勢，及時反映社會穩定狀態的變化趨勢。為進一步提高實用性，可在以下兩方面加以改進：(1)篩選敏感信息時參考百度熱詞榜等資源，以提高構造敏感信息知識庫的權威性；(2)加入文本的極性分析技術，以便在更細的粒度上把握公眾的輿論走向。

5結束語

本文以網絡新聞文本為例研究了與社會環境、民族和諧、民生幸福等主題相關的敏感信息的抓取與量化分析技術。構造了社會穩定指數量化分析模型，基于文本挖掘與精確語義匹配，實現了社會穩定指數的定量分析。針對新疆、西藏等邊疆六省份指定網站的實測結果顯示，本文構造的模型和系統能夠較好地反映社會穩定形勢，相關結果可提供給政府、公安情報部門作為參考決策依據，有效維護國家的安定團結。

參考文獻:

[1]Shou Li-dan, Chen Gang, Hu Tian-lei, et al. A relevance mining method of Internet hot spot topic:China, Invention patent CN101158957[P]. 2008-04-09.(in Chinese)

[2]Li Yu-qin, Sun Li-hua. Hot-word detection for Internet public sentiment[J]. Journal of Chinese Information Processing, 2011, 25(1):48-59.(in Chinese)

[3]Li Yu-quan.Analysis of social stability influence factors in frontier ethnic areas[J]. Heilongjiang National Periodicals, 2010(1):36-43.(in Chinese)

[4]Tang Xiao-jing, Yang Peng-fei. On evaluation model for Chinese citizens happiness index[J]. Journal of Anhui Science and Technology University, 2012, 26(2):61-65.(in Chinese)

[5]Gong Chun-zi.How to build the index system of GNH [J]. Journal of Eastern Liaoning University (Social Sciences), 2006, 8(6):84-87.(in Chinese)

[6]Kang Jun. The meaning and measurement of happiness [J]. China Statistics, 2006, 2006(9):18-19.(in Chinese)

[7]Liao He-ping, Cao Han-lin. Social psychological mechanism produced by group events and its countermeasures[J]. Innovation, 2009(1):83-87.(in Chinese)

[8]Qiu Zhong-hui. A social psychological foundation analysis on network public opinion in massive incidents [J]. Journal of Guizhou Province Committee Party’s School of C. P. C. 2011(3):82-85.(in Chinese)

[9]Zhu Qing-fang. A comprehensive evaluation on index system of the harmonious development in economic society[R]. Society of China Analysis and Forecast, 2007.(in Chinese)

[10]Song Li-na, Appleton S. An empirical investigation into social discontent in urban China[J]. China Economic Quarterly, 2007, 6(4):1339-1358.(in Chinese)

[11]Hu Lian-he, Hu An-gang, Wang Lei. An empirical analysis on the changing situation in social unstable factors [J]. Discovery, 2007(6):105-114.(in Chinese)

[12]Yan Yao-jun. The measurement of the social stability and the construction of presentiment management system[J]. Sociological Studies, 2004(3):1-10.(in Chinese)

[13]Li Jia-jing, Li Xiao-ming, Meng Tao. TML:A universal and efficient language text mining[J].Journal of Computer Research and Development, 2015,52(3):553-560.(in Chinese)

參考文獻：附中文

[1]壽黎但, 陳剛, 胡天磊, 等. 互聯網熱點主題相關性挖掘方法：中國，發明專利CN101158957[P].2008-04-09.

[2]李渝勤, 孫麗華. 面向互聯網輿情的熱詞分析技術[J]. 中文信息學報, 2011, 25(1):48-59.

[3]李育全. 邊疆民族地區社會穩定的影響因素分析[J]. 黑龍江民族叢刊, 2010(1):36-43.

[4]唐曉靜, 楊鵬飛. 我國居民幸福指數評價模型[J]. 安徽科技學院學報(社會科學版), 2012, 26(2):61-65.

[5]宮春子. 幸福指數指標體系的構建[J]. 遼東學院學報, 2006, 8(6):84-87.

[6]康君. 幸福涵義及度量要素[J]. 中國統計, 2006, 2006(9):18-19.

[7]廖和平, 曹漢林. 群體性事件產生的社會心理機制及對策探究[J]. 創新, 2009(1):83-87.

[8]邱中慧. 群體性事件中網絡輿情的社會心理基礎分析[J]. 中共貴州省委黨校學報, 2011(3):82-85.

[9]朱慶芳. 經濟社會和諧發展指標體系綜合評價[R].中國社會形勢分析與預測, 2007.

[10]宋麗娜, Appleton S. 對中國當前城市社會穩定性的實證研究[J]. 經濟學, 2007, 6(4):1339-1358.

[11]胡聯合, 胡鞍鋼, 王磊. 關于我國社會不穩定因素變化態勢的實證分析[J]. 探索, 2007(6):105-114.

[12]閻耀軍. 社會穩定的計量及預警預控管理系統的構建[J]. 社會學研究, 2004(3):1-10.

[13]李佳靜, 李曉明, 孟濤. TML:一種通用高效的文本挖掘語言[J].計算機研究與發展，2015,52(3):553-560.

王偉(1972-),男,河北唐山人，博士，副教授，CCF會員(E200018182M),研究方向為網絡信息處理和信息安全。E-mail:wjwangwei@pku.edu.cn

WANG Wei,born in 1972,PhD,associate professor,CCF member(E200018182M),his research interests include Web information processing, and information security.

李佳靜(1979-),女,黑龍江大慶人，博士，講師，研究方向為文本挖掘和信息安全。E-mail:lijj@cumtb.edu.cn

LI Jia-jing,born in 1979,PhD,lecturer,her research interests include text mining, and information security.

甕佳佳(1987-),女，河南息縣人，碩士，助教，研究方向為信息安全。E-mail:wj-wengjiajia@163.com

WENG Jia-jia,born in 1987,MS,assistant,her research interest includes information security.