論語言文字輿情信息的匯集

摘 要:進行語言文字輿情的監測和分析是國家語言資源監測與研究工作往縱深方向發展的必然趨勢，目前這方面的研究剛剛開始。本文對語言文字輿情作了簡要論述，在定義語言文字輿情概念，說明語言文字輿情的構成要素，探討語言文字輿情信息特點的基礎上，提出了語言文字輿情監測系統方案，并重點討論了第一模塊——語言文字輿情信息匯集子系統。語言文字輿情信息的匯集渠道宜以網絡為主，在范圍、內容、形式、時間和方法上應遵循相應的原則。本文還提出了一個確定語言文字輿情信息匯集范圍的思路，簡述了匯集方法。實驗結果表明，語言文字輿情信息源的確定方法正確，覆蓋范圍較大，可信度較高。

關鍵詞:語言文字輿情 匯集 監測

一、引言

進入21世紀以來，隨著社會的不斷進步、經濟的持續發展和國家綜合實力的日益增強，我國的語言生活出現了一片生機盎然、空前活躍的景象，人們的語言文字觀念發生了重大變化。全面而準確地把握語言生活的動態，構建和諧的語言生活環境，已成為新世紀語言文字工作的新目標。應運而生的“國家語言資源監測與研究中心”自2004年6月正式成立第一個分中心——平面媒體語言分中心——以來，初步建立并且逐步形成了一種對我國社會語言生活進行實時監測和研究以及在此基礎上實施規范引導的有效機制，得到了社會的廣泛認可。

在信息化社會的今天，被稱為“第四媒體”的網絡正悄然改變著人們的生活和工作方式。面對海量的非結構化信息，要真正全面、準確地把握語言生活的動態，了解人們對語言生活中出現和發生的各種事件的意見和看法，并據此或適時地做出科學的決策，或進行有針對性的規范和引導，或采取適宜的應對措施，實非易事。因此，對語言文字輿情的研究，已成為目前國家語言資源監測與研究中一項十分必要而且緊迫的工作。加強這方面的理論探索和應用研究，是國家語言資源監測與研究工作往縱深方向發展的必然趨勢。

語言文字輿情研究具有重要的理論和應用價值。它不但能豐富一般輿情理論的研究，而且能直接應用于語言文字工作當中。語言文字關乎民族生計、國家命脈，語言文字工作的成敗關系國計民生。及時掌握和了解語言文字輿情，對語言文字工作的開展將起到重要作用。在這樣的背景和需求下，本文提出了語言文字輿情監測的設想并對其第一模塊，即語言文字輿情信息的匯集，進行了探索性的研究。文章首先簡述語言文字輿情的一些基本問題，然后討論語言文字輿情信息的匯集渠道、原則、匯集范圍和匯集方法等，繼而陳述實驗過程及結果，最后得出結語。

二、語言文字輿情概述

近年來，關于輿情理論和應用的研究是學界相當熱門的研究課題，在相關領域取得了較為豐碩的成果。其中，張克生(2003)集中探討了政府決策的輿情機制問題;王來華的《輿情研究概論:理論、方法和現實熱點》“是我國第一部系統地從理論、方法和實踐上綜合探討輿情問題的專著，……標志著我國輿情研究基礎理論框架的初步確立”;劉毅(2007)從理論與實際緊密結合的角度對網絡輿情進行了開拓性的深入探討，其《網絡輿情研究概論》是國內首部全面研究網絡輿情的專著。大致地說，輿情的理論研究主要應用于輿情挖掘、輿情安全和輿情分析三個方面，一般都是基于網絡的，如杜阿寧(2007)、王磊(2008)、李若鵬(2008)、楊梅(2008)等。

“輿情”和“網絡輿情”因此成為熱門的關鍵詞語。王來華(2003)對輿情作了如下定義:“輿情是指在一定的社會空間內，圍繞中介性社會事項的發生、發展和變化，作為主體的民眾對作為客體的國家管理者產生和持有的社會政治態度。”劉毅(2007)對網絡輿情的定義是:“簡單地說，網絡輿情就是通過互聯網表達和傳播的各種不同情緒、態度和意見交錯的綜合。”語言文字輿情是專門領域的輿論情況，對這一概念目前學界還沒有一個明確的定義。借鑒新聞和傳播學領域的相關研究，我們認為，語言文字輿情是指在一定的時間和社會空間內，民眾對與語言生活相關的政策和事件所產生和持有的社會政治態度。簡言之，就是民眾對語言文字政策和事件的意見和態度。

同其他領域的輿情一樣，語言文字輿情也是以一定的方式存在并以一定的狀態運動的，其存在方式和運動狀態表現為語言文字輿情信息。語言文字輿情信息是指通過物質載體記錄和表達的有關語言文字輿情的信息，包括以記錄形式存在的語言、符號、數據等和以非記錄形式存在的口頭言論、表情、行為等。特別地，如果通過互聯網上的媒體紀錄和表達語言文字輿情，就稱為語言文字網絡輿情信息，這種輿論情況就稱為語言文字網絡輿情。

語言文字輿情具有鮮明的特點:

第一，涉及面較廣，影響人數眾多。語言文字問題是一個寬泛而邊界模糊的領域，涉及社會生活的方方面面，它上可涉及國家大政方針，下可進入尋常百姓的日常生活，關涉到各種層次和地位的人，影響到各行各業。可以說，語言文字問題觸及了人們生活的各個層面，它無時不在又不可回避。曾經引起熱烈討論的“漢字拼音化”問題以及近期發生的“《規范漢字表》和新生兒取名事件”都是比較典型的例子。

第二，反復出現。一些語言文字問題由于各種歷史或現實原因，容易出現“老生常談”“舊事重提”的現象。如漢字的“繁簡之爭”就是典型的“老生常談”式的語言文字問題，雖然漢字簡化問題已有定論，但近年來“恢復繁體字”的觀點反復出現，知名人物、著名學者、意見領袖等的相關言論常常使這個問題在短時間內得到高度關注和熱烈討論。

第三，成因復雜。語言文字輿情的產生，究其根源，一是來自語言本身，二是來自社會變遷。首先，漢語是一門有著數千年歷史的語言，在發展變化的過程中，語音、文字、詞匯、語法等諸多方面必然會產生許多對立統一的現象，如標準讀音和非標準讀音、規范字和異體字、書面詞和口語詞等。存在矛盾的語言現象有些是有理據、可追本溯源的，有些則是無理據、不能溯源的。這種“歷史性”的問題導致了現代漢語本身的復雜性，由此產生了語言文字輿情的復雜性，例如“44個漢字微調寫法事件”。其次，自1919年至今，漢語經歷了“白話文運動”、漢字簡化、使用漢語拼音方案注音、漢字信息化等一系列過程，見證了祖國大陸使用簡體而臺灣、香港、澳門地區使用繁體字的狀況。因此，近百年間的種種社會變遷和語文政策使漢語產生了不同的使用群體，這些群體對某一語言文字事件或政策的看法不一，使得當前的語言文字輿情表現出復雜的特點，例如“馬英九提議‘識正書簡’事件”。

第四，常與其他社會事件共現。很多語言文字事件不是單獨出現的，它們經常會與具有公共事務性質的其他社會事件交錯在一起共同出現，呈現出錯綜復雜的局面。如“趙C人名事件”的肇始是一起民政性質的事件，而“福娃改名事件”則同2008年北京奧運會聯系在一起。

對語言文字輿情的理論研究涉及諸多方面，其中，語言文字輿情的構成要素以及語言文字輿情的形成和變化規律是兩個較為重要的問題。語言文字輿情由5個基本要素構成:主體、客體、時間因素、空間因素和社會政治態度。語言文字輿情的主體是對與語言生活相關的政策和事件公開表達意見和態度的民眾;客體是與語言生活相關的政策和事件;社會政治態度是語言文字輿情主體對客體所持有的意見、態度、情緒、意愿等的總和;時間因素是指主體對客體所表達的意見和態度的時間;空間因素指主體對客體所表達的意見和態度的場所。對語言文字輿情的形成和變化規律的研究包括輿情形成的模式和輿情的變化規律，這是語言文字輿情研究中的一個重大課題，限于篇幅，擬另文討論。

對語言文字輿情進行研究的一個重要和基本領域就是語言文字輿情的監測和分析。依據輿情信息工作的一般流程，結合語言文字工作的特點，運用自然語言處理技術，可以構建一個語言文字輿情監測和分析系統(見圖1)。一個完備的語言文字輿情監測和分析系統至少應包含3個模塊:語言文字輿情信息的匯集、語言文字輿情信息的分析和語言文字輿情信息的報表。簡單地說，匯集模塊主要通過信息采集工具對主要的語言文字輿情信息源進行信息的匯集，包括采集、過濾、分類、存儲等環節。分析模塊主要對已獲取的語言文字輿情信息進行觀點挖掘和傾向性分析，涉及到信息抽取、數據挖掘、情感分析等多方面的技術和手段。報表模塊主要對分析模塊的結果按照多種方式進行數據的統計和匯總，并提供對當前輿情走向和趨勢的預警，以便為各級政府的相關管理部門提供決策支持。

圖1:語言文字輿情監測和分析系統結構圖

三、語言文字輿情信息的匯集

一個良好的語言文字輿情監測和分析系統，首先要有一個好的語言文字輿情信息匯集模塊。這不但因為世界上的信息浩如煙海而與語言文字輿情相關的信息只不過是滄海一粟，精確地定位這些信息成為關鍵，而且還因為所有有待處理的數據都基于所匯集的信息并直接影響著分析結果的準確性。

語言文字輿情信息的匯集，主要涉及匯集渠道、匯集原則、匯集范圍和匯集方法等四個方面的問題:

(一)語言文字輿情信息的匯集渠道

傳統的輿情匯集機制和方法大多采用手工的方式通過各種手段(如文獻研究、社會調查、計算機輔助電話訪問調查、網絡調查、輿情直報點、內參、信訪工作、網絡論壇等)收集來自多種渠道的信息，其優點是信息來源豐富、主題針對性強、輿情覆蓋面廣，缺點是效率低、實效性差、人力財力花銷大、難以滿足未來輿情分析的要求。對語言文字輿情來說，手工的方式收集來自平面媒體、有聲媒體、網絡及其他渠道的所有輿情信息，是一件困難且不現實的事情。

一種改進的辦法是根據以往的統計數據采取按比例抽樣的辦法來減少收集的范圍，用樣本來估計總體。這種辦法雖減少了人力、財力的花銷，但在效率和實效上卻沒有顯著的改善。另一種可行的辦法是主要收集來自互聯網的輿情信息，利用它高效率、即時性和易采集的特點來彌補傳統方法的不足。根據經驗，盡管語言文字網絡輿情不等于語言文字輿情，但它是語言文字輿情最重要的組成部分，而且由于網絡傳播方式的特質，它也成為了語言文字輿情的風向標和“放大器”，即語言文字網絡輿情對于語言文字輿情的反映更加迅速和直接，能將一時一地的觀點、意見傳遞到最大范圍并得到一切可能的回應，使意見空間和意見力度進一步擴大和增強。因此，我們認為，把語言文字輿情信息匯集的渠道定位在互聯網，把語言文字網絡輿情信息視為語言文字輿情監測和分析的主要對象，在目前和將來都是可行而且適當的。

(二)語言文字輿情信息的匯集原則

由于語言文字輿情信息匯集的目的在于為語言文字輿情分析提供相關的數據和資源，它不同于一般的輿情信息采集，因此，它的匯集原則也與一般的輿情信息采集不盡相同。具體地說，應當盡量遵循以下原則:

第一，范圍上，遵循針對性原則和代表性原則。語言文字輿情信息的匯集是應語言文字輿情分析之需，而語言文字輿情分析是專題性的輿情分析，因此，信息匯集要圍繞語言文字輿情的研究方向和內容進行，有針對性地展開該領域的輿情信息的匯集。對于輿情信息的來源，應做慎重的甄別和仔細的考察，選擇有代表性的信息源，使匯集到的輿情信息能夠代表不同群體大多數民眾的態度和意見。

第二，內容上，遵循真實性、相關性和完整性原則。語言文字輿情信息的價值主要體現在內容上。價值量高的語言文字輿情信息必須同時具備真實、相關和完整的特點，獲取的信息要能夠客觀真實、準確可靠地反映輿論實情，要與輿情分析系統的目標相符，要盡可能地反映語言文字領域有關問題的全貌。網絡的特點是信息量大，但是網絡上魚龍混雜，虛假信息夾雜在真實有效的信息之間，大量冗余的無關信息混雜在相關信息里，有用的信息散布在巨大的網絡空間里，形成了“信息碎片”。要確保匯集到的信息具有高價值量，就要去偽存真、去粗取精，準確、全面地進行匯集。

第三，形式上，遵循可處理性原則。語言文字輿情信息的存在形式是多種多樣的，以文字形式(互聯網上表現為網頁文本形式)居多，也不乏圖片、音頻視頻等其它形式。不同的存在形式有不同的表達能力和質量，也有不同的表達效果。就目前自然語言處理的技術水平看，較為成熟的技術主要在文本和語音的處理方面，結合語言文字輿情監測和分析的實際情況，處理文本形式的輿情信息是可行的。

第四，時間上，遵循時效性原則和連續性原則。時效性是指應獲取最新(或最近)的語言文字輿情信息。語言文字輿情信息雖然不像一般輿情信息那樣對時效性有著嚴格要求，但及時匯集有關信息，既加快了分析結果的獲得，又體現了信息的時效價值。連續性則指要獲取能夠體現語言文字輿情產生、發展和變化過程的信息。語言文字輿情信息從產生到形成穩態需要一定的時間，某一時段內輿情也可能會隨著時間的推移產生變化，因此，獲取連續的信息有助于對輿情的變化趨勢進行動態追蹤。

第五，方法上，遵循高效率原則。面對互聯網的海量信息，語言文字輿情信息的匯集只有在方法上保證高效，才能實現信息的時效性，加快后續模塊的處理進度。這就要求在系統的設計上充分考慮運行時的開銷——時間復雜度和空間復雜度，確保以較低開銷實現快速高效的信息匯集。

(三)語言文字輿情信息的匯集范圍

在匯集原則的指導下，要充分考慮匯集范圍的問題。這主要是因為語言文字網絡輿情信息僅占網絡信息的極少部分，它散布于網絡空間中，在大多數網站上呈現出不集中的狀態。如果泛泛地采集，未免過于盲目，有失針對性和代表性原則;如果窮盡式地搜索，則需耗費巨量的網絡和計算資源，一般情況下難以做到也不合適。因此，需要有針對性地縮小匯集的范圍，同時保證在此范圍內的相關信息占據整個語言文字網絡輿情信息的絕大部分。

確定語言文字輿情信息匯集范圍的一個基本思路是:首先，根據直覺和經驗事先確定幾類主要的信息源，每類中含有一些基本的、影響力大的網站，稱為先驗信息源;其次，預先收集一定數量的以往的語言文字輿情主題，利用搜索引擎對互聯網進行關鍵字搜索，提取每個搜索的所有結果網址;再次，對所有搜索的結果網址進行交集運算，得到一個網址列表，稱為基本信息源;最后，對基本信息源進行適度擴充，并用先驗信息源對其進行檢驗，得到最終的語言文字輿情信息源。

(四)語言文字輿情信息的匯集方法

互聯網上語言文字網絡輿情信息的匯集是一項較為艱巨的工作。數以億計的網頁在標記語言、頁面結構、腳本語言、數據格式等方面形式多樣，不盡相同，對采集任務提出了很大的挑戰。基于語言文字輿情監測任務的特點，對于靜態的頁面，使用一般的主題爬蟲即可抓取，對于動態的網頁，則需要開發專門的采集程序。

確定了語言文字輿情信息的匯集范圍后，就極大地減少了采集的工作量。但是，語言文字輿情信息源中所含的信息量仍然非常大，相關信息只占少部分，大部分是不相關信息。如果不加以過濾，將對分析模塊造成很大的不便。因此，需要有一個過濾子模塊，篩選出與語言文字輿情相關的信息，過濾掉無關信息。

一個簡單的辦法是僅通過對新聞標題、新聞評論主題、論壇主題、博客標題等進行關鍵詞匹配以實現信息過濾。這需要有一個預先定義好的語言文字領域的關鍵詞表。關鍵詞表可以通過對已有的語言文字新聞文本的分析人工編制，也可以通過程序用統計方法自動獲得。此外，關鍵詞表應當即時更新，把新近采集到而未出現在詞表中的語言文字新聞的關鍵詞添加進去。

復雜的方法不但對標題和主題進行匹配，還需對新聞、評論、博客等的正文內容進行過濾，二者的分析結果綜合后再決定取舍。這是一種更為可靠的方法。

綜上所述，可以建立一個較為完整的語言文字輿情信息匯集系統，其主要的工作流程如下圖所示:

圖2:語言文字輿情信息匯集系統主要工作流程圖

四、實驗與結果

(一)對語言文字輿情信息源的實驗及結果

在匯集原則的指導下，根據上文提出的思路，結合語言文字輿情的實際情況和先驗經驗，首先確定了四類語言文字輿情信息的來源:(1)主管語言文字工作的政府機關網頁，如教育部語言文字信息管理司和語言文字應用管理司網站、北京市語言文字網、上海語言文字網、天津語言文字網等;(2)帶有新聞評論功能的門戶網站，如新浪網、搜狐網、網易網、騰訊網、鳳凰網等;(3)論壇，如人民網強國論壇、新華網發展論壇、中華網和平論壇、天涯社區、百度貼吧等;(4)博客，如博客網、中國教育人博客、天涯博客、新浪博客、鳳凰博報等。這樣得到的先驗信息源含基本網址(base URL)①共計51個。值得一提的是，先驗信息源的確定是經過長時間考察和仔細驗證后的結果，具有典型性和代表性，覆蓋了相當大范圍的語言文字輿情信息。

為了得到基本信息源，我們預先收集了包括“2008年度流行語”“2008年度新詞語”“恢復繁體字”“規范漢字表”“現代漢語常用詞表”等在內的20個輿情主題。利用“谷歌”(Google)搜索引擎在整個互聯網范圍內對每個主題進行關鍵詞搜索②，得到每個搜索的完整網址(full URL)數目如下:

表1:部分輿情主題網址數目(搜索時間:2009年7月8日)

我們抽取出所有20個輿情主題的基本網址，并對它們做交集運算，獲得一個含有293個基本網址的基本信息源。然后，逐個考察基本信息源中的基本網址，參照中國網站排名網(http://www.chinarank.org.cn)和互聯網實驗室網(http://www.chinalabs.com/)提供的網站排名表，刪掉其中一些相關度低、影響力小的網址。下一步是對這個基本信息源進行適度擴充。我們規定，如果一個基本網址中包含2個或2個以上的語言文字輿情主題，就認為這是一個有價值的信息源，將其加入到基本信息源中。具體做法是將基本信息源依次與20個輿情主題的基本網址的兩兩交集比對，由人工對比對結果進行認定后，再將認定的網址加入基本信息源，最后得到了402個網址，它們的分布情況如下:

表2:語言文字輿情信息源分布情況

為了評估所確定的語言文字輿情信息源在語言文字網絡輿情信息總體中的覆蓋范圍，我們對先驗信息源和語言文字輿情信息源進行了比較，經人工檢查確認，先驗信息源中除部分博客外，其余均包含在基本信息源中。這至少證明了兩點:第一，確定語言文字輿情信息源的方法是正確的;第二，確定的語言文字輿情信息源具有相當大的覆蓋范圍。

為了檢驗語言文字輿情信息源的可信度，用不包含在上述20個輿情主題內的“兩岸合編中華大辭典”事件作為測試，采用同樣的辦法共獲取到2749個基本網址(將其稱為測試輿情主題信息源)，與402個語言文字輿情信息源進行交集運算，得到270個重合的基本網址。計算得到:

可見，用這種方法獲取的語言文字輿情信息源可信度較高，基本可滿足應用的需要。

(二)對語言文字輿情信息匯集系統的實驗及結果

我們同時也對初步建立的語言文字輿情信息匯集系統進行了簡單的實驗。作為測試，對手工收集到的涉及20個語言文字輿情主題的464篇文本(不含重復內容)進行了考察，手工編制了一個含有120個詞語的關鍵詞詞表，采用對標題和主題進行關鍵詞匹配的過濾方法，實現了一個簡單的信息過濾器。

我們用該匯集系統在語言文字輿情信息源范圍內進行采集實驗，將采集的結果與手工收集到的464篇文本進行重合率計算，得到:

其中，“自動采集文本數∩手工采集文本數”表示自動采集和手工采集的重合文本數目。對不重合的文本進行分析后發現，信息采集器在門戶網站新聞評論以及部分論壇的采集上存在不足，導致與手工收集的文本存在差距，今后應該在這方面加以改進。

五、結語

本文對語言文字輿情作了簡要闡述，定義了語言文字輿情和語言文字輿情信息的概念，闡釋了語言文字輿情的構成要素，探討了語言文字輿情的特點。語言文字輿情信息的匯集是語言文字輿情監測和分析的基礎工作。在語言文字輿情信息匯集時，網絡是語言文字輿情信息匯集的主要渠道，在范圍、內容、形式、時間和方法上應遵循相應的原則。本文提出了一個確定語言文字輿情信息源的基本思路，實驗結果表明，語言文字輿情信息源的確定方法正確，覆蓋范圍較大，可信度較高。作為測試，建立了一個簡單的語言文字輿情信息匯集系統。

盡管輿情監測和分析在國內外已經是一個熱門的研究領域，但目前有關語言文字輿情監測和分析的研究在國內尚未見到有關的研究成果。本文的探索僅僅是這個領域里最基礎的工作。未來的研究重點:一是對語言文字輿情信息匯集系統進行改進，使之能符合語言文字輿情分析高質量高標準的要求;二是將深入展開對語言文字輿情信息的分析和研究工作。

注 釋:

①基本網址是指示類別相同的一類完整網址(URL)的網址。如http://

news.xinhuanet.com/forum/2008-12/15/content_10501766.htm的基本網址為:http://news.xinhuanet.com/forum/

②實際操作中，對某一輿情主題使用關鍵詞同義替代的方式進行搜

索。例如，對“2008年度流行語”這一主題，先后使用了“2008年度流行語”“2008流行語”兩個關鍵詞進行搜索，然后對結果進行合并。這樣做的目的是為了克服現有搜索引擎沒有主題搜索功能的缺陷。此外，實際檢索時使用Win Web Crawler 2.0軟件進行關鍵詞搜索和網址列表獲取，在該軟件中可以自行設置待使用的搜索引擎。

參考文獻:

[1]李彬.傳播學引論[M].北京:新華出版社，2003.

[2]韓運榮，喻國明.輿論學:原理、方法與應用[M].北京:中國傳

媒大學出版社，2005.

[3]張克生.國家決策:機制與輿情[M].天津:天津社會科學院出版

社，2003.

[4]王來華.輿情研究概論:理論、方法和現實熱點[M].天津:天津

社會科學院出版社，2003.

[5]劉毅.網絡輿情研究概論[M].天津:天津人民出版社，2007.

[6]杜阿寧.互聯網輿情信息挖掘方法研究[D].哈爾濱:哈爾濱工業

大學，2007.

[7]王磊.公安網絡輿情分析系統的研究[D].北京:北京交通大學，

2008.

[8]李若鵬.互聯網輿情信息管控關鍵技術研究與實現[D].上海:上

海交通大學，2008.

[9]楊梅.網絡輿情熱點發現的研究[D].北京:北京交通大學，2008.

[10]王來華，劉毅.2004年輿情研究綜述[J].天津大學學報(社會

科學版)，2005，(4).

[11]教育部語言文字應用研究所語言輿情研究中心.語言文字輿情

與動態[J].內部資料，2009，(1).

[12]教育部語言文字應用研究所語言輿情研究中心.語言文字輿情

與動態[J].內部資料，2009，(3).

[13]教育部語言文字應用研究所語言輿情研究中心.語言文字輿情

與動態[J].內部資料，2009，(2).

[14]唐喜亮，楊軍.2006年輿情研究綜述[J].四川教育學院學報，

2007，(9).

(楊江 北京 中國傳媒大學文學院 100024，湖南湘潭 湖南科技大學外國語學院 411201;侯敏 北京 中國傳媒大學文學院 411201)