大數據輿情技術缺陷與對策分析

汪行東 胡志方

摘要：由于大數據技術的迅速普及，很多城市與媒體積極引入大數據輿情技術輔助輿情監測、管理與應對決策。從統計學角度來看，大數據技術存在著樣本截斷問題、系統性偏誤、情緒衡量偏誤、遺漏變量偏誤等缺陷，故應積極革新大數據輿情技術，創新輿情信息采集方式，增強輿情分析人員的統計素養和理論素養，避免大數據輿情技術帶來輿情誤判的風險。

關鍵詞：大數據;輿情;統計

中圖分類號：G206.2文獻標識碼：A文章編號：1672-8122（2019）11-0055-02

隨著大數據的發展，對海量的網絡信息進行采集、挖掘、分析的技術日趨成熟，這為主流媒體應用大數據綜合分析輿論、提高輿論引導力提供了新的可能。各地政府、機構紛紛引入大數據輿情分析技術、建設大數據輿情決策平臺，通過互聯網海量信息進行挖掘和處理，為敏感、重點輿情的引導工作助力[1， 2]，其中典型輿情平臺包括百度輿情、新浪輿情、清博輿情等。從本質上講，大數據技術是統計學的一種應用，通過抓取海量媒介信息，使用統計建模相關的技術，建立包括機器學習在內的統計模型，對輿情的發生、發展和輿論引導過程進行評估，為輿情應對決策、決策評估提供依據。大數據技術雖然具有很多優點，但從統計學的角度出發，缺點也是十分明顯的。如何克服其缺陷，完善大數據決策，是本文探討的關鍵。

一、從統計層面看大數據輿情技術的主要缺陷

（一）樣本截斷問題

樣本截斷（Truncation）問題主要指樣本并非隨機抽取的，不是從全部個體，而是從其中一部分中獲取的觀測值，這部分觀測值可能會出現都大于或小于某個值，出現“掐頭”或“去尾”的問題。大數據輿情獲取的信息來源于網絡平臺，主要集中于網站及自媒體平臺的公開意見表達。第一，由于網絡、自媒體平臺的使用存在一定的門檻，從而天然地排除了很多不會使用網絡媒體的年長群體或者經濟地位較低，無法負擔網絡媒體成本的人的意見。第二，雖然網絡存在一定的匿名性，但網絡意見的表達會受到各種因素的影響，并非所有的意見均呈現在網絡空間中。主要表現為：其一，意見表達行為受到主體性格、自信水平的影響，很多人并不愿意在網絡上表達自己的主張;其二，意見的表達會受到意見性質的影響，如果主體認為自己的意見會受到反對或招致攻擊，往往會選擇沉默，形成傳播學上所謂的“沉默的螺旋”效應。隨著實名制的不斷推廣，網友在表達與主流意見不同的意見時更趨于減弱自己的聲音。第三，網上表達的意見也并非都能采集到。特別是由于自媒體具有一定的社交屬性，信息的擴散和意見的表達變得極為便利，但基于人際傳播裂變的意見擴散，因涉及隱私問題也是大數據技術所無法采集的。一方面，自媒體特有的社交屬性，使得信息的擴散較為方便。基于人際傳播的信息擴散和意見表達，是大數據的數據采集無法進入的領域;另一方面，網絡上的意見表達僅是網民意見表達行為的一部分，大量的輿情行為發生在線下，這也是無法觀察到的。從這個意義上，大數據搜集的是截斷數據（Truncated Data），忽略了人際傳播中的意見表達和線下行為，將大大影響輿情監測的穩健性（Robust）。

（二）系統性偏誤

系統性偏誤指與抽樣技術無關，不會隨著抽樣的樣本容量擴大而減小的常數項偏誤。大數據輿情技術宣稱進行全網信息采集，一般不存在樣本容量擴大的問題。但在實際操作中，受限于抓取能力和時間成本，大數據輿情平臺的數據抓取也局限于微博、微信公眾號、新聞客戶端、媒體網站等，由于輿情事件具有不同的突發性，是無法預料其會在微博爆發、微信公眾號爆發，還是在許久文件未更新的博客中爆發。由于技術能力限制會導致樣本產生系統性偏誤，進而影響大數據的輿情預警和決策能力。

（三）情緒衡量偏誤

輿情中包含了情緒，情緒是輿情研究中必然涉及的對象。要判斷網民在輿情事件中的情緒是“支持或反對”某一觀點或者“喜歡或不喜歡”某一事物和個體，一般是抽取其評論語句、留言語句中的某一個或某些字詞（即特征），判斷該詞屬于哪種情緒（即分類），意即分詞技術。國內學者陳浩基于心理學情緒結構理論、情緒分析技術、情緒詞庫等構建了基本情緒詞庫和情緒維度詞庫，獲得了快樂、悲傷、憤怒、恐懼和厭惡等五種基本的社會情緒[3]。但實際上，由于情緒的高度復雜性和漢語的語義模糊性，對情緒進行精確地區分的努力，即使是引入強大的機器學習技術，對情緒分詞處理仍存在一定的困難。近年新產生的一些情緒詞匯，如“白骨精（白領+骨干+精英）、果醬（過獎）”等，由于語言的約定俗成性、新詞的不斷涌現會給情緒判斷帶來極大的困難。

（四）遺漏變量偏誤

一方面，沉默的螺旋理論認為，人們趨向于表達與主流意見一致的觀點;當個人意見與主流意見不一致時，個體會傾向于改變自己的意見或者干脆選擇沉默[5];另一方面，群體動力學的研究成果證實群體壓力和趨同心理的存在。網絡上發表意見的人，隸屬于不同小團體進而在輿論領域進行競爭，群體中的個體會表達趨同的意見，進而隱藏個體的不同意見[6]。這兩種機制的存在導致個體的意見表達并不能反映個體的真實意見，而在大數據分析中又難以對這兩種機制的影響進行剔除，可能會導致對輿情估計的偏大或偏小，也會導致輿情風險評估模型出現遺漏變量偏誤（Omitted Variable Bias）。

二、避免大數據輿情技術缺陷的應對方法

技術是一把雙刃劍，在帶來益處的同時不可避免的具有一定的局限性，警惕大數據輿情技術缺陷，構建更為合理的大數據輿情監測管理機制，是輿情工作發展的重要方向。

首先，革新大數據技術，提升信息采集的范圍和分詞技術，避免系統性偏誤、情緒衡量偏誤和遺漏變量偏誤。引入更為穩健的計量工具模型，通過機器學習和人工采集等方式及時更新情緒分詞，將大大提升輿情分析的準確性。

其次，應破除對大數據技術的盲信盲從，增強輿情分析人員的統計素養。輿情分析人員對統計知識的理解，會方便其對輿情平臺呈現出的結果進行判斷，更有利于做出正確的決策。

最后，加強輿情相關理論研究和總結，特別是黨和政府的各級領導干部關于輿論和新聞傳播規律應高度重視，做到先進思想武裝人，方能更好地從事黨的輿論工作。

三、結語

隨著大數據輿情技術的日趨普及，越來越多的黨政部門與媒體部門傾向于采用大數據技術來監控社會輿情，為黨政部門了解社情民意提供了新的通道。在依賴于新技術的同時，我們也應意識到從統計技術層面而言，大數據輿情技術存在樣本截斷問題、系統性偏誤、情緒衡量偏誤、遺漏變量偏誤等問題，應從不斷革新輿情分析技術、創新輿情采集方式、增強輿情分析人員素養等角度，避免大數據輿情技術的缺陷導致輿情誤判等風險，更加科學地了解社情民意。

參考文獻：

[1]李雙.從輿情起步，邁上大數據輿情和社會治理之路——以浙江在線輿情中心為例淺談黨媒如何做好“To G”服務[J].傳媒評論，2018（6）： 12-14.

[2]喻國明.當前社會輿情的結構性特點與分析性發現——基于2014年中國社會網絡輿情的大數據分析[J].江淮論壇，2015（5）： 136-143.

[3]陳浩.中國社會的脈搏：網絡集群情緒的測量與應用： 第十七屆全國心理學學術會議[Z].北京： 2014.

[4]王世泓.基于情緒詞典擴展技術的中文微博情緒分析[D].南京航空航天大學，2015.

[5]（美）M·麥考姆斯，T·貝爾著.郭鎮之譯.大眾傳播的議程設置作用[J].新聞大學，1999（2）：32-36.

[6]高憲春，解葳.新媒體融合語境下網絡群體對輿論生成的影響[J].當代傳播，2015（3）： 76-79.

[責任編輯：楊楚珺]